RGB·LWIR 연동 반자동 라벨링 파이프라인

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 RGB에서 COCO 포맷으로 초기 모델(V1)을 학습한 뒤 현장 캡처로 수백 프레임을 수집해 수동 보정하고, 반복적 재학습 루프와 '8회 연속 검출' 기반의 persistence mining으로 반자동 라벨링을 구축했다. 현장에서는 8GB급 Nano 보드에 GPS·IMU·4G를 탑재해 차량 시동·이동 신호로 캡처를 제어하고 네트워크 연결 시 서버로 자동 업로드해 최신 가중치로 불일치를 하이라이트하며 의미 기반 판단을 병행해 인간 검토를 최소화한다. 장기적으로는 클래스 분할과 추가 모달리티(SWIR)를 도입해 자체 데이터셋을 원하는 방식으로 확장하는 전략을 취하고 있다.

주요 논점

01찬성다수

연속 검출 기반 자동 보정과 네트워크 연동 자동 수집으로 대량의 라벨링을 효율화했다는 점을 강조한다.

02찬성다수

자체 데이터셋을 계속 확장하면 클래스 분할 등 원하는 방식으로 레이블 체계를 유연하게 재구성할 수 있다는 점을 장점으로 든다.

합의점 vs 논쟁점

합의점

현장 캡처 장비와 자동 업로드·처리 파이프라인을 결합하면 수동 라벨링 부담을 크게 줄일 수 있다는 점은 실무적으로 합의 가능한 관찰이다. 하드웨어 트리거(시동·이동·정지)로 녹화 구간을 제어하고 네트워크 연결 시 자동으로 서버에 업로드해 서버 사이드에서 최신 모델로 불일치를 하이라이트하는 설계가 운영 효율을 높인다. 대량의 연속 프레임에서 반복적으로 발생하는 검출 패턴을 이용하면 재학습용 신뢰 샘플과 잡음 샘플을 모두 채굴할 수 있다.
모달리티 정렬(bore-sighting)이 확보되면 한 센서에서 보정한 어노테이션을 다른 센서로 전파하는 방식이 현실적으로 유효하다는 점은 공감대를 형성한다. 작성자는 RGB에서 보정한 박스를 LWIR에 고정해 초기 어노테이션을 만들었고, 이는 센서 정렬이 전제될 때 라벨 전파의 신뢰도를 보장한다. 센서 특성 차이를 고려한 추가 검증 절차(persistence, semantic check)를 붙이면 자동화 과정의 오류를 통제할 수 있다.

실용적 조언

연속 검출 기준을 도입할 때는 임계값과 처리 흐름을 명확히 정의해야 한다. 작성자는 8회 연속 검출을 기준으로 다른 모달리티에서 놓친 객체를 찾아 보정하거나 false positive로 수집했는데, 이 임계값은 프레임율·카메라 베이스라인·대상 속도에 따라 조정해야 실제 성능 향상으로 연결된다. 임계값을 실험적으로 결정하고 그 결과를 로그로 남겨 재현 가능한 규칙을 만드는 것이 권장된다.
현장 캡처 장비에는 시동·이동·정지 조건을 트리거로 넣어 불필요한 녹화를 줄이는 것이 비용 효율적이다. 작성자는 차량 시동 시 부팅, 차량 이동 시 캡처 시작, 90초 이상 정지나 시동 꺼짐 때 캡처 중단 로직을 적용해 데이터를 제어했고, 이 방식은 수집 중 잡음(정적 장면 등)을 줄여 라벨링 예산을 절약한다. 또한 네트워크로 연결되면 자동 업로드와 서버 사이드 불일치 처리로 라벨 파이프라인을 지속적으로 돌리는 것이 실무에서 유효하다.
센서 간 불일치 처리를 위해 서버 쪽에서 COCO 규격 비교와 추가적인 의미 기반 판단을 병렬로 두는 것이 안전장치가 된다. 작성자는 COCO 비교 결과와 'semantic reasoning AI' 결과가 모두 객체 없음으로 판단하면 인간 검토 대상으로 올리는 정책을 운영했고, 이중 판단은 자동화 오류를 줄이는 데 기여한다. 인간 검토 대상을 줄이려면 의미 기반 모델과 검출 모델의 false negative/positive 특성을 사전에 평가해 조합 로직을 튜닝해야 한다.

섹션별 상세

작성자는 RGB에서 COCO 포맷으로 V1 모델을 학습한 뒤 현장 캡처로 500프레임을 수집하고 수동 보정을 통해 초기 데이터셋을 구성했다. 이후 모델을 돌려서 1500회 호출을 눈으로 검토하며 false positive와 바운딩박스 오류를 찾아 수정했고, 이 과정을 반복해 재학습을 수행했다. 이러한 순환적 데이터 수집·검증·재학습 루프가 현장 데이터에서 검출 성능을 개선하는 실무적 워크플로우로 제시됐다.

작성자는 연속 검출 기반의 자동화 규칙을 도입해 파이프라인을 반자동화했다고 기록했다. 구체적으로 '8회 이상 연속 검출(persistence 8+)'이 한 모달리티에서만 발생하면 다른 모달리티에 대해 '이것이 차량인가'를 이진 판단해 맞으면 바운딩박스를 옮기고, 그렇지 않으면 false positive 샘플로 수집해 재학습에 투입했다. 이 접근 방식은 동일 객체의 시간적 일관성을 근거로 라벨을 보강하거나 잡음을 식별하는 기계적 절차를 제공한다.

실제 캡처 장비는 8GB 메모리의 Nano 보드에 GPS·IMU·4G를 탑재해 차량 시동·이동 신호로 자동 녹화를 시작·중지하도록 구성되어 있다. 작성자는 네트워크 연결 시 Jetson이 서버로 자동 업로드하고, 서버에서 최신 가중치로 불일치를 하이라이트하며 COCO 규격과 추가적인 'semantic reasoning AI'를 써서 양측 모두에서 객체가 없다고 판단되면 인간 검토로 올린다고 밝혔다. 이 자동화는 대규모 프레임(작성자는 300만 프레임 보유)에 대해 라벨링 비용을 통제하면서 지속적인 모델 개선을 가능하게 한다.

이미지 분석

Screenshot
이미지는 RGB 영상과 LWIR 열영상을 좌우로 병렬 배치해 동일 장면에 대한 검출 결과를 비교하는 출력 화면을 보여준다. 두 이미지에 녹색 바운딩박스들이 표시되어 있어 센서별 검출 불일치와 동일 객체의 시간적 지속성을 사람이 빠르게 확인할 수 있도록 설계된 UI임이 드러난다. 이 출력은 본문에서 설명한 모달리티 간 어노테이션 전파와 불일치 하이라이트, 그리고 인간 검토 트리거의 시각적 근거를 제공한다.
좌측은 RGB, 우측은 LWIR 검출 오버레이를 나란히 배치한 스크린샷으로 보인다.

용어 해설

COCO 데이터셋/어노테이션 포맷(COCO): — COCO는 객체 검출·분할·키포인트 어노테이션을 표준화한 공개 데이터셋이자 어노테이션 포맷이다. 이 글에서는 RGB 프레임의 초기 학습과 평가 기준으로 COCO 포맷을 사용해 바운딩박스와 클래스 레이블을 정리해 모델을 학습시키고, 검출 불일치 처리를 위해 COCO 규격으로 센서 간 어노테이션을 비교한다. 개발자가 데이터 수집·재학습 파이프라인에서 자동화된 불일치 하이라이트와 인간 검토 트리거에 COCO를 직접 활용한 점이 핵심이다.
장파 적외선(LWIR) 센서(LWIR): — LWIR는 장파 적외선 영역에서 열 신호를 포착하는 영상 모달리티로 주간 RGB와 달리 열 기반 대비가 주요 입력이다. 글에서는 LWIR가 bore-sighted(광학적으로 정렬)되어 있어 RGB에서 보정한 바운딩박스를 LWIR에 고정해 초기 어노테이션을 옮기고, 센서 불일치 탐지로 재학습 데이터를 채굴하는 데 사용됐다. 서로 다른 물리적 특성을 가진 모달리티를 어떻게 정합하고 자동 라벨링 파이프라인으로 연결하는지가 논점이다.
지속 검출 기반 데이터 채굴(Persistence mining): — Persistence mining은 연속 프레임에서 같은 객체가 N회 이상 검출되었는지를 기준으로 참·거짓을 판별하는 기법이다. 작성자는 '8회 이상 연속 검출된 항목 중 다른 모달리티에서 놓친 것'을 찾아 자동으로 보정하거나 false positive 학습샘플로 채굴해 재학습에 활용했다. 이 방식은 반복적 검출 패턴을 이용해 수동 라벨링 비용을 줄이고, 모달리티 간 불일치를 효율적으로 찾아내는 실무적 이점이 있다.
광학 정렬(bore-sighting)(Bore-sighted): — Bore-sighted는 서로 다른 센서들이 동일한 광학 중심을 가리키도록 정렬된 상태를 말한다. 글에서는 RGB와 LWIR가 bore-sighted 되어 있어 한 모달리티에서 수정한 바운딩박스를 다른 모달리티에 고정할 수 있었고, 이 정렬을 전제로 자동 보정·비교 로직이 작동했다. 센서 정밀 정합이 있으면 모달리티 간 라벨 전파와 불일치 탐지가 신뢰성을 갖는다.

언급된 도구

jetson추천

차량 탑재 캡처 보드로서 녹화 트리거·업로드 역할

COCO중립

어노테이션 포맷과 비교 기준으로 사용