OceanPile: 파운데이션 모델을 위한 대규모 멀티모달 해양 코퍼스

해양 데이터는 소나, 수중 영상, 과학 문헌 등 형식이 파편화되어 있어 AI 모델 학습에 큰 어려움이 있었다. 이 논문은 세계 최초로 대규모 해양 멀티모달 데이터를 통합하고 정렬하여, 범용 모델이 해결하지 못한 해양 과학 특화 추론 성능을 비약적으로 향상시켰다.

기존의 Multimodal Large Language Models(MLLMs)는 인터넷의 일반적인 이미지-텍스트 쌍으로 학습되어, 소나 신호나 수중 생물 이미지와 같은 특수한 해양 도메인 데이터를 해석하는 데 한계가 있다. 이는 해양 데이터가 서로 다른 물리적 공간(Semantic Space)에 존재하며, 이를 연결해줄 대규모 정렬 데이터가 부족하기 때문이다.

이 논문은 해양 과학의 핵심 개념들을 연결한 지식 그래프를 닻(Anchor)으로 삼아 이 문제를 해결한다. 텍스트, 이미지, 소나 데이터를 단순히 모으는 것에 그치지 않고, 지식 그래프의 노드와 하위 카테고리를 기준으로 각 데이터를 분류하고 상호 연결함으로써 모델이 서로 다른 모달리티 간의 논리적 관계를 학습할 수 있도록 설계했다.

결과적으로 모델은 단순한 시각적 인식을 넘어, 소나 이미지에서 물체를 식별하거나 복잡한 해양 화학 공정을 추론하는 등 전문적인 도메인 지식을 활용할 수 있게 된다. 이는 파편화된 해양 데이터를 하나의 통합된 지능형 시스템으로 연결하는 핵심 기틀이 된다.

OceanCorpus 구축을 위해 교과서, 논문, 웹페이지, 소나 데이터, 수중 영상 등 5가지 범주의 데이터를 수집했다. 특히 자율 무인 잠수정(AUV)을 투입하여 실제 해양 환경에서 동기화된 소나 및 광학 영상을 직접 획득함으로써 데이터의 현장성과 다양성을 높였다.

OceanInstruction 생성 단계에서는 먼저 GPT-4o를 활용해 해양 생물학, 물리 해양학 등 주요 학문 분야를 기반으로 계층적 지식 그래프(OCG)를 구축했다. 이후 입력 데이터 X_i를 지식 그래프의 관련 노드 P_k 및 하위 카테고리 S_k와 매핑하고, 외부 권위 있는 지식 K_i를 결합하여 GPT-4o가 지시어-답변 쌍 I_i = M(X_i, P_k, S_k, K_i)을 생성하도록 했다.

품질 관리를 위해 N개의 MLLM 에이전트가 생성된 데이터의 정확성, 관련성, 명확성을 0~10점 사이로 평가하며, 평균 점수 S_i = (1/N) * Σ s_ij가 임계값 τ_q 미만인 데이터는 자동 필터링한다. 최종적으로 해양 과학 전문가들이 샘플링된 데이터를 검수하여 0.86의 높은 상호 일치도(IAA)를 달성했다.

Qwen3-VL-8B 모델을 OceanPile로 파인튜닝한 결과, Multimodal Benchmark의 전체 점수가 13.07%에서 32.59%로 크게 상승했다. 특히 해양 생물 인식(Marine Organisms VQA) 분야에서는 9.96%에서 48.52%로 약 5배에 가까운 성능 향상을 보이며 GPT-5(9.11%)나 Gemini-3-Flash(50.21%)와 대등하거나 능가하는 수준에 도달했다.

Textual Benchmark(Ocean Science QA)에서도 Qwen3-30B 모델이 25.49%에서 26.47%로 개선되어 GPT-5(16.67%)보다 높은 정확도를 기록했다. 소나 이미지 해석(Sonar VQA) 성능 역시 8.04%에서 19.97%로 두 배 이상 향상되어, 특수 센서 데이터 처리에 대한 OceanPile의 효과를 입증했다.

OceanPile 아키텍처는 데이터 수집(Source Data), 지식 기반 확장(Expansion), 지시어 합성(Instruction Data), 벤치마크 평가(OceanBench)의 4단계로 구성된다. 핵심 차별점은 단순한 데이터 증강이 아닌, Ocean Concept Knowledge Graph를 통한 '지식 유도형 데이터 합성' 방식을 채택했다는 점이다.

구현 측면에서 PDF 문서를 Markdown으로 변환할 때 수식, 표, 캡션을 보존하는 전용 파이프라인을 사용했으며, LLM을 활용한 시맨틱 중복 제거(Semantic Deduplication)를 통해 데이터의 밀도를 높였다. 소나 데이터의 경우 바운딩 박스 정보를 시각-언어 모델을 통해 서술형 텍스트로 변환하여 텍스트-이미지 정렬 학습이 가능하도록 가공했다.

논문은 해양 데이터의 고유한 높은 노이즈 특성과 약한 레이블링 문제를 완전히 해결하기에는 여전히 어려움이 있음을 언급하며, 실제 해양 환경의 복잡성과 시뮬레이션 데이터 간의 간극이 존재할 수 있음을 지적한다.