엔티티 및 관계 추출을 위한 어노테이터 간 일치도(IAA) 측정 방법 문의

핵심 요약

두 명의 어노테이터가 작업한 엔티티 및 관계 추출 데이터의 일치도(IAA)를 측정하기 위해 헝가리안 알고리즘 기반의 커스텀 F1-score와 Mathet's gamma 활용 방안을 논의한다.

배경

두 명의 어노테이터가 텍스트 내 엔티티와 그들 사이의 관계를 주석 처리한 데이터셋에서 일치도(IAA)를 계산하기 위한 적절한 지표를 찾고 있다. 기존에 엔티티 일치도 측정에 사용하던 Mathet's gamma가 관계 주석에는 적합하지 않아 새로운 방법론을 고민 중이다.

커뮤니티 반응

작성자가 제안한 헝가리안 알고리즘 기반의 F1-score 접근법에 대해 기술적 타당성을 묻고 있으며 구체적인 구현 방법론에 대한 조언을 구하고 있다.

주요 논점

01중립다수

Mathet's gamma는 엔티티에는 적합하지만 관계 추출에는 한계가 있어 대체 지표가 필요하다.

합의점 vs 논쟁점

합의점

엔티티 주석의 경우 Mathet's gamma가 유효한 지표로 활용될 수 있다.
어노테이터 간 식별한 엔티티 개수가 다를 때 정렬(Alignment) 과정이 선행되어야 한다.

실용적 조언

엔티티 매칭 시 헝가리안 알고리즘을 사용하여 어노테이터 간의 최적 쌍을 찾으면 일치도 계산의 정확도를 높일 수 있다.
관계 일치도 평가 시 (엔티티1, 엔티티2, 관계타입) 튜플 구조를 활용하여 F1-score를 산출하는 방식을 고려할 수 있다.

언급된 도구

Mathet's gamma추천

엔티티 어노테이션 일치도(IAA) 측정

Hungarian algorithm추천

서로 다른 주석 세트 간의 최적 매칭 및 정렬

섹션별 상세

엔티티 일치도 측정을 위해 Mathet's gamma 계수를 사용하고 있으나 관계 추출 데이터에 적용하는 데 한계를 느끼고 있다. Mathet's gamma는 2015년 논문에서 제안된 방식으로 엔티티 정렬에는 유용하지만 복잡한 관계 구조를 평가하기에는 설계상의 제약이 존재한다. 관계 데이터는 엔티티 쌍과 타입이 결합된 형태이므로 단순 스팬 비교 이상의 정교한 접근이 필요하다.

관계 일치도 측정을 위해 헝가리안 알고리즘(Hungarian algorithm)을 활용한 정렬 방식을 제안했다. 어노테이터 A와 B가 식별한 엔티티의 개수가 다를 수 있으므로 최적 이분 매칭을 통해 각 주석 쌍을 연결하고 일치 여부를 판단하려는 시도이다. 이 알고리즘을 통해 두 세트 간의 비용을 최소화하는 방식으로 주석을 짝지어 불일치 문제를 해결하고자 한다.

관계(Relation)를 (entity1, entity2, relationType) 형태의 튜플로 정의하고 커스텀 비교 함수를 통해 일치도를 계산하고자 한다. 스팬(Span) 중첩도와 타입 일치 여부를 기준으로 진양성(TP), 위양성(FP) 등을 산출하여 F1-score를 도출하는 방식의 타당성을 묻고 있다. 한 어노테이터를 기준으로 삼아 정밀도와 재현율을 계산함으로써 정량적인 일치도를 확보하려는 전략이다.

실무 Takeaway

엔티티와 관계가 복잡하게 얽힌 주석 데이터의 경우 단순 일치도 지표보다 구조적 정렬 알고리즘 기반의 접근이 필요하다.
헝가리안 알고리즘을 사용해 서로 다른 어노테이터의 주석을 매칭하는 방식은 불일치하는 엔티티 개수 문제를 해결하는 유효한 전략이다.
관계 추출의 평가는 엔티티의 스팬 중첩과 관계 타입의 정확도를 동시에 고려하는 다차원적인 비교 함수 설계가 핵심이다.