이질적 보조 정보를 활용한 대규모 데이터의 통신 효율적 분산 통계적 추론

섹션별 상세

빅데이터 분석 시 다양한 연구 환경과 개인정보 보호 문제로 인해 발생하는 이질적인 보조 정보를 배제할 경우 통계적 추론의 효율성이 크게 저하되는 문제를 해결하고자 한다.

개별 수준의 데이터와 여러 외부의 이질적인 요약 통계량을 우도 함수와 신뢰 밀도의 곱을 통해 통합하는 새로운 프레임워크를 구축했다.

이론적 분석을 통해 제안된 방법이 모든 가용 개별 데이터를 사용하는 IPD 추정량과 유사한 수준의 통계적 효율성을 달성할 수 있음을 증명했다.

대규모 데이터 처리를 위해 통신 비용을 최소화하는 분산 추론 절차를 설계했으며, 반복 알고리즘이 일반적인 조건이나 일반화 선형 모델에서 선형 수렴을 달성함을 확인했다.

다양한 시뮬레이션과 실제 데이터 애플리케이션을 통해 제안된 방법론이 기존 방식보다 우수한 성능과 효율성을 보임을 실증적으로 입증했다.