data-ingestion

다양한 소스로부터 데이터를 수집하여 분석 및 저장 시스템으로 가져오는 과정이다. YouTube 트랜스크립트, 댓글, Reddit 토론 등 서로 다른 형식의 데이터를 통합된 파이프라인으로 유입시키는 단계를 의미한다. 고품질의 지식 베이스를 구축하기 위한 첫 번째 관문으로 데이터의 신선도와 포괄성을 결정한다.