핵심 요약
연구자들이 AI 기반 과학 도구를 사용하는 방식은 개발자의 예상과 크게 다르다. Allen Institute for AI(AI2)는 25만 건 이상의 실제 쿼리와 43만 건의 클릭스트림을 포함한 Asta Interaction Dataset(AID)을 공개했다. 분석 결과 연구자들은 기존 검색보다 7배 긴 복잡한 쿼리를 사용하며, 챗봇에서 배운 프롬프트 엔지니어링 기법을 연구 도구에 적용하고 있었다. 이 데이터셋은 AI 연구 보조 도구의 설계 방향을 재정의하는 데 중요한 기초 자료가 될 것이다.
배경
RAG(Retrieval-Augmented Generation)의 기본 개념, 데이터셋 분석 및 클릭스트림 데이터에 대한 이해
대상 독자
AI 연구 도구 개발자 및 데이터 과학자
의미 / 영향
연구자들의 실제 사용 데이터를 통해 AI 도구가 단순 검색을 넘어 협업 도구로 진화하고 있음이 확인되었다. 이는 향후 과학 특화 LLM 및 인터페이스 설계에 있어 사용자 경험(UX)과 데이터 관리 방식의 근본적인 변화를 요구한다.
섹션별 상세
AI2는 연구용 비서 플랫폼 Asta에서 수집된 258,935개의 쿼리와 432,059개의 클릭스트림 상호작용을 포함하는 AID를 출시했다. 이 데이터셋은 2025년 2월부터 8월까지 다양한 학문 분야의 연구자들로부터 수집되었으며 사용자의 동의를 받은 비식별 데이터를 기반으로 한다. 기존의 일반 목적 LLM 대화 데이터셋과 달리 과학 연구 도구에 특화된 대규모 오픈 데이터셋이라는 점에서 독보적인 가치를 지닌다.
AI 기반 도구인 PaperFinder와 ScholarQA의 사용자들은 전통적인 키워드 검색보다 훨씬 길고 복잡한 쿼리를 제출한다. 특히 ScholarQA의 평균 쿼리 길이는 약 37단어로 기존 Semantic Scholar 검색보다 7배 이상 길게 나타났다. 이는 사용자들이 AI 도구가 복잡한 제약 조건과 관계를 처리할 수 있을 것으로 기대하며 자신의 초안이나 구체적인 맥락을 직접 입력하는 경향이 강해졌음을 시사한다.
연구자들은 ChatGPT와 같은 일반 목적 챗봇에서 익힌 프롬프트 엔지니어링 기법을 과학 도구에도 그대로 적용하고 있다. 데이터셋 분석 결과 시스템 프롬프트를 직접 입력하거나 특정 페르소나를 부여하고 표 형식의 템플릿을 채워달라고 요청하는 등의 패턴이 발견되었다. 또한 마크다운 스타일의 강조나 복잡한 논리적 제약을 포함하는 등 AI를 단순한 검색기가 아닌 협업 파트너로 인식하는 경향이 뚜렷하다.
사용자들이 생성된 보고서를 소비하는 방식은 매우 비선형적이며 결과물을 일회성이 아닌 지속적인 자산으로 취급한다. ScholarQA 사용자의 50% 이상이 이전에 생성된 보고서를 다시 방문하며 보고서를 읽을 때도 서론을 건너뛰고 필요한 섹션으로 바로 이동하거나 앞뒤로 이동하며 읽는 패턴을 보였다. 이는 AI 도구의 UI/UX 설계 시 순차적인 정보 제공보다는 효율적인 탐색과 과거 기록 관리 기능이 중요함을 입증한다.
실무 Takeaway
- AI 연구 도구 설계 시 긴 문맥과 복잡한 제약 조건을 처리할 수 있는 RAG 아키텍처 최적화가 필수적이다.
- 사용자는 검색 결과를 일회성으로 소비하지 않으므로 생성된 보고서의 북마크 및 최신 논문 업데이트 반영 기능이 중요하다.
- 연구자들의 비선형적 읽기 습관을 고려하여 요약(TL;DR)과 접이식 섹션 구조를 적극적으로 도입해야 한다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료