AI 과학 도구 사용법: 25만 건의 쿼리로 분석한 연구자들의 실제 행동 패턴

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Allen Institute for AI(AI2)는 AI 연구 어시스턴트 'Asta'의 사용자 상호작용 데이터셋(AID)을 공개했다. 2025년 2월부터 8월까지 수집된 25만 개 이상의 쿼리와 43만 건의 클릭스트림을 분석한 결과, 연구자들은 기존 키워드 검색보다 훨씬 길고 복잡한 자연어 질문을 던지는 것으로 나타났다. 특히 AI를 단순한 정보 검색기가 아닌 논문 작성 보조, 데이터 추출, 페르소나 설정 등 '협업 파트너'로 대우하는 경향이 뚜렷하다. 이러한 데이터는 향후 과학용 AI 도구 설계에 있어 비선형적 읽기 방식과 결과의 지속성 관리가 중요함을 시사한다.

배경

RAG(Retrieval-Augmented Generation)의 기본 개념, 학술 검색 엔진의 작동 원리, 데이터셋 분석을 위한 통계적 기초 지식

대상 독자

AI 기반 연구 도구 개발자, RAG 시스템 설계자, 학술 정보 검색 연구자

의미 / 영향

이 연구는 AI 도구 개발자의 기대와 실제 사용자 행동 사이의 간극을 데이터로 증명했다. 연구자들이 AI를 단순 도구가 아닌 지능형 파트너로 인식함에 따라, 향후 과학 AI는 더 깊은 컨텍스트 이해와 워크플로우 통합 능력을 갖춰야 할 것이다.

섹션별 상세

AI2는 2025년 2월부터 8월까지 수집된 258,935개의 쿼리와 432,059개의 클릭스트림 상호작용을 포함하는 Asta Interaction Dataset(AID)을 공개했다. 이는 연구용 AI 도구 사용에 관한 역대 최대 규모의 공개 데이터셋으로, 쿼리 텍스트뿐만 아니라 섹션 확장, 링크 클릭, 인용 확인 등 상세한 행동 로그를 포함한다.

연구자들의 AI 쿼리는 기존 학술 검색 엔진(Semantic Scholar)보다 평균 7배 더 길며(약 37단어), 더 많은 개체(Entity)와 관계(Relation), 제약 조건을 포함한다. 특히 사용자들이 자신의 초안에서 문단을 통째로 복사해 붙여넣는 등 매우 복잡한 컨텍스트를 제공하는 '헤비 테일' 분포가 관찰되었다.

사용자들은 일반 목적의 LLM(ChatGPT 등)에서 배운 프롬프트 엔지니어링 기법을 과학 도구에도 그대로 적용하고 있다. 페르소나 할당("교수처럼 생각하라"), 마크다운 강조, 표 템플릿 채우기 요청 등 도구가 공식적으로 지원하지 않는 기능까지 시도하며 AI를 '데이터 입력 어시스턴트'나 '공동 저자'로 활용한다.

AI가 생성한 리포트는 일회성 검색 결과가 아닌 '지속적인 자산'으로 취급된다. ScholarQA 사용자의 50% 이상이 생성된 리포트를 나중에 다시 방문하며, 이는 사용자들이 AI 결과를 북마크하고 연구 워크플로우의 일부로 참조하고 있음을 보여준다. 단순 쿼리 재전송 비율(15~19%)보다 재방문율이 훨씬 높다는 점이 특징이다.

연구자들은 AI 리포트를 처음부터 끝까지 순차적으로 읽지 않고 필요한 섹션만 골라 읽는 '비선형적 읽기' 패턴을 보인다. 분석 결과 서론을 건너뛰는 비율이 43%에 달하며, 섹션 간 이동이 매우 빈번하고 불규칙하게 발생한다. 이는 접이식 섹션과 요약 기능이 정보 취득 효율성에 기여하고 있음을 입증한다.

실무 Takeaway

AI 과학 도구 설계 시 단순 검색 인터페이스를 넘어 긴 문맥과 복잡한 제약 조건을 처리할 수 있는 '협업형 인터페이스'를 우선 고려해야 한다.
사용자가 생성된 결과를 반복적으로 참조하므로, 결과물을 저장하고 최신 논문 정보를 반영해 지속적으로 업데이트하는 기능을 제공해야 한다.
연구자들의 비선형적 정보 소비 습관에 맞춰 리포트를 구조화하고, 섹션별 요약(TL;DR)과 빠른 탐색 기능을 강화하여 정보 습득 효율을 높여야 한다.

언급된 리소스

GitHubAsta Interaction Dataset (AID)

문서AID Technical Report