AI 기후 모델의 성능을 검증할 표준이 필요하다: AIMIP 프로젝트 공개
AI 기후 모델의 성능을 표준화된 방식으로 평가하기 위해 AI2가 주도하는 AIMIP 프로젝트와 첫 번째 벤치마크 데이터셋을 공개했다.
세계 최고 수준의 비영리 AI 연구소로서, 상용 모델에 대항하는 고성능 오픈소스 모델(OLMo)
AI 기후 모델의 성능을 표준화된 방식으로 평가하기 위해 AI2가 주도하는 AIMIP 프로젝트와 첫 번째 벤치마크 데이터셋을 공개했다.
AI2가 공개한 25만 건의 Asta 데이터셋 분석 결과, 연구자들은 기존 검색보다 7배 긴 복잡한 쿼리를 사용하며 AI를 단순 검색 도구가 아닌 협업 파트너로 활용하고 있다.
AI2가 공개한 MolmoSpaces는 23만 개의 장면과 4,200만 개의 파지 데이터를 포함하여 로봇의 물리적 상호작용과 일반화 성능을 연구하기 위한 대규모 개방형 생태계이다.
웹에서 추출한 35만 개의 절차 데이터를 활용해 LLM의 단계별 지침 생성 능력을 평가하고 치명적 오류를 줄여 성능을 10점 이상 향상시키는 프레임워크다.