MatrAIx-ai/MatrAIx-Persona-8B
Python0 / 0
persona cohort를 Survey·Chat·Web·App 태스크에 투입하는 AI 평가 framework
TL;DR
MatrAIx-Persona-8B는 1,290개 차원의 persona schema와 공개 Persona 1M coreset을 바탕으로 이질적인 simulated user를 생성하는 연구용 평가 framework입니다. CLI 또는 MatrAIx Playground에서 persona cohort를 샘플링하고 Survey, AI Chatbot, Web, OS-app 태스크를 실행하며, telemetry와 task-owned verifier로 개별 응답을 population 수준 결과로 집계합니다. Python 3.12와 uv가 기본이고 Web·OS-app 실행에는 Docker가 필요하며, 실제 모델 호출에는 API key가 필요합니다. 제품 검증과 AI stress testing에는 유용하지만 실제 사용자 조사나 현실 근거를 대체하지 않는다는 한계가 명시되어 있습니다.
핵심 포인트
- 이 레포지토리는 단순 Python 라이브러리가 아니라 persona 기반 AI 평가를 실행하는 연구용 framework입니다. Survey, AI Chatbot, Web, OS-app 네 환경에서 LLM agent를 실제 사용자처럼 태스크에 투입합니다. 독립 생태계에 속하며 MatrAIx Playground와 Harbor runtime, LangSmith 연동 패키지를 함께 사용합니다.
- 1,290개 categorical dimension으로 구성한 공통 persona schema가 핵심입니다. human grounding과 dependency-aware synthetic generation을 거쳐 persona를 만들고, 공개된 약 1M 규모 Persona 1M coreset에서 cohort를 샘플링합니다. 개별 응답과 trajectory를 telemetry, task verifier, report로 묶어 subgroup 및 population 수준 결과까지 집계합니다.
- CLI와 시각적 Playground를 모두 제공해 태스크를 복제하고 persona와 모델을 고른 뒤 반복 실행할 수 있습니다. Survey와 Chat은 Docker 없이 smoke test가 가능하고 Web과 OS-app은 Docker 이미지와 sidecar 환경에서 실행합니다. 실제 실행에는 Python 3.12, uv, 필요 시 Node.js 20 이상과 모델 API key가 필요합니다.
- 제품 피드백, chatbot 지원, 웹 탐색, desktop·mobile 조작을 동일한 task contract로 평가하려는 팀에 적합합니다. 반면 persona simulation은 실제 사용자 근거를 대체하지 않으므로 연구 가설 생성과 stress testing의 보조 수단으로 사용해야 합니다. Windows에서는 native PowerShell이 지원되지 않고 WSL2와 Docker 연동이 요구됩니다.
이미지 분석


1.4k
Stars
219
Forks
+207
Trending
0
조회수
1.4k watchers5 open issuesMIT License
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.