인간 행동 시뮬레이션의 새로운 Scaling Law

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Joon Sung Park은 Smallville과 Generative Agents에서 출발해 실제 사람의 태도와 행동을 재현하는 Simile의 시뮬레이션 기술로 연구 범위를 넓혔습니다. Simile은 장기 인터뷰, 거래·관찰 자료, 무작위 대조 실험을 결합하고 필요하면 모델을 post-training해 개인과 인구집단의 디지털 트윈을 만듭니다. 1,000명 연구에서 디지털 트윈은 실제 참가자의 행동과 태도를 85% 수준으로 재현했지만, 일반 frontier model은 좁은 집단에서 20~30%까지 성능이 낮아질 수 있었습니다. 장기적으로는 다중 에이전트와 사회 규모의 시뮬레이션을 통해 제품과 정책을 배포하기 전에 여러 개입 경로를 시험하고, 기후변화나 민주주의 불안정 같은 복잡한 문제를 다루려는 구상입니다.

섹션별 상세

Joon Sung Park은 2023년 Generative Agents 연구에서 기억, 계획, 사회적 상호작용을 수행하는 Smallville의 AI 캐릭터를 구현한 뒤 인간 행동 시뮬레이션으로 연구 범위를 넓혔습니다. GPT-3처럼 특정 작업 하나가 아니라 다양한 작업을 수행하도록 학습된 Foundation Model에서 웹상의 인간 행동 흔적을 발견한 것이 출발점이었습니다. 개인 맞춤형 에이전트가 제대로 작동하려면 사용자의 취향과 생활 패턴을 깊이 이해해야 하므로, Park은 사람을 먼저 정확히 모델링하는 일이 자동화 에이전트보다 앞서야 한다고 보았습니다.

Simile은 사람의 행동을 단순한 텍스트 생성 문제가 아니라 새로운 사회적 규칙을 학습해야 하는 문제로 봅니다. 웹 데이터는 사람들이 온라인에서 말한 태도를 풍부하게 담지만 실제 구매, 이동, 선택처럼 현실에서 일어나는 행동과 그 원인까지 충분히 담지는 못하므로 인터뷰, 관찰·거래 데이터, 무작위 대조 실험을 함께 수집합니다. 모델이 이미 일반적인 세계 지식을 갖고 있고 환경에 반응하기만 하면 prompting으로 충분할 수 있지만, 인간의 사회적 물리학을 새로 익혀야 할 때는 post-training과 가중치 조정이 필요하다는 구분입니다.

Simile의 데이터 수집은 사람의 서사, 실제 행동, 행동을 바꾸는 인과적 조건이라는 세 축으로 구성됩니다. 장시간 인터뷰에서는 어린 시절 기억이나 중요한 경험처럼 온라인 기록에 드러나지 않는 개인적 맥락을 얻고, 거래·관찰 자료에서는 행동의 기초 통계를 확보하며, 무작위 대조 실험에서는 한 변수의 변화가 선택에 미치는 효과를 측정합니다. 이 구조는 미래를 단순히 맞히는 대신 원하는 결과에 도달하기 위해 어떤 개입을 어떤 순서로 해야 하는지 찾으려는 시뮬레이션의 목적과 연결됩니다.

Simile은 기업이 관심 있는 인구집단을 지정하면 동의와 보상을 거쳐 해당 사람들의 데이터를 수집하고, 그 집단을 가상 모델로 만든 뒤 여러 환경에서 질의하도록 합니다. 입력은 미국 전체 인구나 특정 지역·연령대 같은 집단 조건과 설문, 행동 실험, A/B 테스트, 웹사이트 이용 같은 자극이며 출력은 해당 집단이 보일 반응과 선택입니다. 실제 고객 사례로는 CVS, Wealthfront, Gallup 등이 거론됐고 제품 콘셉트 평가, 포커스 그룹, 기업 실적 발표 상황의 반응 모델링이 초기 활용처로 제시됐습니다.

Generative Agent Simulations of 1000 People 연구에서는 미국을 대표하도록 표집한 1,000명을 가상 연구실에 초대해 약 2시간 동안 폭넓은 인터뷰와 행동 자료를 모은 뒤, 2주 후 디지털 트윈과 실제 참가자에게 같은 설문과 실험을 실시했습니다. 평가 항목에는 Big Five 성격 검사, General Social Survey, 행동경제학 게임, PNAS에 실린 무작위 대조 실험이 포함됐으며 디지털 트윈은 원래 사람이 자신의 응답을 재현한 수준의 85% 정확도로 태도와 행동을 재현했습니다. 반면 일반적인 frontier model은 대중 집단에서 약 50~60%, 좁은 관심 집단에서는 20~30%까지 성능이 떨어질 수 있어 인간의 비합리성이나 개인적 습관을 놓치는 한계가 드러났습니다.

시뮬레이션의 가치는 부정적 결과를 미리 예측하는 데 그치지 않고 목표에 도달하는 경로와 중간 개입을 비교하는 데 있습니다. Foundation의 psychohistory처럼 사회의 불안정성을 줄이기 위한 첫 조치가 직관과 다를 수 있으며, 전기차 판매만 늘리려는 마케팅이 비전기차에 대한 인식을 바꿔 전체 판매를 낮출 가능성까지 함께 계산해야 합니다. 따라서 정확한 최종 수치보다 여러 단계의 상호작용과 개입 효과를 재현하는 능력이 의사결정에 더 중요하다는 관점입니다.

Simile은 인구 수준 모델과 개인 수준 모델을 별도로 운용하며, 둘 다 집단 또는 개인에 대한 설명과 특정 자극을 입력으로 받습니다. 개인 수준에서는 한 사람의 반복되는 성향과 비효율적으로 보이는 습관까지 재현해야 하므로, 모델이 항상 합리적인 선택을 하도록 만드는 것이 오히려 정확도를 낮출 수 있습니다. 예컨대 걷기가 이동 효율에는 불리해도 생각할 시간을 주기 때문에 중요한 사람의 습관이라면, 좋은 시뮬레이션은 그 선택을 오류로 지우지 않고 행동의 일부로 보존해야 합니다.

Simile이 말하는 확장 법칙은 사람에 관한 데이터와 계산량을 늘릴수록 시뮬레이션 성능이 예측 가능한 방식으로 개선되는 초기 신호입니다. 장기 목표는 개별 모델을 다중 에이전트 환경에 배치하고, 수십만 명 수준의 실험을 넘어 지구에 사는 80억 명의 상호작용을 가상 공간에서 재현하는 것입니다. 이 단계에서는 개인의 응답보다 사회 전체에서 나타나는 집단 행동과 기후변화, 민주주의 불안정, 기본소득 같은 복잡한 문제의 emergent behavior를 연구하는 방향으로 질문이 바뀝니다.

대규모 시뮬레이션은 수천 명이나 수만 명만으로도 현재의 고객 의사결정에 충분한 경우가 많지만, 사회 전체를 재현하려면 Foundation Model 학습에 맞먹는 계산 비용과 데이터센터 규모의 인프라가 필요할 수 있습니다. 한 번 수집한 사람의 모델은 영역에 구애받지 않는 특성을 담기 때문에 후속 연구에서 재사용할 수 있으며, 필요한 표본 수보다 관심 있는 세부 집단을 포함했는지가 더 중요할 때도 있습니다. 실제 사람을 반복적으로 모집하는 패널 연구는 비용과 시간이 많이 들고 대규모로 실행하기 어렵기 때문에, 시뮬레이션 비용이 커져도 더 큰 의사결정 손실을 줄이는 수단으로 정당화될 수 있다는 논리입니다.

Park은 초기 agent-based modeling의 대표 사례로 Thomas Schelling의 인종 분리 모형을 들며, 사회적 결과가 개인의 강한 편견 없이도 상호작용 규칙에서 나타날 수 있음을 설명합니다. 격자 위의 빨간 점과 파란 점이 주변에 다른 색이 일정 비율 이상이면 무작위로 이동하도록 설정하자, 같은 색 이웃을 선호하는 정도가 작아도 시간이 지나면서 사회 전체가 분리되는 결과가 나왔습니다. Generative AI는 단순한 색 점보다 풍부한 개인의 기억과 동기를 가진 행위자를 만들 수 있어, 과거의 모형보다 높은 충실도로 복잡한 정책과 사회 현상을 시험할 가능성을 엽니다.

용어 해설

행동 기반 Foundation Model(Behavior Foundation Model): — 사람이 말로 표현한 태도뿐 아니라 실제 행동과 행동을 일으킨 원인까지 학습해 인간 행동을 재현하는 모델입니다. 인터뷰, 관찰·거래 데이터, 무작위 대조 실험을 결합하고 필요하면 모델 가중치를 추가 학습해 특정 인구집단이나 개인의 선택 패턴을 모사합니다.
디지털 트윈(Digital Twin): — 실제 사람이나 사물을 데이터로 표현해 특정 상황에서 어떻게 반응할지 시험하는 가상 모델입니다. 이 글에서는 개인의 장기 인터뷰와 행동 자료를 바탕으로 만든 복제 모델이 설문, 실험, 의사결정에서 원래 사람의 응답과 행동을 얼마나 재현하는지 평가하는 데 쓰입니다.
무작위 대조 실험(Randomized Controlled Trial): — 여러 조건 중 하나의 변수만 바꾸고 결과 차이를 측정해 인과관계를 추정하는 실험 방식입니다. Simile은 실제 구매나 선택처럼 이해관계가 걸린 상황을 만들어 행동 데이터를 수집하며, 단순한 의견이나 온라인 발언보다 사람이 왜 그렇게 행동했는지 파악하는 근거로 활용합니다.
합성 인구집단(Synthetic Population): — 실제 인구의 특성과 행동 분포를 반영해 가상으로 구성한 사람들의 집단입니다. 기업은 연령, 지역, 시장 같은 조건으로 집단을 필터링한 뒤 설문, A/B 테스트, 제품 콘셉트 평가를 실행할 수 있으며, 반복적인 인간 패널 조사에 드는 시간과 비용을 줄이는 데 목적이 있습니다.
에이전트 기반 모델링(Agent-Based Modeling): — 각 행위자에게 행동 규칙을 부여하고 여러 행위자의 상호작용이 사회 전체에서 어떤 결과를 만드는지 계산하는 시뮬레이션 방식입니다. 글에서는 Thomas Schelling의 격자 모형을 예로 들어, 이웃과 같은 인종을 선호하는 정도가 작아도 시간이 지나면 사회적 분리가 커질 수 있음을 설명합니다.

기술

GPT-3
GPT-2
ChatGPT
Claude
OpenClaw
Markdown
Foundation Model
Generative Agents
Smallville
Big Five personality test
General Social Survey
Figma
A/B testing
randomized controlled trials
Open Science Framework

활용 사례

제품 콘셉트 평가
마케팅 메시지 테스트
가상 포커스 그룹
A/B 테스트
웹사이트와 Figma 시제품 이용 테스트
공공정책 시뮬레이션
기업 실적 발표 반응 모델링
기후변화 대응 경로 탐색
민주주의 붕괴 신호 분석
기본소득 정책 실험

언급된 리소스

문서Joon Sung Park LinkedIn

문서Joon Sung Park X

문서Joon Sung Park Website

DemoSimile