TL;DR
맥락과 목적은 LLM이 특정 심리적 특성과 정신건강 상태를 반영하도록 안내하는 프레임워크를 제시하는 것이다.
핵심은 파라미터 효율적 어댑터를 활용해 대형 모델의 가중치를 크게 증가시키지 않고도 텍스트 생성 시 esp. Big Five 성격 특성, 우울 및 삶의 만족도 같은 지표를 반영하는 구성이다. 구현적으로 Gemma-2B를 베이스로 latent_size를 5로 설정하고, Big Five 데이터세트 및 평가 데이터로 학습한다. 실험 파이프라인은 train_psychadapter.py로 학습을 수행하고, inference_psychadapter.py로 다차원 변수의 출력을 생성하는 방식으로 구성된다.
의미상으로는 이 접근이 연구 재현성과 특성 제어 가능성의 새로운 경로를 열지만, 실제 적용시 윤리적 고려와 편향 관리 등의 한계가 남아 있을 수 있다.
섹션별 상세
python ./codes/train_psychadapter.py \
--train_data_file ./data/big5_training_data.csv \
--eval_data_file ./data/big5_validating_data.csv \
--output_dir ./checkpoints/big5_model \
--model_name_or_path google/gemma-2b \
--latent_size 5 \
--do_lower_case \
--per_gpu_train_batch_size 32 \
--per_gpu_eval_batch_size 32 \
--gradient_accumulation_steps 2 \
--do_train \
--evaluate_during_training \
--learning_rate 5e-5 \
--num_train_epochs 5 --save_steps 1000 \
--logging_steps 100PsychAdapter 학습을 위한 핵심 학습 명령 예시
python3 ./codes/inference_psychadapter.py \
--train_data_file ./data/big5_training_data.csv \
--output_dir ./checkpoints/big5_model \
--model_name_or_path google/gemma-2b \
--checkpoint_step 30000 \
--psych_variables big5 \
--latent_size 5 \
--do_lower_case \
--generate_num 10 \
--generate_length 64 \
--temperature 0.7 \
--top_k 10 \
--top_p 0.9 \
--std_range 3.0 \
--generate_interval 3.0 \
--seed 45 \
--prompting_text "I like to"추론(Inference) 실행 예시
용어 해설
- 빅파이브 성격 특성(Big Five Personality Traits)
- — 빅파이브는 개개인의 성격을 다섯 가지 차원(Openness, Conscientiousness, Extraversion, Agreeableness, Neuroticism)으로 설명하는 심리학 모델로, 특정 특성을 반영한 텍스트 생성을 연구하는 데 활용된다.
- 정신건강 상태(Mental Health States)
- — 우울(depression)과 삶의 만족도(life satisfaction) 같은 정신건강 상태를 나타내는 지표로, 텍스트 생성의 방향성을 제시하는 신호로 활용된다.
- 인구통계학적 특성(Demographics)
- — 나이, 성별 등 인구통계 정보를 조건으로 삼아 텍스트 생성을 맥락화하는 요소이다.
- 파라미터 효율적 어댑터(Parameter-efficient Adapters)
- — 전체 가중치를 조정하는 대신 소수의 어댑터 모듈만 학습시켜 파라미터 수를 줄이고 특정 특성 반영을 가능하게 하는 기법이다.
- Gemma-2B
- — 구글의 Gemma-2B 기반 베이스 모델로, PsychAdapter의 학습/추론 파이프라인의 출발점이 된다.
근거 모음
- PsychAdapter is a modular framework for steering LLMs to reflect specific Big Five personality traits and mental health states using parameter-efficient adapters. — About PsychAdapter section 출처
기술
- Python
- transformers
- PEFT
- HuggingFace
- datasets
활용 사례
- Reflect personality traits in generated text
- Research on mental health cues in AI
- Conditioning text generation on demographics
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
