psyctl: LLM 성격 조정을 위한 오픈소스 자동화 툴킷

실용적 조언

LLM의 특정 성격을 강화하고 싶다면 psyctl의 데이터 생성 기능을 사용하여 대조 데이터셋을 먼저 구축하라.
모델의 페르소나 변화를 확인할 때 '느낌'에 의존하지 말고 psyctl이 제공하는 심리 검사 자동화 기능을 활용하라.

섹션별 상세

CAA 기법을 위해 대조 프롬프트를 수동으로 작성하는 과정은 파이프라인의 주요 병목 현상이다. psyctl은 특정 타겟 페르소나를 입력받아 이에 대응하는 대조 데이터셋을 자동으로 생성하여 데이터 준비 시간을 획기적으로 단축한다. 이를 통해 사용자는 수동 작업 없이도 대규모의 성격 조정용 데이터를 확보할 수 있다.

생성된 데이터셋으로부터 모델 내부의 활성화 벡터를 추출하고 이를 적용하는 과정이 도구 내에서 매끄럽게 처리된다. 추출 알고리즘이 성격 특성을 나타내는 스티어링 벡터를 계산하고 모델 추론 시 이를 실시간으로 더해주는 구조이다. 복잡한 수학적 구현 없이 CLI 명령만으로 모델의 행동 양식을 조정할 수 있는 환경을 제공한다.

기존의 페르소나 변경 확인은 주관적인 느낌에 의존하여 객관적인 성능 측정이 어려웠으나, psyctl은 이를 정량화했다. 스티어링이 적용된 모델에 대해 자동화된 심리/성격 검사를 실행하여 수치화된 지표로 성격 변화를 측정한다. 이러한 방식은 모델의 성격 변화를 객관적으로 검증하고 다른 모델이나 기법과 비교하는 것을 가능하게 한다.

용어 해설

활성화 추가(Activation Addition): — LLM의 추론 과정에서 특정 레이어의 활성화 값에 특정 방향성을 가진 벡터를 더해 모델의 출력 성향을 실시간으로 변경하는 기법이다. 모델의 가중치를 직접 수정하는 파인튜닝과 달리 추론 시점에 개입하여 성격이나 태도를 조정한다.
스티어링 벡터(Steering Vector): — 모델 내부에서 특정 개념이나 성격적 특성을 담당하는 방향을 나타내는 벡터이다. 대조적인 데이터셋의 활성화 차이를 통해 추출하며, 이를 모델에 주입하여 원하는 방향으로 응답을 유도한다.
대조 데이터셋(Contrastive Dataset): — 특정 특성(예: 친절함)이 포함된 문장과 포함되지 않은 문장을 쌍으로 구성한 데이터셋이다. 두 상태 간의 모델 내부 활성화 차이를 계산하여 스티어링 벡터를 추출하는 데 필수적인 기초 자료가 된다.
심리 검사 목록(Psychological Inventory): — 인간의 성격 특성을 측정하기 위해 설계된 표준화된 질문지 세트이다. 이 도구에서는 모델의 성격이 실제로 의도한 대로 바뀌었는지 정량적으로 평가하기 위해 LLM에게 이 검사를 수행하게 한다.

언급된 도구

psyctl추천링크

LLM 성격 조정(Activation Addition) 자동화 및 평가

언급된 리소스

GitHubpsyctl GitHub Repository

문서psyctl Documentation