aglio-lab의 ai-evaluation-tools: 300개 이상 AI 평가 도구 목록 공개

작성자는 모든 목록을 CC0로 공개하고 정정 요청을 명시해 기여를 유도했다는 점이 분명하다. 게시글 자체에 댓글 내용은 포함되어 있지 않으나 공개·수정 요청 문구로 인해 외부 기여와 정정이 발생할 가능성이 존재한다. 지속적인 업데이트와 검증이 이루어지지 않으면 목록의 가치가 떨어질 수 있다는 우려가 남는다.

• 이 목록들은 필요한 도구를 빠르게 찾아보는 색인으로 활용할 수 있다. 각 도구의 도입 전에는 별도 샌드박스에서 재현 가능한 테스트와 벤치마크를 수행해 성능과 안전성을 검증해야 한다. 리포지토리에 기여할 때는 변경 이력과 출처를 명확히 해 목록의 신뢰도를 유지하는 것이 바람직하다.

RAG

— 검색 증강 생성은 외부 문서 검색 결과를 모델 입력에 주입해 답변을 생성하는 방식이다. 검색 엔진이나 벡터 검색을 통해 관련 문서를 조회한 뒤 해당 문서의 텍스트를 컨텍스트로 결합하고 LLM이 이를 조건으로 텍스트를 생성한다. RAG는 긴 지식 베이스를 모델 파라미터에 전부 저장할 필요를 줄여 업데이트 용이성과 사실성 개선에 기여한다.

Vector DB

— 벡터 데이터베이스는 텍스트 임베딩을 효율적으로 저장하고 유사도 검색을 수행하는 저장소이다. 입력 문장을 임베딩으로 변환해 인덱싱하고, 코사인 유사도나 내적 기반 검색을 통해 연관 문서를 빠르게 조회한다. RAG 파이프라인에서 문맥 검색과 재랭킹에 핵심 역할을 하며 응답 정확도와 검색 지연의 상쇄를 설계 지점으로 만든다.

PEFT

— PEFT는 전체 모델 가중치를 재학습하지 않고 일부 저차원 파라미터만 학습해 파인튜닝 비용과 메모리 사용을 줄이는 기법이다. 대표적 방법으로 LoRA처럼 저순위 행렬을 추가해 적은 수의 파라미터만 업데이트한다. 대형 모델을 제한된 GPU 자원으로 맞춤화할 때 학습 시간과 저장공간을 절감하는 실용적 해법이다.

RLHF

— RLHF는 인간 피드백을 보상 신호로 사용해 정책을 강화학습 방식으로 최적화해 모델 출력을 선호도에 맞게 조정하는 방법이다. 먼저 인간 라벨로 보상 모델을 학습한 뒤 이를 보상으로 사용해 정책을 업데이트한다. 사용자 안전성과 응답 품질을 높이는 수단으로 쓰이나 보상 모델의 편향과 보상 함정이 운용 리스크로 작용한다.

Red Teaming

— 레드팀 테스트는 모델의 취약점을 악용해 안전성 한계를 찾는 공격적 검증 활동이다. 다양한 발화 패턴, 프롬프트 인젝션, 우회 기법을 적용해 모델의 탈주, 유해 출력, 정보 유출 가능성을 확인하고 방어책을 검증한다. 개발 주기에서 사전·사후 검증 수단으로 쓰여 거버넌스와 연계된 리스크 평가에 활용된다.