LLM 용어 사전: 기초부터 에이전트 인프라까지 310개 용어 정리

실용적 조언

신규 팀원 온보딩 시 해당 사전의 플래시카드 기능을 활용해 기초 용어 테스트를 진행하면 효율적이다.
HNSW나 Flash Attention 등 인프라 최적화 용어가 생소할 때 빠른 참조 도구로 사용 가능하다.

섹션별 상세

작성자는 LLM 입문자와 협업자를 위해 310개의 용어를 포함한 온라인 사전을 구축했다. 토큰, 임베딩과 같은 기초 개념부터 LoRA, RLHF 등 학습 기법, 그리고 MoE와 Flash Attention 같은 최신 아키텍처까지 폭넓게 포함했다. 각 정의를 논문 초록 수준의 복잡한 설명 대신 1-2문장의 간결한 형태로 작성하여 가독성을 높였다. 실무에서 팀원 교육이나 빠른 개념 확인 용도로 활용 가능하다는 점이 확인됐다.

학습 효율을 높이기 위해 퀴즈 형태의 플래시카드 기능을 시스템에 통합했다. 사용자가 정의를 읽고 용어를 맞추거나 반대로 수행하며 지식을 점검할 수 있는 인터랙티브한 학습 환경을 제공한다. 이는 단순한 텍스트 나열보다 개념 암기와 이해도 측정에 효과적인 도구로 작동한다. 신규 입사자나 AI 분야로 전환하는 개발자들의 온보딩 과정에서 유용하게 쓰일 수 있는 실무적 장치이다.

커뮤니티 피드백을 통해 니치한 용어들에 대한 지속적인 수정과 보완을 계획하고 있다. 작성자는 ReAct, Tool Use, HNSW 등 인프라 및 에이전트 관련 용어의 정확성을 검증받고자 하며 사용자들의 참여를 독려했다. 이는 정적인 문서에 그치지 않고 커뮤니티의 집단지성을 활용해 정보의 신뢰도를 높이는 오픈 리소스 모델을 지향한다. 실제 실무자들이 사용하는 용어의 맥락을 반영하여 사전의 실용성을 강화하려는 의도가 담겨 있다.

용어 해설

저순위 적응(LoRA): — 거대 모델의 전체 가중치를 수정하는 대신, 일부 가중치 행렬을 저순위 행렬로 분해하여 학습시키는 효율적인 파인튜닝 기법이다. 학습 파라미터 수를 획기적으로 줄여 적은 컴퓨팅 자원으로도 모델을 특정 도메인에 최적화할 수 있게 한다.
인간 피드백 기반 강화학습(RLHF): — 인간의 선호도를 반영한 보상 모델을 학습시키고, 이를 활용해 언어 모델이 인간의 의도에 더 부합하는 답변을 생성하도록 최적화하는 기술이다. 모델의 안전성과 유용성을 높이는 핵심 정렬 기법으로 널리 사용된다.
전문가 혼합(MoE): — 전체 모델 파라미터 중 입력 데이터에 따라 필요한 일부 '전문가' 네트워크만 활성화하여 추론을 수행하는 아키텍처이다. 모델의 전체 용량은 키우면서도 실제 연산량과 비용을 효율적으로 관리할 수 있는 장점이 있다.
플래시 어텐션(Flash Attention): — GPU 메모리 계층 구조를 고려하여 어텐션 연산의 속도를 높이고 메모리 사용량을 줄인 알고리즘이다. 긴 컨텍스트를 처리할 때 발생하는 병목 현상을 해결하여 대규모 언어 모델의 효율성을 극대화한다.
계층적 탐색 가능 소규모 세계(HNSW): — 고차원 벡터 데이터에서 유사한 항목을 빠르게 찾기 위해 그래프 구조를 활용하는 근사 최근접 이웃(ANN) 검색 알고리즘이다. 벡터 데이터베이스에서 대규모 임베딩 데이터를 효율적으로 검색하는 데 필수적인 기술이다.

언급된 도구

LLMForest Dictionary추천링크

LLM 전문 용어 사전 및 학습용 플래시카드 제공

언급된 리소스

문서LLMForest Dictionary