LLM 용어 사전: 기초부터 에이전트 인프라까지 310개 용어 정리

대체로 매우 긍정적이며, 특히 간결한 정의와 플래시카드 기능이 학습에 큰 도움이 된다는 반응이 많다.

• 신규 팀원 온보딩 시 해당 사전의 플래시카드 기능을 활용해 기초 용어 테스트를 진행하면 효율적이다.
• HNSW나 Flash Attention 등 인프라 최적화 용어가 생소할 때 빠른 참조 도구로 사용 가능하다.

LoRA

— 거대 모델의 전체 가중치를 수정하는 대신, 일부 가중치 행렬을 저순위 행렬로 분해하여 학습시키는 효율적인 파인튜닝 기법이다. 학습 파라미터 수를 획기적으로 줄여 적은 컴퓨팅 자원으로도 모델을 특정 도메인에 최적화할 수 있게 한다.

RLHF

— 인간의 선호도를 반영한 보상 모델을 학습시키고, 이를 활용해 언어 모델이 인간의 의도에 더 부합하는 답변을 생성하도록 최적화하는 기술이다. 모델의 안전성과 유용성을 높이는 핵심 정렬 기법으로 널리 사용된다.

MoE

— 전체 모델 파라미터 중 입력 데이터에 따라 필요한 일부 '전문가' 네트워크만 활성화하여 추론을 수행하는 아키텍처이다. 모델의 전체 용량은 키우면서도 실제 연산량과 비용을 효율적으로 관리할 수 있는 장점이 있다.

Flash Attention

— GPU 메모리 계층 구조를 고려하여 어텐션 연산의 속도를 높이고 메모리 사용량을 줄인 알고리즘이다. 긴 컨텍스트를 처리할 때 발생하는 병목 현상을 해결하여 대규모 언어 모델의 효율성을 극대화한다.

HNSW

— 고차원 벡터 데이터에서 유사한 항목을 빠르게 찾기 위해 그래프 구조를 활용하는 근사 최근접 이웃(ANN) 검색 알고리즘이다. 벡터 데이터베이스에서 대규모 임베딩 데이터를 효율적으로 검색하는 데 필수적인 기술이다.