Kili Technology Blog

자동화 라벨링과 HITL 워크플로를 결합하여 도메인 전문 지식을 AI 라이프사이클 전반에 주입해 데이터 품질과 확장성, 프로덕션 모델 성능을 개선한다.

Kimi K3가 AI Intelligence Index에서 3위를 차지했지만 환각률은 51%로, 순위와 사실성 지표 간 괴리가 드러났다.

온프레미스 라벨링 플랫폼의 보안 배포 모델과 SOC 2·ISO 27001·HIPAA 준수 여부, 에어갭 운영 방식과 대규모 품질 관리 역량을 비교한다.

LLM 환각은 훈련 데이터의 네거티브 예시 부족과 관련 있으며 하드 네거티브, null 출력 사례, 선호도 페어 설계가 해결 방안으로 권장된다.

RAG 시스템을 엔드투엔드 점수로만 평가해 실패 지점을 숨기는 문제를 지적하고 검색과 생성 평가를 분리해 LLM 저지 기반 벤치마크로 품질을 측정하는 가이드다.

데이터 라벨링은 원시 데이터 노출의 최대 지점이며, 배포 모드·인증·프로젝트 수준 접근 제어·라벨 단위 감사 로그가 규제 준수와 모델 신뢰도를 결정한다.

대규모 멀티프로젝트 데이터 라벨링 운영에서 플랫폼 간 차이와 Kili의 경쟁력을 비교 분석한다.

Microsoft의 MAI-Thinking-1 모델은 30조 개의 토큰과 엄격한 데이터 필터링을 통해 구축되었으며, 학습 데이터의 출처와 검증 과정을 상세히 공개했다.

공개 레드팀 데이터셋에 대한 모델의 평가 인지 문제가 심화됨에 따라, 기업은 자체 도메인과 정책에 맞춘 프라이빗 레드팀 데이터셋 구축이 필수적이다.

일반 벤치마크의 포화로 도메인 특화 평가가 중요해졌으나, 벤치마크는 필터일 뿐 실제 프로덕션 환경에서는 전문가의 검증이 필수적이다.

프로덕션 환경의 LLM 시스템 신뢰성을 확보하기 위해 실제 실패 사례 기반의 맞춤형 벤치마크를 구축하고 운영하는 5단계 방법론을 제시한다.

Moonshot AI가 출시한 1조 파라미터 규모의 MoE 모델 Kimi K2.6이 SWE-Bench Pro에서 GPT-5.4를 앞서며 오픈 웨이트 모델 중 세계 1위를 기록했다.

공공 AI 벤치마크의 급격한 포화와 타당성 결여 문제를 해결하기 위해, 도메인 전문가와 명확한 루브릭 기반의 커스텀 벤치마크 구축이 필수적이다.

프론티어 모델이 공개 벤치마크를 테스트 상황으로 인지하여 행동을 수정하는 '평가 인지' 현상이 심화됨에 따라, 기업은 독점 데이터와 전문가 기반의 맞춤형 평가 체계를 구축해야 한다.

RLHF와 PPO 기법을 활용하여 소형 모델이 거대 모델의 성능을 능가하게 만드는 기술적 방법론과 데이터 구축 전략을 제시한다.

LLM을 특정 도메인과 작업에 최적화하기 위한 파인튜닝의 필요성, 주요 방법론(IFT, RLHF, STFT), 그리고 효율적인 데이터 구축 워크플로를 제시한다.

정형 데이터와 비정형 데이터의 정의적 차이를 분석하고, 딥러닝 도입에 따른 피처 엔지니어링의 변화와 ML 파이프라인 구축 전략을 제시한다.

Hugging Face의 FineWeb 프로젝트를 통해 벤치마크 기반의 데이터 필터링과 중복 제거 전략이 LLM 성능에 미치는 핵심적인 영향을 분석합니다.

Microsoft Phi-3는 고품질 합성 데이터와 데이터 최적화 전략을 통해 3.8B~14B의 작은 크기로도 GPT-3.5를 능가하는 성능을 보여주는 소형 언어 모델 제품군이다.

Databricks가 개발한 DBRX는 132B 파라미터의 MoE 구조와 12조 토큰의 고품질 데이터를 결합해 기존 모델 대비 압도적인 성능과 효율성을 달성했다.

Hugging Face의 SmolLM은 정교하게 큐레이션된 고품질 데이터셋을 통해 소규모 파라미터로도 대형 모델에 필적하는 성능을 구현한 효율적인 SLM 시리즈입니다.

머신러닝 모델의 성능과 정확도를 결정하는 학습 데이터의 정의, 품질 요건, 그리고 효율적인 데이터 소싱 및 라벨링 전략을 제시한다.

기존 AI 벤치마크의 포화와 오염 문제를 분석하고, 도메인 전문가 기반의 GDPval 및 계층적 평가 체계 등 실무 환경에 적합한 새로운 평가 패러다임을 제시한다.

People For AI(PFAI)가 기업용 AI 데이터 프로그램을 위해 구축한 전문 어노테이션 팀의 선발, 교육, 자동화 통합 및 품질 관리 운영 모델을 분석한다.