열역학 공리로 유도한 추론·학습 이론과 최적화 아이디어
엔트로피 정의에서 출발해 활성화를 비가역적 엔트로피 생성 과정으로 모델링하여 추론 규칙과 최적화 기법을 유도한 이론적 연구와 관련 논문 링크를 공유한 게시물이다.
머신러닝 연구자와 실무자들의 기술 중심 토론 커뮤니티 (250만+ 구독자)
엔트로피 정의에서 출발해 활성화를 비가역적 엔트로피 생성 과정으로 모델링하여 추론 규칙과 최적화 기법을 유도한 이론적 연구와 관련 논문 링크를 공유한 게시물이다.
MedQA-SWE 다지선다형 의학시험에서 SFT로 MedGemma-1.5-4B가 60%를 기록했고 Gemma4-E4B와 Qwen3.5-4B는 미세조정 없이 77% 수준을 보였으며 Qwen은 추론 활성화 시 87%까지 도달했다.
YOLO26n의 추론 파이프라인을 ARM64 어셈블리와 C로 직접 구현하고 NEON SIMD, Winograd, 최적화 GEMM, 캐시 타일링을 적용해 라즈베리파이4에서 성능을 평가했다.
IMO 2026 문제를 이용한 비교에서 frontier 모델들이 최고 성능을 보였고 AutoFyn 하니스가 비프론티어 모델 성능을 크게 올렸으나 여전히 frontier에 미치지 못했으며 수학 도메인에서도 hallucination이 존재함이 확인되었다.
저자는 노이즈가 심한 센서 신호를 잠재 매니폴드로 사상하여 자가회귀 인접 과제를 수행하는 알고리즘과 유계성 보증을 제시하고 NASA CMAPSS 데이터에서 실증 검증을 수행했다고 알렸다.
1인칭 영상은 시야에 들어오는 객체 순서와 시선 이동 같은 시각적 단서를 전달하지만 접촉 순간의 가려짐 때문에 행동 성공률 개선으로 직결되지 않을 수 있다.
로컬 RAG로 자동 생성한 100–200개 예제와 클라우드 1회 교정, LoRA 파인튜닝을 결합해 4B 모델이 좁은 도메인에서 구조적 일관성과 성능을 확보했다고 보고했다.
SLQ 계열 양자화가 Qwen3와 Llama 모델에서 L40s 기준 GPU당 처리량을 최대 약 3.68배까지 끌어올린 결과를 제시한다.
파이썬으로 정의한 계산 그래프를 훈련 없이 트랜스포머 가중치로 컴파일해 Hugging Face에 바로 로드되는 Phi-3 체크포인트를 생성하는 구현과 리포지토리이다.
Gnosys는 소수의 검증 레이블과 대규모 미라벨 풀을 결합해 보정된 목표함수를 자동으로 구성하고 프롬프트와 분류기를 재학습시켜 동일한 5% 거짓 긍정율 조건에서 유해 탐지율을 개선했다.
키 노름이 비균일하면 평면적 유사도 기반 라우터가 소수 위치로 집중하고 표현이 저차원으로 붕괴한다.
실제 API로 10개 작업을 1,000회 실행한 결과 모델별 청구 방식과 보이지 않는 내부 추론 토큰 때문에 총비용이 최대 10.6배까지 벌어졌다.
에이전트의 실행 여부 판단을 모델 추론에서 미리 정의된 스키마 대조로 옮겨 일관성, 감사성, 통제 가능성을 확보하는 설계 제안이다.
포인트인타임 10-K 등급을 이용한 보정된 예측 데이터베이스가 상위 20개 포트폴리오에서 연평균 20.6%를 기록하며 순위 기반 의사결정에서 유의미한 성과를 보였다.
TLabel은 센서별 이종 포맷 문제를 해결하기 위해 22차원 통일 스키마와 capabilities 기반 플러그인 어댑터 아키텍처를 제공하는 오픈소스 툴킷이다.
Substack 튜토리얼과 GitHub 노트북 링크로 AI 기반 슬롭 감지기 구현 과정을 코드와 함께 재현할 수 있도록 제공한다.
SkewAdam은 파라미터 행동에 따라 옵티마이저 상태 정밀도를 계층적으로 할당해 AdamW 대비 옵티마이저 상태를 50.6GB에서 1.29GB로 줄이고 6.78B MoE를 단일 40GB GPU에서 학습 가능하게 했다.
연합학습 실험에서 96% 전역 정확도가 소수 실로의 49% 정확도와 0.00 재현율을 가렸고 FedNova가 소수 공격 검출에서 일관된 성능을 보였다.
Tri-Net v2는 Scientific Reports 논문에 대응하는 재현 가능한 오픈소스 구현으로 여러 CNN 백본과 누수 방지 파이프라인·피처 융합·Grad-CAM·교차검증을 포함하며 PyPI와 도커·CI로 배포된다.
Coincidex는 context 기반 유사도 행렬로 입력을 동적으로 라우팅해 replay 버퍼 없이 연속 학습에서 전이를 달성하려는 PyTorch 연구용 프레임워크이다.
고정된 하니스를 학습해 여러 task LLM에 재사용하고 Terminal-Bench 2.0을 능가하는 전이 성능을 달성한 오픈소스 PyTorch 유사 프레임워크를 공개했다.
소비자 출력에 민감한 방향을 보존하도록 비트 예산을 배분한 코딩이 재구성 최적 코드를 작업 성능에서 능가하는 현상이 여러 도메인에서 사전등록 실험으로 재현되었다.
ASCIITermDraw-Bench는 80개 과제와 구조적·의미적 점수, 95% 신뢰구간을 통해 Vision Language Model의 ASCII 다이어그램 생성·편집 능력을 평가한다.
GPT-2-small의 WTE에서 32,070개 토큰을 압축해 t-SNE로 2D에 배치하고 MST 기반 간선으로 근접 관계를 모바일에서 인터랙티브하게 탐색하는 시각화 도구이다.