r/deeplearning

FPGA 제약을 고려해 Taylor 급수, Pade 근사, LUT 보간을 사용해 소프트맥스를 근사하고 속도와 정확도 간의 균형을 정량적으로 평가했다.

이 논문은 VAE를 신경망의 레이어로 구현하고 해당 레이어를 위한 새로운 학습전략을 제안한 뒤 성능을 분석했다.

고정 앵커와 Lowdin 대칭 직교화, 열 단위 Z표준화, 코사인 거리로 서로 다른 차원의 LLM 임베딩을 공통 좌표로 정렬해 모델 간 의미 비교와 선택적 태스크 라우팅을 가능하게 했다.

per-step(iterative-target) 감독이 위치 불변성 조건을 만족할 때에만 반복 블록 기반 모델이 훈련 깊이의 약 24배까지 길이 외삽에 성공한다고 확인됐다.

참가자들이 대회 피드백으로 과적합하는 구조를 피하기 위해 7월 23일에 21개 예측값을 SHA-256으로 봉인하고 8월 12일에 검증 파일을 공개해 물리 기반 예측의 순수 성능을 가리겠다고 발표했다.

영상 VLM 평가에서 분할·프레임 샘플링·해상도·프롬프트·추론 예산이 모델보다 성능에 더 큰 영향을 미쳐 구성 단위 벤치마크로 전환했다.

월드 모델을 고정한 동일 상상 데이터에서 RL-in-imagination은 실패했지만 감독적 자기모방 기반의 graded dream rehearsal는 MiniGrid 다중 과제에서 행동을 안정적으로 복구했다.

MLIR이 다단계 중간표현과 다이얼렉트를 통해 고수준 계산 표현을 점진적으로 로어링하고 하드웨어 친화적 코드를 생성하는 방식을 기술적 관점에서 정리한다.

입력 바운드 학습 실행을 torch.profiler, cProfile, TraceML로 비교해 오버헤드·GPU 교란·출력 크기·원인 규명 난이도의 상호 보완적 트레이드오프를 제시했다.

mmBERT-small 인코더를 공유하는 멀티헤드 모델을 공개했고 헤드별 F1은 0.916–0.980 범위, ONNX INT8/INT4 양자화로 엣지 빌드(최소 96MB)를 제공하며 최악 손실은 FP32 대비 0.012였다.

Hugging Face와 Ollama 등 로컬 LLM 환경에서 캐시·중복 퀀타이즈 파일·사용하지 않는 임베딩이 수십 기가바이트를 차지하므로 경로 확인과 정기 자동화로 디스크를 회수해야 한다.

공개 데이터 다섯 출처의 여섯 함대에서 사전등록 예측과 암호적 시드를 활용해 RUL 진단과 충전 정책 설계를 검증한 결과이다.

생성된 텍스트의 토큰별 그래디언트 귀속을 DAG로 추적하고 희소 가지치기를 적용해 Qwen3-1.7B에서 추론 궤적을 시각화한 연구·데모이다.

세 가지 데이터 전처리로 표준 트리 모델의 RMSE를 17.9에서 13.42로 개선하고 동일 전처리로 소형 GRU가 공개된 딥러닝 결과를 능가했다.

토큰별로 계산된 logits와 steer/grammar 보정, softmax 샘플링 과정을 시각화한 디코더 내부 스냅샷이다.

그래프 신경망 기반의 P2LNet을 통해 HD 지도 요소 간의 토폴로지와 연결성을 자동으로 검증하는 방법과 논문 및 포스트프린트를 공유한다.

여러 LLM 렌즈(Logit Lens, Patchscopes, Jacobian Lens, Geometric Lens)를 겹쳐 모델의 결정 경계와 토큰 예측 궤적을 공동 시각화하는 도구와 관련 코드 및 논문 링크이다.

mHC 기반 다중 스트림 라우팅으로 같은 레이어 내에서 GDN2와 Attention을 병렬 운영하자 60M 모델의 사전학습 손실이 순차적 구조보다 지속적으로 낮게 관찰되었다.

Flexibility Trap 논문이 지적한 확산형 LLM의 '유연성 함정'을 JustGRPO 튜토리얼로 재현해 훈련을 자동회귀 순서로 바꾸고 추론은 병렬 디코딩으로 유지했을 때 GSM8K에서 89.1% 성능을 얻었다는 경험담이다.

BCMT는 고정 크기 로컬 블록 내 dense causal self-attention과 블록 요약 기반의 인과 메모리를 결합해 긴 문맥을 처리하며 WikiText-103에서 기존 Transformer 대비 유사한 검증 퍼플렉서티와 더 높은 학습 처리량 및 낮은 GPU 메모리 사용을 보고했다.

RCRR는 일본어 문서 AI에서 PDF 변환 후 의미 보존을 평가하는 벤치로 14개 시스템과 1,410개의 검증된 질문을 포함한다.

비전·레이다 수신 영상에서 곱셈적 노이즈를 로그 변환으로 덧셈화하고 필터링 기반 복원 절차가 핵심이다.

GitHub의 brainstem 프로젝트는 텍스트 말뭉치를 SQLite 기반의 확률적 관계형 세계 모델로 변환하는 neuro-symbolic 아키텍처를 목표로 한다.

E2AM은 학습 중 에너지·탄소·FLOPs·지연을 자동 계측하고 EAG라는 정확도 대비 누적 에너지 기울기를 기반으로 중단 신호를 제공하는 오픈소스 툴킷이다.