본문으로 건너뛰기

지난주 생성형 이미지 및 비디오 분야 주요 소식 요약

오픈소스 이미지 및 비디오 생성 AI 분야의 최신 모델, 도구, 연구 성과를 정리한 주간 큐레이션이다.

실용적 조언

  • DaVinci-MagiHuman을 활용하여 비디오와 오디오가 결합된 콘텐츠를 효율적으로 생성할 수 있다.
  • PSDesigner를 통해 복잡한 그래픽 디자인 작업을 에이전트 기반으로 자동화하여 생산성을 높일 수 있다.
  • PixelSmile LoRA를 적용하여 이미지 내 인물의 표정을 세밀하게 조정할 수 있다.

섹션별 상세

비디오와 오디오를 동시에 생성하는 효율적인 멀티모달 모델에 대한 수요가 높다. DaVinci-MagiHuman은 15B 파라미터의 단일 스트림 Transformer 아키텍처를 사용하여 두 매체를 통합 생성한다. 인간 평가 결과 Ovi 1.1 대비 80%, LTX 2.3 대비 60.9%의 승률을 기록하며 성능을 입증했다. Apache 2.0 라이선스로 전체 스택이 공개되어 오픈소스 비디오 생성 기술의 수준을 한 단계 높였다.
실시간 상호작용이 가능한 고해상도 월드 모델 구현은 기술적 난제이다. Matrix-Game 3.0은 메모리 증강 구조를 채택하여 5B 파라미터 규모에서 720p 해상도를 초당 40프레임으로 처리한다. 공개된 모델을 통해 사용자는 실시간으로 변화하는 가상 환경을 경험할 수 있다. 이는 게임 엔진을 대체하거나 자율 주행 시뮬레이션 등에 활용될 수 있는 강력한 기초 기술이다.
그래픽 디자인 과정에서 인간의 복잡한 레이어 편집과 자산 배치를 자동화하려는 시도가 지속되고 있다. PSDesigner는 AssetCollector, GraphicPlanner, ToolExecutor로 구성된 에이전트 워크플로우를 통해 인간 전문가의 작업 방식을 모방한다. 공개된 시스템은 Adobe Photoshop과 같은 도구를 제어하여 디자인을 생성하고 수정하는 과정을 포함한다. 디자인 실무의 생산성을 극대화할 수 있는 에이전트 기반 자동화의 구체적 사례이다.
PSDesigner의 아키텍처와 워크플로우를 보여주는 다이어그램이다.
DiagramAssetCollector, GraphicPlanner, ToolExecutor가 협력하여 디자인을 생성하고 수정하는 과정을 단계별로 나타낸다. 인간 전문가와 AI 에이전트 간의 상호작용 구조를 명확히 보여준다.
이미지 내 인물의 세밀한 표정 제어는 생성형 AI의 정교함을 결정하는 요소이다. PixelSmile은 Qwen-Image-Edit을 기반으로 한 LoRA 모델로, 미소나 분노 등 미세한 감정 표현을 조절한다. 제공된 예시에서 실사 인물과 애니메이션 캐릭터 모두에서 강도에 따른 자연스러운 표정 변화가 확인됐다. 특정 감정의 강도를 수치적으로 제어하여 고품질의 이미지 편집 결과를 얻을 수 있다.
PixelSmile LoRA를 이용한 세밀한 표정 편집 결과를 보여주는 스크린샷이다.
Infographic실사 인물과 애니메이션 캐릭터의 행복, 슬픔, 분노 등 다양한 감정 강도가 변화하는 과정을 비교하여 제시한다. 모델이 표정의 미세한 변화를 어떻게 제어하는지 시각적으로 입증한다.
비디오, 오디오, 텍스트 자극에 대한 인간 뇌의 반응을 예측하는 연구가 진행 중이다. Meta TRIBE v2는 이러한 멀티모달 입력에 따른 뇌 활동을 예측하는 기초 모델로 개발됐다. 코드와 모델이 모두 공개되어 연구자들이 뇌 반응 데이터를 활용한 AI 정렬 연구에 참여할 수 있다. 인간의 인지 체계와 AI 모델 간의 상관관계를 분석하는 데 중요한 도구이다.

용어 해설

트랜스포머(Transformer)
텍스트, 이미지 등 데이터 요소 간의 관계를 병렬로 처리하는 어텐션 메커니즘 기반의 신경망 아키텍처이다. 대규모 언어 모델과 생성형 AI의 핵심 구조로 쓰이며 복잡한 문맥 파악에 탁월하다.
월드 모델(World Model)
가상 환경의 물리적 법칙과 인과 관계를 학습하여 미래의 상태를 예측하고 시뮬레이션하는 AI 모델이다. 5B 파라미터 규모에서 실시간 상호작용을 지원하며 자율 시스템의 의사결정 기초가 된다.
저순위 어댑터(LoRA)
기존 모델의 전체 가중치를 수정하지 않고 저순위 행렬만을 추가하여 특정 작업에 맞춰 미세 조정하는 효율적인 학습 기법이다. 적은 메모리와 계산량으로도 모델의 스타일이나 기능을 정교하게 제어할 수 있다.
기초 모델(Foundation Model)
방대한 데이터를 사전 학습하여 다양한 하위 작업에 범용적으로 적용 가능한 대규모 AI 모델이다. 텍스트, 이미지, 오디오 등 멀티모달 데이터를 처리하며 복잡한 추론 능력을 제공한다.

언급된 도구

DaVinci-MagiHuman추천

Video+Audio Generation

Matrix-Game 3.0추천

Interactive World Model

PSDesigner추천

Automated Graphic Design

ComfyUI추천

Library

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 04. 01.수집 2026. 04. 01.출처 타입 REDDIT

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.