제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.33062v1 발표 유형: 신규 초록: 통합 대규모 다중 모달 모델(ULMM)은 텍스트-이미지 교차 생성을 통해 시각적 추론을 수행할 수 있지만, 명시적인 중간 이미지를 생성하는 데에는 상당한 계산 부하가 발생합니다. 시각 잠재 공간 추론이 이 문제를 해결하긴 하지만, 기존의 대부분 방법은 시각 생성이 불가능한 시각-언어 모델(VLM)에 의존하고 있습니다. 우리는 ULMM에서 잠재적 시각 추론을 가능하게 하는 새로운 프레임워크인 Oddin을 제안합니다. Oddin은 중간 이미지를 간결한 잠재 토큰으로 대체하며, 이를 이해 분기에서 전적으로 처리하도록 하고, 생성 분기는 최종 출력 이미지 생성에만 할애합니다. 우리는 세 가지 목표—최종 이미지 생성 손실, 텍스트 증류 손실, 그리고 교차 엔트로피 손실—을 포함한 오프라인 자기 증류 방식으로 모델을 학습합니다.
arXiv:2610.33070v1 발표 유형: 신규 초록: 이미지-비디오(I2V) 확산 모델은 단일 인물 사진이나 이미지를 애니메이션화하여, 주체의 허가 없이 공유된 이미지를 움직임 합성에 재사용할 수 있도록 합니다. 우리는 이러한 용도에 대비한 선제적 시각적 보호를 연구합니다: 이미지가 공개되기 전에 소유자는 공유 워크플로우는 유지하되 하위 단계의 움직임 생성을 방해하는 제한된 변동을 적용합니다. 기존의 스펙트럼 교란 목적은 시간적 표현을 전반적으로 감쇠시키므로, 미세하거나 공간적으로 국부화된 움직임에 대해서는 제한된 통제만 가능합니다. 우리의 핵심 아이디어는 생성된 동작이 시간적 특징의 강도뿐만 아니라, 특징 이벤트가 발생하는 순서에도 의존한다는 점입니다. 우리는 PhaseBreak라는 화이트박스 스펙트럼 리타이밍 보호 기법을 제안합니다.
arXiv:2610.31721v1 발표 유형: 신규 초록: 비용이 많이 드는 평가와 복잡한 제약 조건 하에서 고차원 물리 시스템을 최적화하는 문제는 과학과 공학 분야의 핵심 과제입니다. 오프라인 모델 기반 최적화(MBO)에서는, 테스트 시간에 실제 목적 함수에 접근할 수 없으며 고정된 데이터 세트만을 사용하여 설계를 개선해야 합니다. 그러나 기존 방법들은 일반적으로 보수성, 제약 없는 대리모델 활용, 또는 정밀한 물리적 목표에 맞춰 후보를 정교하게 개선하지 못하는 정적인 추론 시점 샘플러로 작동하는 등의 한계를 지니고 있습니다. 본 논문에서는 오프라인 MBO를 위한 미분 가능한 확산 조건부 학습(D2C)을 제안합니다. 이 방법은 결정론적 샘플링이 역 노이즈 체인을 조건부 신호에 대해 미분 가능하게 만든다는 점을 활용합니다. D2C는 …
arXiv:2610.31765v1 발표 유형: 신규 초록: 단일 참조 비디오로부터 동적 장면의 여러 비디오를 생성하려면, 서로 다른 시점 간에 관찰된 내용과 미관찰된 내용을 일관되게 합성해야 합니다. 기존의 비디오 디퓨전을 위한 카메라 제어 방법들은 일반적으로 카메라 임베딩, 시각 간 주의 메커니즘, 기하학적 조건부 등 다양한 아키텍처적 기법에 의존합니다. 이러한 접근법은 정적인 장면의 콘텐츠에는 효과적이지만, 시점 간 및 시간에 걸쳐 일관성을 유지해야 하는 세밀하고 동적인 기하학적 특성에는 종종 어려움을 겪습니다. 우리는 각 2D 이미지 평면에서 독립적으로 샘플링하는 대신, 소스 비디오로부터 도출된 표준적인 3D 공간에서 가우시안 노이즈 사전 분포를 샘플링하고 이를 타겟 카메라로 래스터화함으로써 디퓨전 과정 자체를 동기화합니다. 우리의 m
NVIDIA H100 GPU가 출시되었으며, 성능이 향상되고 비용은 절감되었습니다.
Easel AI의 고급 얼굴 교체 및 AI 아바타가 이제 Replicate에서 제공됩니다.
FLUX는 이제 Replicate에서 훨씬 더 빠르며, 저희의 최적화 방식을 오픈소스로 공개하여 여러분이 그 작동 원리를 정확히 확인하고 이를 기반으로 발전시킬 수 있도록 했습니다.
