제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.33062v1 발표 유형: 신규 초록: 통합 대규모 다중 모달 모델(ULMM)은 텍스트-이미지 교차 생성을 통해 시각적 추론을 수행할 수 있지만, 명시적인 중간 이미지를 생성하는 데에는 상당한 계산 부하가 발생합니다. 시각 잠재 공간 추론이 이 문제를 해결하긴 하지만, 기존의 대부분 방법은 시각 생성이 불가능한 시각-언어 모델(VLM)에 의존하고 있습니다. 우리는 ULMM에서 잠재적 시각 추론을 가능하게 하는 새로운 프레임워크인 Oddin을 제안합니다. Oddin은 중간 이미지를 간결한 잠재 토큰으로 대체하며, 이를 이해 분기에서 전적으로 처리하도록 하고, 생성 분기는 최종 출력 이미지 생성에만 할애합니다. 우리는 세 가지 목표—최종 이미지 생성 손실, 텍스트 증류 손실, 그리고 교차 엔트로피 손실—을 포함한 오프라인 자기 증류 방식으로 모델을 학습합니다.
arXiv:2610.32045v1 발표 유형: 신규 초록: AI-포-사이언스 에이전트는 과학적 가설을 제시하고, 자율 실험을 수행하며, 증거를 해석하는 데 점점 더 널리 활용되고 있습니다. 이러한 에이전트들은 도메인 특화형 에이전트 하네스에 대규모 언어 모델(LLM)을 통합하여 구축되며, 이는 LLM의 과학적 역량을 향상시키고 모델이 과학적 도구들을 조율할 수 있도록 합니다. 본 연구에서는 LLM이 AI-포-사이언스 에이전트 하네스에 통합될 때 모델의 안전성이 유지되는지 여부를 검토합니다. 우리는 50개의 유해한 화학 관련 요청에 대해 다섯 가지 에이전트 하네스를 평가합니다. 구체적으로, 직접 프롬프팅, 두 가지 간단한 적대적 프롬프팅 전략, 그리고 적응형 공격 하에서 안전성 행동이 어떻게 변화하는지를 분석합니다. 최근 출시된 GPT의 네 가지 변종을 대상으로 한 결과는 다음과 같습니다.
arXiv:2610.31747v1 발표 유형: 신규 초록: 기존의 3D 말하는 아바타 방법들은 주로 3DMM이나 FLAME와 같은 파라메트릭 얼굴 모델에 의존하며, 이들 모델의 컴팩트한 움직임 표현 방식은 극단적인 표정을 합성하거나 헤드웨어와 같은 액세서리를 모델링하는 데 한계가 있습니다. 우리는 파라메트릭 얼굴 모델이나 개별 인스턴스 최적화 없이, 생성된 멀티뷰 비디오를 오디오 기반 아바타 생성을 위한 중간 표현으로 활용하는 두 단계 프레임워크인 AudioLift를 제안합니다. 본 프레임워크는 동기화된 멀티뷰 비디오 생성 단계와 불일치에 강한 가우시안 재구성 단계를 결합하여, 단일 인물 사진 이미지로부터 일관된 풀헤드 지오메트리를 복원합니다. 광범위한 실험 결과, AudioLift는 더 많은 표현을 포착할 수 있는 3D 말하는 아바타를 생성함을 보여줍니다.
