FLUX는 빠르고 오픈 소스입니다

Replicate FLUX가 이제 Replicate에서 훨씬 더 빨라졌으며, 저희의 최적화 방식을 오픈소스로 공개하여 작동 원리를 정확히 확인하고 이를 기반으로 발전시킬 수 있도록 했습니다. 다음은 엔드투엔드 속도입니다: FLUX.1 [schnell] 512x512 해상도, 4 스텝: 0.29초 (P90: 0.49초) FLUX.1 [schnell] 1024x1024 해상도, 4 스텝: 0.72초 (P90: 0.95초) FLUX.1 [dev] 1024x1024 해상도, 28 스텝: 3.03초 (P90: 3.90초) 이는 미국 서부 지역에서 Python 클라이언트를 사용하여 측정한 결과입니다. 다음은 FLUX.1 [schnell]의 데모입니다. (실시간으로 작동하니 바로 입력해 보세요!) 원하는 경우 전체 앱과 소스 코드를 확인하실 수 있습니다. 어떻게 구현했나요? Replicate 상의 대부분 모델은 커뮤니티에서 기여한 것이지만, FLUX 모델은 Black Forest Labs와 협력하여 유지 관리하고 있습니다. FLUX를 더 빠르게 만들기 위해 두 가지 주요 작업을 수행했습니다: 모델을 최적화했습니다. Alex Redden의 flux-fp8-api를 시작점으로 삼아 torch.compile으로 추가 최적화를 진행했으며, 매일 빌드되는 Torch 버전에서 고속 CuDNN 어텐션 커널을 활용했습니다. 새로운 동기식 HTTP API를 추가하여 Replicate에서 모든 이미지 모델의 처리 속도를 대폭 향상시켰습니다. flux-fp8-api의 퀀터이제이션은 모델 출력에 약간의 변화를 주지만, 품질에는 거의 영향을 미치지 않는 것으로 확인되었습니다. FLUX.1 [schnell]과 FLUX.1 [dev]에 대해 수천 개의 프롬프트 출력을 비교하는 도구를 제작했습니다. 일부 사례만 선택적으로 검증한 것이 아닙니다. 직접 확인해 보세요. 모델의 go_fast 입력을 false로 설정하면 이 기능을 비활성화할 수 있습니다. 저희는 모델 최적화 방식에 대해 투명하게 공개하고자 합니다. 모델 간 및 제공업체 간 출력을 비교하는 일은 매우 어렵고, 제공업체가 모델 품질에 영향을 미치는 조치를 취하고 있는지 여부도 종종 불분명하기 때문입니다. 저희는 단순히 어떻게 최적화했는지 알려드리고, 필요 시 모든 최적화 옵션을 비활성화할 수 있도록 할 것입니다. 즉, 여러분은 귀하가 얻고 있는 결과물이 가능한 최고의 품질인지 의심하지 않습니다. 무엇보다도, 해당 코드는 오픈소스이므로 작동 방식을 정확히 확인하실 수 있습니다: github.com/replicate/cog-flux 오픈소스 역시 빠르게 동작해야 합니다 오픈소스 모델은 초기 상태에서는 종종 느립니다. 이에 모델 제공업체들은 이러한 모델을 최적화하여 성능을 향상시키고, 개선된 버전을 독점 API 뒤에서 배포하지만 그 성과를 커뮤니티에 환원하지는 않습니다. 저희는 이를 바꾸고자 합니다. 오픈소스 역시 빠르게 동작해야 한다고 생각합니다. 저희는 FLUX에 적용한 모든 개선 사항을 오픈소스로 공개합니다. 또한 AI 컴파일러 연구 그룹 및 기타 AI 연구진들과 협력하여 FLUX의 오픈소스 고속 버전을 제작하고 있습니다. FLUX 최적화 작업을 오픈소스로 공개하는 것은 옳은 일일 뿐만 아니라, 전 세계의 모든 전문가들이 함께 협력하여 이를 가장 빠른 모델로 만들어 나갈 수 있도록 하는 길입니다. Pull Request을 환영합니다. 앞으로 더욱 빨라질 것입니다 모델의 속도를 향상시키기 위한 새로운 기법들이 지속적으로 등장하고 있으며, 커뮤니티와의 협력을 통해 이러한 기술들이 Replicate에 최대한 신속하게 반영될 수 있도록 보장하겠습니다. 계속 지켜봐 주세요. FLUX로 더 많은 것을 해보세요 Replicate에서 FLUX를 실행하는 것 외에도 다양한 활용이 가능합니다: 자신의 데이터로 FLUX를 미세 조정할 수 있습니다(훈련 및 학습된 모델의 실행도 곧 훨씬 빨라집니다!) 고급 작업을 수행하는 경우 코드를 수정하여 맞춤형 버전을 배포할 수 있습니다 새로운 플레이그라운드에서 모델을 직접 체험하고 출력 결과를 비교해 보세요 최신 정보를 받아보시려면 X에서 저희를 팔로우해 주시기 바랍니다.