NVIDIA H100 GPU가 출시되었습니다

Replicate 이제 Replicate에서 NVIDIA H100 GPU를 사용할 수 있습니다. 또한 A100 및 L40S GPU의 2x, 4x, 8x 구성도 사용할 수 있습니다. 이 옵션은 기존에 배포 전용으로만 제공되었으나, 이제 일반 모델과 학습 작업에도 활용할 수 있습니다. 모델 처리 속도를 높이거나 더 강력한 환경을 시험해 보고 싶었다면 지금이 적기입니다. H100 가격 1x H100은 현재 누구나 이용 가능합니다. 2x, 4x, 8x H100은 현재 계약 기반 지출 고객에게 우선 제공됩니다. 접근 권한이 필요하시면 team@replicate.com으로 이메일을 보내주세요. A100 가격 (2x, 4x, 8x) A100용 다중 GPU 구성이 이제 모델에서도 사용 가능합니다(배포에서는 이미 지원됨): 자세한 내용은 전체 하드웨어 가격 목록을 참조하세요. L40S 가격 (2x, 4x, 8x) L40S GPU용 다중 GPU 구성이 이제 모델에서도 사용 가능합니다(배포에서는 이미 지원됨): 자세한 내용은 전체 하드웨어 가격 목록을 참조하세요. H100 GPU를 사용하여 새 모델 생성 웹 또는 HTTP API를 통해 새 모델을 생성할 수 있습니다. H100 GPU를 사용하는 새 모델을 생성하는 cURL 명령어는 다음과 같습니다: curl -s -X POST \ -H "Authorization: Bearer $REPLICATE_API_TOKEN" \ -H 'Content-Type: application/json' \ -d '{"owner": "my-username", "name": "my-model", "description": "An example model", "visibility": "private", "hardware": "gpu-h100"}' \ https://api.replicate.com/v1/models API를 통한 사용 가능한 하드웨어 목록 조회 계정에서 사용 가능한 하드웨어를 나열하는 cURL 명령어는 다음과 같습니다: curl -s -X GET \ -H "Authorization: Bearer $REPLICATE_API_TOKEN" \ https://api.replicate.com/v1/hardware 이 명령어는 사용자가 이용할 수 있는 모든 하드웨어 옵션과, API를 통해 새 모델을 생성할 때 hardware 필드에 사용할 수 있는 SKU 이름 목록을 출력합니다: [ { "sku": "cpu", "name": "CPU" }, { "sku": "gpu-a100-large", "name": "Nvidia A100 (80GB) GPU" }, { "sku": "gpu-a100-large-2x", "name": "2x Nvidia A100 (80GB) GPU" }, { "sku": "gpu-a100-large-4x", "name": "4x Nvidia A100 (80GB) GPU" }, { "sku": "gpu-a100-large-8x", "name": "8x Nvidia A100 (80GB) GPU" }, { "sku": "gpu-h100", "name": "Nvidia H100 GPU" }, { "sku": "gpu-l40s", "name": "Nvidia L40S GPU" }, { "sku": "gpu-l40s-2x", "name": "2x Nvidia L40S GPU" }, { "sku": "gpu-l40s-4x", "name": "4x Nvidia L40S GPU" }, { "sku": "gpu-l40s-8x", "name": "8x Nvidia L40S GPU" }, { "sku": "gpu-t4", "name": "Nvidia T4 GPU" } ] 배포 업데이트 배포를 사용 중인 경우, 하드웨어 구성을 업데이트하여 H100 또는 이러한 새로운 멀티 GPU 구성 중 하나를 사용할 수 있습니다. 웹에서 배포 구성 설정을 편집하거나 HTTP API를 사용할 수 있습니다. 배포를 가장 적합하게 구성하는 방법을 잘 모르겠다면 support@replicate.com으로 이메일을 보내주세요.