제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.32638v1 발표 유형: 신규 초록: LLM 추론은 기업 및 대화형 애플리케이션의 핵심 서비스로 점점 더 많이 도입되고 있지만, 주권, 규정 준수, 지연 시간 및 자원의 지역적 근접성 요구 사항으로 인해 중앙 집중식 클라우드 배포의 적합성이 제한될 수 있습니다. 통신사는 이러한 제약을 해결하기 위해 지리적으로 분산된 컴퓨팅 및 네트워크 인프라를 제공합니다. 그러나 기존의 LLM 서비스 프레임워크는 밀접하게 연동된 데이터 센터를 위해 설계되어 있어, 지리적으로 분산되고 이질적인 자원을 조율하는 데 대한 지원이 제한적입니다. 우리는 통신사 인프라 위에서 서비스 수준 목표(SLO) 기반 LLM 추론을 위한 참조 아키텍처인 InferSlice를 제시하며, 여기에는 네트워크 슬라이싱, GPU 파티셔닝, 탄력적 서비스 및 관찰성이 통합되어 있습니다.
arXiv:2610.32215v1 발표 유형: 신규 초록: 현대 GPU 데이터 센터의 컴퓨팅 파워 증가로 인해 일부 산업 거대 기업들이 대규모 데이터를 활용하여 대형 언어 모델(LLM)을 훈련하고 배포할 수 있게 되었습니다. 그러나 이러한 모델과 그 학습 데이터의 엄청난 규모는 중앙 집중식 개발을 점점 더 지속하기 어렵게 만들고 있으며, 동시에 관련된 개인 데이터를 보유하되 이에 상응하는 인프라를 갖추지 못한 소규모 기관들을 배제하고 있습니다. 본 논문에서는 분산형 LLM 훈련에 관한 우리의 입장을 사전 학습 및 미세 조정 패러다임을 중심으로 정리하고, 연합 학습, 분할 학습 및 탈중앙화 접근법을 다루며, 이들 방법이 이질적인 하드웨어와 신뢰성 낮은 연결성을 가진 지리적으로 분산된 환경에서 어느 정도 준비되어 있는지 평가합니다. 이어서 우리는 {\em 통합}된 시스템을 제시합니다
AI 엔지니어 뉴욕에서 Anthropic은 유닉스와 리눅스의 경험을 바탕으로, 개발자들이 과도한 부담을 느끼지 않으면서도 더 큰 프로젝트를 해결할 수 있는 방법을 설명했습니다.
구글은 단순히 또 하나의 AI 동료를 만드는 것이 아니다. 구글은 Gemini가 경쟁사의 AI가 그 일을 수행하고 있을 때조차도 기업의 업무 방식을 조직하는 시스템으로 자리매김하기를 원한다.
GPT-6 모델을 선택하는 방법을 알아, 노력의 튜닝, 신속한 및 기술 개선, 조정 도구, 생산을위한 워크플로우를 준비.
