Mirendil은 자사의 첫 번째 AI 모델인 Fern을 출시했습니다. Mirendil Fern은 컨텍스트 창이 최대 1,000만 토큰에 달하는 완전히 새로 설계된 코딩 모델입니다. Mirendil은 이 규모가 약 23MB의 코드에 해당하며, 대략 50만 줄에 달한다고 설명합니다. 이는 한 번에 컨텍스트로 유지할 수 있는 메가트론-LM 수준의 코드베이스 규모입니다. Fern 0.1은 짧은 사후 학습 과정을 거친 후 Mirendil-Base를 기반으로 구축된 최초 버전입니다. 개발자들에게는 마치 전체 리포지토리나 완전한 학습 로그, 또는 수일간의 에이전트 트레이스를 한 번에 불러올 수 있는 것과 같습니다.
요약:
크기: 0.1~0.5T 파라미터(정확한 수와 활성 파라미터는 공개되지 않음); 컨텍스트 최대 1,000만 토큰.
운영 환경: 호스팅된 얼리 액세스 버전만 제공되며, 공개된 가중치나 양자화된 빌드는 아직 발표되지 않았습니다.
성능: 장문 컨텍스트 검색이 우수하며, 오픈 웨이트 모델에 비해 중간 수준의 에이전트 기반 코딩을 제공하지만, 최첨단 모델에는 크게 뒤처집니다.
최고: 32K에서 10M 토큰까지의 모든 길이에서 RULER 단일 바늘 검색 시 100% 성능을 발휘합니다(기본 모델).
최악: Terminal Bench 4.0에서 6.1%, 반면 Mirendil의 자체 표에서는 Claude Opus 5.5가 66.4%를 기록했습니다.
미렌딜 펀은 무엇인가요?
Fern은 AI R&D 연구소인 Mirendil의 언어 모델입니다.
Fern은 일반 채팅이 아닌 AI R&D 작업을 목표로 합니다. Mirendil은 6가지 주요 활용 사례를 제시합니다:
더 큰 코드베이스에서 작업하기
테스트가 통과할 때까지 명령을 실행하는 에이전트 기반 코딩
연구 코드: 학습 루프, 데이터 파이프라인 및 평가
긴 로그와 스택 추적을 기반으로 하는 디버깅 교육
에이전트 또는 교육 추적을 끝까지 전체적으로 읽기
중복, 오염 및 불필요한 데이터를 검사하기 위해 사전훈련 파티션을 감사 중입니다
Fern은 어떻게 구축되었나요?
Fern은 Mirendil-Base에 배치되어 있으며, Mirendil에 따르면 한 연구자가 3.5개월 만에 사전 학습을 완료했다고 한다. 전체 컴퓨팅 비용은 실험, 에이전트 토큰 사용 및 데이터 처리를 포함해 1,000만 달러 미만이었다. AI 에이전트가 코드의 99% 이상을 작성했으며, 연구자는 어떤 작업을 시도할지와 언제 개입할지를 선택했다.
훈련 데이터는 GitHub, 공개 코드, 웹 페이지 및 공개 데이터셋 등 공공 출처에서만 수집되었습니다. 미렌딜은 디스틸레이션, 합성 데이터, 라이선스가 부여된 데이터를 전혀 사용하지 않았다고 밝혔습니다. 해당 코드는 PyTorch와 JAX를 기반으로 처음부터 새로 작성되었습니다.
Fern은 계획된 세 가지 모델 중 가장 작은 모델입니다. Mirendil-Base-Large(0.5~2T 파라미터)는 사전훈련의 80% 이상을 완료했습니다. Mirendil-Base-XL(2~10T)은 사전훈련의 20% 이상을 완료했습니다.
더 긴 컨텍스트가 실제로 도움이 될까요?
Mirendil은 자체 저장소를 42.9 MB 크기의 스트림으로 연결하여 다음 토큰 예측을 테스트했습니다. 이때 비트당 엔트로피를 측정했으며, 값이 낮을수록 성능이 우수합니다. 여기서 윈도우 크기는 토큰 단위가 아니라 바이트 단위로 측정됩니다.
Fern의 손실값은 32K바이트 창에서 0.246에서 16M 및 23M 바이트에서는 0.155로 감소했다. 다른 모델들은 각각 공식적으로 제시된 한계인 약 1M 토큰까지 평가되었다. 1M바이트 창에서 Kimi-K3는 0.140, Fern은 0.165를 기록했다. 따라서 동일한 컨텍스트에서도 Fern이 가장 우수한 예측 모델은 아니다. Fern의 장점은 다른 모델들이 멈추는 지점을 넘어 곡선이 계속 이어진다는 점이다.
Fern은 RULER에서 어떤 점수를 받나요?
RULER은 표준적인 장문 컨텍스트 벤치마크입니다. Mirendil은 사전-사후 학습 모델인 Mirendil-Base에서 RULER 과제 5개를 실행했습니다. 이는 탐욕적 디코딩, 사고 전개 및 정확한 문자열 일치 방식을 사용했습니다.
RULER 과제32K1M4M10MSingle needle100100100100Multi-key 검색100989890Multi-key, 모든 바늘100100100100변수 추적1009575100멀티홉 QA(HotpotQA)65656045
검색 성능은 양호하게 유지됩니다. 다중 홉 추론의 정확도는 1,000만 개의 셀에서 45%로 떨어집니다. 각 1,000만 개의 셀은 다른 곳의 100개에 비해 단지 20개의 예시만 사용합니다. 미렌딜은 더 광범위한 장문 컨텍스트 결과가 곧 제공될 것이라고 밝혔습니다.
Fern 0.1은 에이전틱 벤치마크에서 어떤 성과를 보이나요?
미렌딜은 페른 0.1을 오픈웨이트 및 프론티어 모델과 비교했습니다. 다른 모델들의 점수는 모델 카드, 리더보드 또는 미렌딜의 자체 실행 결과에서 가져왔습니다.
벤치마크(통과율) Fern 0.1Kimi-K3GLM-5.3 Claude Opus 5.5 DeepSWE v1.144.267.366.974.2 Terminal Bench 4.06.112.641.966.4 SWE Atlas QnA53.266.159.466.4 SWE-Pro v2 하드76.588.284.3100.0 SWE-Bench 검증됨73.493.495.498.2
Fern 0.1은 5개의 테스트 중 4개에서 Inkling과 Nemotron 3 Ultra를 제치고 있습니다. SWE-Pro v2 Hard에서는 Beam과 동점을 기록하며 76.5점을 받았습니다. 그러나 SWE-Bench Verified에서는 Beam에 뒤처져 73.4점 대 81.6점입니다. 표에 나와 있는 모든 프런티어 모델과 대규모 오픈 모델들은 Fern 0.1보다 앞서 있습니다.
Fern은 유사한 모델들과 어떻게 비교되나요?
FeatureFern 0.1Kimi-K3GLM-5.3개발자MirendilMoonshot AIZ.ai총 파라미터0.1~0.5T2.8T753B활성 파라미터공개되지 않음104B~40B컨텍스트최대 1,000만 토큰1,048,576 토큰1,048,576 토큰입력텍스트, 코드텍스트, 이미지, 비디오텍스트라이선스공개되지 않음Kimi K3 라이선스GLM-5.3 라이선스가중치공개되지 않음오픈오픈액세스조기 액세스 신청오픈 가중치, API오픈 가중치, APISWE-Bench 검증*73.493.495.41백만 바이트 기준 바이트당 비트 수*0.1650.1400.170
*미렌딜의 발표 차트에 나온 수치.
주요 요약
Fern 0.1은 최대 1,000만 토큰을 지원하며, 코드 크기는 약 23MB입니다.
비트당 바이트 수는 23M바이트 창에서 0.155로 계속 하락하고 있습니다.
RULER 단일 바늘은 32K에서 10M 토큰까지 100%를 유지합니다.
에이전틱 코딩 지연: 터미널 벤치 4.0에서 6.1%입니다.
1명의 연구원과 에이전트들이 함께 구축한 기본 모델로, 비용은 1,000만 달러 미만입니다.
Fern 발표와 Mirendil-Base 사전훈련 포스팅을 확인하고, 조기 액세스를 신청해 보세요. 또한 트위터에서 저희를 팔로우해 주시고, 15만 명이 넘는 ML 서브레딧에 참여하시며 뉴스레터도 구독해 주시기 바랍니다. 잠깐! 텔레그램도 사용하시나요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.
GitHub 리포지토리, Hugging Face 페이지, 제품 출시, 웨비나 등을 홍보하기 위해 저희와 파트너십을 맺고 싶으신가요? 저희와 연락해 주세요.
게시물 ‘Mirendil, 1,000만 토큰 규모의 첫 번째 모델인 Fern 0.1을 출시’는 MarkTechPost에 처음 게재되었습니다.