모델 소개
MMLW (muszę mieć lepszą wiadomość) are neural text encoders for Polish. This model is optimized for information retrieval tasks. It can transform queries and passages to 1024 dimensional vectors. The model was developed using a two-step procedure: - In the first step, it was initialized with Polish RoBERTa checkpoint, and then trained with multilingual knowledge distillation method on a diverse corpus of 60 million Polish-English text pairs. We utilised English FlagEmbeddings (BGE) as teacher models for distillation. - The second step involved fine-tuning the obtained models with contrastrive loss on Polish MS MARCO training split. In order to improve the efficiency of contrastive training, we used large batch sizes - 1152 for small, 768 for base, and 288 for large models. Fine-tuning was conducted on a cluster of 12 A100 GPUs. ⚠️ **2023-12-26:** We have updated the model to a new version with improved results. You can still download the previous version using the **v1** tag: `AutoModel.from_pretrained("sdadas/mmlw-retrieval-roberta-large", revision="v1")` ⚠️ ⚠️ Our dense retrievers require the use of specific prefixes and suffixes when encoding texts. For this model, each query should be preceded by the prefix **"zapytanie: "** ⚠️
주요 특징
特点摘要待依据来源补齐，不凭模型名称推断能力。
한계 및 유의 사항
구체적 한계를 판단할 출처가 부족합니다. 실제 성능, 지연, 데이터 정책, 라이선스와 버전 수명을 확인하세요.
출처별 요금 및 비용 분석
요금은 채널, 지역, 설정에 따라 다릅니다. 각 채널 요금은 개별 표시되며 제공사의 통일 공식 요금이 아닙니다.
| 출처 / 채널 | 입력 | 출력 | 과금 단위 | 수집 시간 |
|---|---|---|---|---|
| 확인된 요금이 없습니다. 출처를 확인하세요. | ||||
월간 기본 토큰 비용 추정
추정치에는 캐시 할인, 구간 요금, 멀티모달 추가 요금, 검색, 세금 및 추가 추론 출력이 포함되지 않습니다.
공개 평가 및 실행 설정
暂无已采集的可核验公开评分。模型未上榜不代表能力较低。
등록된 전체 순위 보기 →자주 묻는 질문
오픈 웨이트면 무료 상업 이용이 가능한가요?
반드시 그렇지는 않습니다. 버전별 라이선스, 상업 이용 조건과 정책을 확인하세요. 자체 배포에는 연산 및 유지 비용도 듭니다.
실시간 결제 요금인가요?
수집 시간이 기록된 요금 스냅샷입니다. 최신 버전, 지역, 할인과 과금 방식은 해당 채널에서 확인하세요.
출처 및 추적 기록
许可证：apache-2.0。模型介绍与第三方评测均以原来源的具体版本和方法为准。