본문으로 건너뛰기
AI NEWS JOURNAL
腾讯新闻 · AI频道AI NEWS / JOURNAL

把JEV模型放在OCR场景,居然效果这么好

就在前几天, 面壁智能联合OpenBMB开源了 MiniCPM-OCR 系列模型。 包含参数量1.3B 的 MiniCPM-OCR 1.0和 2B 的 Min....

번역 서비스가 일시 중지되어 원문을 표시합니다.

就在前几天,

面壁智能联合OpenBMB开源了

MiniCPM-OCR 系列模型。

包含参数量1.3B 的 MiniCPM-OCR 1.0和

2B 的 MiniCPM-OCR Jev

同时权重、部署工具链和微调代码,

也全都开放了,

我自己体验下来,OCR 的效果真的极好,

于是就去研究了一下怎么实现的,

这个OCR 功能是由两个模型共同完成的

OCR模型把文档图片解析成结构化文本,

Jev 给解析结果打分

后者是文档自动化里长期缺失的核验部分,

这次面壁找到了一个解决方案。

众所周知啊,

面壁智能最有名的就是端侧模型,

多数团队在扩大参数量的时候,

MiniCPM 选择走群众路线

用几B的参数量逼近超大模型的能力,

可以直接部署在消费级设备上。

OCR模型可以输出 Markdown

或 JSON 格式的结构化文本,公式和表格

模型支持中英混排、跨行复杂公式。

它在 Real5-OmniDocBench 和 OCRBench v2 两个测试集上

分别拿到 93.68 分和综合评测 54.7 分,第一名。

一份合同用OCR识别,大概率会存在一些数字文字识别错误,

如果没有二次审核,那出错了的话问题就很严重了

目前市面上有两种解决方案。

一种是增加人工,逐页复核。

另一种是再请一个生成式大模型对照原图复述一遍。

后者相当于再搞一次生成式任务,

而且模型倾向于顺着已有答案继续生成,

自查很难查出问题。

JEV 模型提供了第三种解法,判别式。

JEV 底座模型是 Qwen3.5-2B,

输入原图区域、候选解析文本以及渲染图

输出一个 0 到 1 之间的置信分,分数越高,解析越可信。

在专用基准 JevOCRBench 上,

Jev 的整体 AUROC 达到 93.6。

Qwen3.5-397B-A17B拿了93.8 分,

但是参数量大了 200 倍。

在 MiniCPM-OCR 1.0、GLM-OCR、

PaddleOCR-VL-1.6 和 Xiaomi-OCR 四家的解析结果上,

AUROC 稳定在 91.9 到 93.4 之间。

意味着它可以作为独立环节,

插进任何一条已有的 OCR 流水线。

如果是本地部署的话,

A100上跑大概0.09 元/1000页,

RTX 4090 0.27 元/1000页,

BF16 全精度权重大约 4 到 5GB,

INT8 量化2GB,4-bit 量化约 1.2 到 1.5GB。

8GB 内存的笔记本用 4-bit 量化版就能部署

16GB的MacBook Air 可以直接全精度跑了

甚至12GB 内存的安卓手机

配合 llama.cpp 或 Ollama

也能直接装在手机上,

端侧模型还是太权威了。

晓风乾丨 大四 Base北京 AI产品在职

想缩小科技带来的信息差 分享很酷的AI玩法。

希望得到您的点赞转发爱心三连支持,

如果有更多想法或者问题欢迎交流~

자료 출처

원문 읽기 ↗

관련 주제

← 전체 소식 이어 읽기