VocabX:通过成本加权词汇专业化将领域专用小语言模型推理成本降低77%
Dharma-AI提出VocabX方法,针对特定任务(如葡萄牙语作文自动评分)重构语言模型词汇表,以生成代价而非词频为优化目标,在不修改模型结构、参数或训练流程的前提下,实测推理成本下降77%,同时评估质量(bench score)从0.703提升至0.810。
检索标题、摘要与正文,把分散的信息连起来。
Dharma-AI提出VocabX方法,针对特定任务(如葡萄牙语作文自动评分)重构语言模型词汇表,以生成代价而非词频为优化目标,在不修改模型结构、参数或训练流程的前提下,实测推理成本下降77%,同时评估质量(bench score)从0.703提升至0.810。