
2026年10月24日,一项题为《IndoNutriQA: An Indonesian Clinical Nutrition Question Answering Benchmark》的研究在arXiv平台正式发布(编号2610.31256v1),首次推出专为印尼语设计的临床营养领域问答评测基准IndoNutriQA。
该基准由911组专家人工构建的问答对组成,全部源自真实临床营养报告,每组均锚定于临床相关上下文,并附带结构化元数据,包括人体测量评估、医学诊断、文档来源及文本分块信息。问题类型严格对应营养护理流程(NCP),涵盖问题(Problem)、病因(Etiology)、症状与体征(Sign and Symptom)等共八类PES诊断陈述。
所有问题由三名注册营养师之一作答,原始报告则由营养学研究生实习人员撰写;答案采用自由格式临床叙述文本,而非简单片段抽取。专家验证研究表明,6%–10%的参考答案存在可争议性。该数据集支持生成式、抽取式及检索增强型问答任务,并适用于大语言模型的零样本与少样本评测。
论文报告了基于IndoBERT变体、mT5和RAG等模型的微调基线结果,采用5折交叉验证、学习曲线分析及Bootstrap 95%置信区间;同时对8种当代大语言模型开展零样本与五样本评测。研究还校准了LLM-as-judge评估框架,发现其在事实性与完整性上接近人类专家水平,但在临床安全性判断上不可靠;人工错误分析进一步揭示该框架会遗漏专家能识别的未获支持内容。
IndoNutriQA作为纯评测资源(非大规模训练语料)公开发布,旨在推动印尼语临床自然语言处理与营养决策支持系统的研究发展。数据集来源与方法细节均基于arXiv论文原文,无外部补充信息。