摘要:食品相似性是检索、推荐、替代等食品计算任务的基础,然而现有的食品表征通常仅以身份保持为评价标准。我们进一步探讨:在身份之外,食品相似性还会呈现出怎样的特征?不同的视觉表征如何将食品组织成具有特定关系的邻域?这些邻域又揭示或掩盖了哪些烹饪层面的关系?并且,这些结构在不同表征之间是否具有一致性?印度菜系提供了一个颇具挑战性的场景:在该场景中,外观相似的食品可能拥有不同的烹饪身份,而同一烹饪家族内的食品在外观上也可能存在显著差异。基于扩展后的Khana数据集,我们使用七种预训练的视觉表征,涵盖卷积神经网络、基于Transformer的模型、自监督学习模型以及图文对齐模型,评估了图像到图像的检索与图像到菜品的邻域关系,并深入分析了烹饪家族的结构、对比案例以及跨表征的一致性。此外,我们还对图像表征进行聚合,比较了各模型在菜品层面的视觉相似性,并将其与针对相同菜品由食谱推导出的相似性进行了对照。结果表明,不同表征在图像层面构建的邻域存在显著差异,甚至跨越了烹饪家族的边界;而在菜品层面,尽管局部存在差异,聚合后仍能揭示出共有的视觉结构,但这一结构与食谱-derived的相似性之间的对应程度却较弱。这些发现表明,仅凭识别性能无法刻画食品的关系结构:食品相似性取决于表征方式、模态及抽象层次,而非食品集合本身的固定属性。因此,理解这些结构是将多种食品信息模态整合为连贯的相似性概念的前提条件。
注释:| 17页,7幅图,4张表,31篇参考文献 主题:| 人工智能(cs.AI);计算机视觉与模式识别(cs.CV);信息检索(cs.IR) 引用格式:| arXiv:2610.37867 [cs.AI] | (或
arXiv:2610.37867v1 [cs.AI] 适用于本版本) | https://doi.org/10.48550/arXiv.2610.37867
点击了解更多信息
通过DataCite发布的arXiv DOI(待注册)
提交历史
访问论文:
查看PDF
HTML(实验性)
TeX源代码
附加功能
音频摘要
当前浏览上下文:
参考文献与引用
Google 学术搜索
Semantic Scholar
书签
机构
arXivLabs 是一个框架,允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的组织,都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于这些价值理念,并且只与同样秉持这些理念的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想?欢迎了解更多关于 arXivLabs 的信息。