最后编辑于2026年10月26日
在2026年dbt峰会上，题为“别交付无法衡量的东西：面向AI分析代理的评估驱动型开发”的分论坛上，Data Culture公司分析工程总监Opeyemi Fabiyi提出了一套三步框架，用于在AI分析代理交付给利益相关者之前，评估其是否值得信赖。
法比伊从奇普·休恩的著作《AI工程》中借用了“评估驱动开发”这一术语，并将其提炼为一条准则，如今他的团队在每次部署智能体驱动的分析系统时都严格遵循：不要交付那些无法衡量的东西。
Data Culture 是一家精品数据与人工智能咨询公司，成立后的前五年专注于经典现代数据技术栈相关工作，包括数据建模、商业智能迁移以及平台迁移。过去一年，客户需求发生了转变，更多地转向通过人工智能实现工作流的自动化，并让各利益相关方能够直接与数据进行交互。
这一转变促使团队构建了自己的方法论、评估框架以及智能体驱动分析的实施指南，并已将其应用于两家生产环境中的客户：一家正在构建临床运营分析的医疗保健提供商，以及一家正在构建产品与销售分析的电子商务零售商。
该框架的触发点源于Data Culture在首次客户部署时无法解答的一个问题：这个代理的准确率究竟如何？团队已为一组测试用户将一个代理连接至Snowflake MCP服务器，但却连一个粗略的数值都拿不出来。
数月后，dbt Labs 发布的 2026 年分析工程现状报告揭示了整个行业面临的同样问题。在向利益相关者部署 AI 智能体时，信任依然是各团队最关注的问题；71% 的受访者担心虚假或错误的数据会传递给决策者，而 83% 的受访者则将信任列为组织的首要优先事项。
法比伊表示，真正的瓶颈已从构建分析代理转变为：在利益相关者依赖该代理的输出之前，如何证明其输出值得信赖。
当 Data Culture 构建了首个轻量级评估流水线并人工审阅结果时，他们发现了一个规律：一些所谓的“失败”并非真正的错误，而是外观上的不匹配，而人类分析师本会将其判定为正确。
在一种情况下，该代理返回了月度总收入的准确数值，只是位于一个名称不同的列之下。在另一种情况下，它返回了正确的三个产品类别，外加一行合法的未分类产品。在第三种情况下，它返回了正确的数值，并多了一列辅助数据。
一个朴素的完全匹配比较将三者都判定为错误，尽管在每种情况下其底层答案都是正确的。
为了解决这一问题，Fabiyi 的团队围绕三个步骤构建了以评估为导向的开发方法：明确“正确”的含义、定义结果比较方式，并构建分层的评估逻辑。
第一步是编写“黄金问题”，其具体程度应足以让同一团队的两位分析师写出相同的 SQL 查询来解答，随后在将其用作基准之前，与领域专家共同验证预期答案。
第二步比较的是查询的结果，而非查询本身，因为两条不同的 SQL 语句可能产生完全相同的答案。Data Culture 构建了一套四层的比较级联：首先是精确匹配，接着是仅比较值而不考虑列名的比较，然后是容忍额外上下文列的重叠列比较，最后是能够容忍舍入差异的近似数值匹配。
第三步将评估分为两层。其中，确定性层通过快速、免费且可复现的比较方法处理约80%的黄金问题；而大型语言模型则作为评判者，对剩余20%的问题进行评分，评估标准包括答案的有据性、与问题的相关性以及全面性。
在该框架就位后，Data Culture 可以开展受控实验，通过在每一步都使用相同的黄金问题和同一模型，来检验哪种类型的附加上下文确实能够提升智能体的准确率。
在电商部署场景中，准确率从无语义上下文时的0%逐步提升：当代理指向经过建模的dbt表而非原始源数据时升至50%，添加列描述后进一步提升至52.6%，加入业务规则和默认筛选条件后达到78.9%，而在引入经验证的查询与命名度量后更是高达94.7%。
医疗保健领域的部署也呈现出类似的曲线：在原始数据阶段为0%，而在添加了相同层次的业务规则和经过验证的查询后，最终突破了Data Culture内部90%的生产阈值。
在这两次部署中，模型保持不变。准确率的提升完全来自于新增的上下文层：建模后的表格、列描述、业务规则以及经过验证的查询，每一项均基于同一套评估标准进行衡量。
法比伊指出，业内其他地方也报告了类似的模式，并援引Anthropic发布的案例：在构建了经过精心筛选的数据基础和离线验证环节后，该代理的准确率从21%提升至95%。
他最后指出，在任何智能体驱动的分析部署中，dbt 项目的建模表和语义上下文都是持久性的资产，而底层的智能体或 LLM 层则可以在日后进行替换。Data Culture 已在 github.com/datacult/dbt-agent-trust 上开源了其评估管道、黄金问题模板、比较逻辑以及技术操作指南。
随时观看 dbt Summit 2026 的每一场主题演讲和分论坛。立即观看 dbt Summit 2026 →
在 dbt 中开始使用
加入那些正在构建真正可扩展的数据基础设施的分析工程师团队。
安装 dbt Wizard CLI
立即开始使用专为分析工程打造的智能代理。它懂得调用哪个工具、提取哪些上下文，并在向您呈现结果前自行核查工作。
最新帖子
Verily Health 如何凭借一支5人团队和1个dbt软件包监测污水中的30多种病原体
2026年10月26日
Kramp 如何借助自助式 dbt Mesh 工厂，将分析师的上手时间从数天缩短至数分钟
2026年10月26日
客户压力如何推动 dbt 超越了 Delivery Hero 内部谨慎的平台团队
2026年10月26日
加入塑造数据的最大社区
dbt 社区是您通往最佳实践、创新以及与全球数千名数据领袖和 AI 从业者直接协作的门户。提出问题、分享洞见，与专家一道打造更优方案。