最后编辑于2026年10月26日
在2026年dbt峰会的一场分论坛上,Verisk Analytics承保数据团队的数据工程师Casey Schwegel、Vijay Singh和Mateusz Geca讲述了一个四阶段的现代化改造故事,这一历程对于任何继承了传统数据架构的人来说都并不陌生:系统起初运行良好,直到无法扩展;随后采取的修复措施虽然解决了眼前的问题,却也带来了新的挑战。
Verisk 汇总了来自数百家独立保险公司的保险经验,每一家都将自身的系统数据转换为由一本千页PDF手册所定义的固定宽度格式;团队坦率地承认,这一流程鲜有出错。其输出结果供精算师使用,而精算师被形容为对数据要求极高的群体,他们的全部工作就是将这些历史数据转化为需向各州监管机构备案的定价决策。换言之,在这条数据处理链中,绝容不得任何一个错误数值。
数据本身存储在一些表中,每张表包含数十亿行和数百列。数十年来,这些数据一直运行在大型机上。“大型机并没有出问题,”凯西说。
“它承载了数十年的承保规则,并且出色地完成了自己的任务。”然而,要追溯某个数字究竟源自何处——那条隐藏在数十年未被记录的逻辑中的费率制定规则——就意味着不得不直面一个黑箱;而团队内部的准则则是:一旦某项工作失败,就绝不触碰。
该团队首次迁移到云端,将 Snowflake 与 Jupyter Notebook 相结合,为原本深埋在大型机作业流中的业务逻辑带来了版本控制与可视化。这一方案在季度批处理任务中运行良好,但 Notebook 本身并不具备自动化日常生产流程的能力。下一步,团队直接基于 Snowflake 的原生对象(如流、任务和动态表)进行构建,实现了每日刷新,却也把旧问题换成了新问题:数百个彼此孤立的任务和表需要手动协调,且无法在不同环境之间顺畅地进行代码升级与发布。
表和视图存储数据与逻辑,物化视图则加速了最庞大的数据集,流和任务按计划调度捕获变更数据,而动态表则会根据目标延迟自动刷新。这套方案确实奏效,但维护起来却需要手动逐一“照看”数百个独立对象:上游模式发生变更或某个任务失败,都意味着必须逐条梳理查询历史记录。
dbt 最终将这一切统一了起来:版本控制的模型与同行评审、自文档化的数据血缘关系取代了过时的维基,以及能够在不良数据流入精算师之前就阻断数据管道的测试,而不是让报告在不知不觉中被破坏。由于 Snowflake 允许不同模式下使用相同的表名,而 dbt 则要求每个模型名称必须唯一,团队按业务线组织项目,将暂存层、中间层和集市层逐层嵌套,并采用一种融合了层、领域和对象名称的命名规范,以确保各部分互不冲突。一个自定义宏会读取每个模型文件路径中的标记,从而确定其应存放的位置:开发环境中的开发者个人模式、生产环境中的共享模式,无需手动别名。
在使用 dbt 之前,团队一直面临三个互不一致的“真相来源”:直接在 Snowflake 中临时修补的生产逻辑、滞后的 Git 代码库,以及早已与现实脱节的 Confluence 文档。dbt 的文档块将这一切整合为一份只需编写一次的 Markdown 文件,该文件会在所有需要的地方被引用;因此,只需在一个地方更新,就能自动同步到各处,并且通过版本控制与代码一同审核,而不会与代码渐行渐远。
正如马特乌什在介绍实施过程时所说:“这场演讲其实与 dbt 本身关系不大,更多地是在探讨采用它之后所发生的那些变化。”
正是这一治理基础,如今使团队得以叠加人工智能技术:通过自定义的 dbt Wizard 技能在 DAG 中自动传播文档,利用项目上下文生成更优质的 AI 生成 SQL,在拉取请求中自动强制执行规范,并将作业日志与查询历史交叉比对,以加快调试速度。文档是首个重点目标。借助专门的 dbt Wizard 技能与 doc blocks 模式,开发人员只需编写初始源数据描述,系统便会自动将其列描述沿 DAG 向下传播,而无需手动复制粘贴。
正是这一层丰富的上下文,使基于AI的模型开发更加可靠:因为请求可以以业务术语来表达,而不仅仅是原始的SQL语法;同时,一套独立的技能集还编码了团队自身的标准、命名规范以及所需的YAML字段,这样一来,开发者甚至可以在其他人查看之前,就将其应用于自己的拉取请求。
该团队特别强调,这一切都始终由人类在流程中把关。“人工智能将依托模式与上下文而蓬勃发展,”凯西表示,“我们的文档、命名规范、数据血缘以及各项标准越完善,人工智能可依托的上下文就越丰富。”
受众的疑问将这一转型的人力层面推到了前台:如何为那些既无 Git 也无 SQL 背景的员工提供入职培训?而团队坦诚地回应称,有些人注定要引领这场变革,并带动其他所有人共同前行,因为未来的发展方向只会越来越技术化。在数据层面,尚未解决的难题是规模问题:精算师们希望获得十年以上、全面更新的历史数据,而增量式模型目前仍难以满足这一需求。
随时观看 dbt Summit 2026 的每一场主题演讲和分论坛。立即观看 dbt Summit 2026 →
在 dbt 中开始使用
加入那些正在构建真正可扩展的数据基础设施的分析工程师团队。
安装 dbt Wizard CLI
立即开始使用专为分析工程打造的智能代理。它懂得调用哪个工具、提取哪些上下文,并在向您呈现结果前自行核查工作。
最新帖子
从提示到PR:Careem的AI如何在人类看到之前编写并验证dbt模型
2026年10月26日
DocuSign 如何通过将 Claude Code 与 dbt v2、dbt MCP 和 agent 技能相结合,将分析工程时间缩短了一半
2026年10月26日
维珍媒体O2如何通过为dbt提供内存,将计算成本降低了30%
2026年10月26日
加入塑造数据的最大社区
dbt 社区是您通往最佳实践、创新以及与全球数千名数据领袖和 AI 从业者直接协作的门户。提出问题、分享洞见,与专家一道打造更优方案。