마지막 편집일: 2026년 10월 26일
라이드헤일링, 식료품 배달, 음식 배달, 송금 서비스 등을 제공하는 아랍에미리트의 슈퍼 앱 카림은 5,000개가 넘는 모델을 지원하는 소규모 데이터 엔지니어링 팀을 기반으로 운영되고 있습니다. 이 회사의 기술 스택은 전적으로 사내에서 구축되었으며, 데이터 수집부터 변환, BI까지 전 과정이 오픈소스로 구현되어 있으며, dbt가 변환 작업을 담당합니다. 2026년 dbt 서밋의 분과 세션에서 데이터 플랫폼 팀의 엔지니어링 매니저인 니야줄라 칸 파탄과 데이터 플랫폼 팀의 수석 소프트웨어 엔지니어인 아카시 스리바스타바는, 현재 처리 대기 중인 데이터 요청이 100건이 넘고 각 요청에 대해 답변하는 데 예전에는 1~2주가 걸렸다고 설명했습니다.
그들이 처음 시도한 해결 방안은 너무나도 명백했습니다: LLM을 해당 문제에 적용해 모델을 작성하도록 하는 것이었죠. 그러나 이 방법은 실패로 돌아갔습니다. AI가 생성한 코드를 일일이 읽기보다는 패턴을 살펴보는 데 그치는 인간 검토자가, 파이프라인을 망가뜨리는 단 하나의 예외 케이스를 놓칠 수 있기 때문이며, 이는 곧 비즈니스가 숫자를 신뢰하는 데까지 영향을 미칩니다.
“신뢰는 검증에서 비롯되며, 코드 생성기 자체에서 나오는 것은 아닙니다.”라고 스리바스타바는 말했습니다. “어떤 LLM도 코드를 작성할 수 있습니다. 그 코드를 통합하는 데 필요한 신뢰는 엔드투엔드 검증을 통해 얻어집니다.”
그것이 그들의 4개의 핵심 요소로 구성된 에이전트 아키텍처의 설계 원칙이 되었습니다. 개방형 메타데이터를 기반으로 구축된 컨텍스트 계층은 에이전트에 대해 테이블 및 열 수준의 문서화, 계보 정보, AOV와 GTV와 같은 부족 용어의 용어집, 그리고 중앙 집중식 메트릭 정의를 제공하여, 에이전트가 모호한 용어를 추측하는 일을 방지합니다.
스펙 잠금 단계는 에이전트가 아무것도 작성하기 전에 곡물, 메트릭 정의 및 필터에 대해 명확히 하는 질문을 하도록 강제합니다. 이 단계만으로도 흔히 발생하는 오류 유형을 없앨 수 있습니다. 예를 들어, Careem에서는 ‘수익’이라는 용어만으로도 누가 묻느냐에 따라 GTV, GMV 또는 주문 수를 의미할 수 있었는데, 이제 에이전트는 무언가를 묵묵히 선택하고 기대하기보다는 그 중 어느 것을 의미하는지 직접 물어봅니다.
이 플랫폼은 또한 완전히 관리되고 연합된 메트릭스를 위한 골든 계층과, 일회성 분석가 요청을 처리하는 일시적 계층 간에 명확한 경계를 설정합니다. 일시적 계층의 데이터는 30일의 수명을 보장받으며, 이후 적절한 데이터 마트로 승격되거나 자동으로 정리됩니다. 카림의 규모에서는 이러한 유지보수 작업이 매우 중요합니다. 팀은 지난 해에만 3.6페타바이트에 달하는 일시적 데이터를 정리했습니다.
구조적 가드레일은 샌드박스화된 개발 환경에서 에이전트가 생성한 모든 변경 사항을 격리하며, 각각 별도의 IAM 역할, 스토리지 경로 및 컴퓨팅 리소스를 사용하므로 에이전트가 수행하는 작업이 프로덕션에 영향을 미치지 않습니다. 또한 에이전트 루프는 각 변경 사항을 컴파일하고 테스트한 뒤 적용하여, 타입 불일치와 같은 오류를 자동으로 포착하고 수정해 실행이 성공할 때까지 처리한 다음, 최종적으로 사람이 푸시 요청을 검토합니다.
라이브 데모에서, 한 분석가의 평이한 영어 요청인 “각 상인별 일일 음식 매출을 원합니다”는 몇 분 만에 완전히 테스트되고 문서화된 dbt 모델과 푸ルリ퀘스트로 변환되었으며, 그 과정에서 두 차례의 실패한 테스트 실행을 거치며 스스로 수정되었습니다. 해당 푸ル리퀘스트에 대한 자동 검사 항목은 표준 dbt 테스트를 넘어섰고, 데이터가 브론즈에서 실버, 골드로 올바르게 이동하는지 확인했으며, 모델의 저장 위치가 Careem의 도메인 규약에 부합하는지도 검증했습니다. 첫 번째 샌드박스 실행에서는 데이터 타입 불일치로 인해 실패했지만, 에이전트가 오류를 파악하고 이를 수정한 뒤 재실행했습니다.
두 번째 실행은 필요한 열이 다른 소스 테이블에 있었기 때문에 실패했습니다. 에이전트는 컨텍스트 레이어를 사용해 해당 열을 찾아 결합한 뒤 다시 실행했습니다. 이후 정상적으로 실행된 후에야 푸시 요청이 사람에게 전달되었습니다.
결과적으로, 지표상의 배송 기간은 기존 2~3주에서 수시간으로 단축되었으며, Careem에서는 현재 신규 모델의 약 90%가 이 프레임워크를 통해 출시되고 있습니다. 또한 해당 프로세스 도입 이후로는 sev0 또는 sev1급 사고가 한 건도 발생하지 않았습니다.
팀은 중복 요청 방지 기능도 구축했습니다. 모든 변경 사항이 dbt 매니페스트를 거치기 때문에, 이미 추가된 열에 대한 두 번째 요청은 포착되어 기존 모델로 리디렉션되며, 거의 동일한 모델을 새로 생성하는 것을 방지합니다.
그리고 전체 플랫폼은 매우 빠르게 구축되었습니다. 카림은 12월에 dbt를 검토하기 시작했고, 3월까지는 전체 인프라를 완비했으며, 4월 또는 5월에는 에이전트를 운영 환경에 배포했습니다. 여기에 기존 웨어하우스의 마이그레이션 작업만 추가로 몇 주가 소요되었을 뿐입니다. 파탄이 강연을 마무리하며 말한 대로, “생성기는 쉽습니다. 핵심은 검증 계층입니다.”
dbt 서밋 2026의 모든 키노트와 분과 세션을 주문형으로 시청하세요. dbt 서밋 2026 주문형 시청 →
dbt 시작하기
실제로 확장 가능한 데이터 인프라를 구축하는 분석 엔지니어들과 함께하세요.
dbt Wizard CLI 설치
분석 엔지니어링에 특화된 에이전트로 시작해 보세요. 이 에이전트는 어떤 도구를 호출해야 하는지, 어떤 컨텍스트를 가져와야 하는지 알고 있으며, 사용자에게 결과를 표시하기 전에 스스로 작업을 검증합니다.
최신 게시물
DocuSign이 Claude Code와 dbt v2, dbt MCP, 그리고 에이전트 스킬을 결합함으로써 분석 엔지니어링 시간을 절반으로 줄인 방법
2026년 10월 26일에
버진 미디어 O2가 dbt에 메모리를 제공함으로써 컴퓨팅 비용을 30% 절감한 방법
2026년 10월 26일에
램프의 내부 AI 에이전트가 어떻게 100만 회의 세션을 돌파했는가
2026년 10월 26일에
데이터를 형성하는 가장 큰 커뮤니티에 참여하세요
dbt 커뮤니티는 전 세계 수천 명의 데이터 리더 및 AI 실무자들과 함께 최고의 실무 사례, 혁신을 경험하고 직접 협업할 수 있는 문입니다. 질문을 던지고, 통찰을 공유하며, 전문가들과 함께 더 나은 결과를 만들어 보세요.