AI 뉴스 검색

Crawl4AI로 Amazon Bedrock 지식 베이스용 웹 콘텐츠 준비

이 게시글에서는 오픈소스 웹 크롤러인 Crawl4AI를 사용하여 Amazon S3 데이터 소스에 도달하기 전에 JavaScript 렌더링 처리, 선택적 추출 및 맞춤형 메타데이터 보강을 통해 Amazon Bedrock 지식 베이스의 콘텐츠 준비 계층으로 활용하는 방법을 설명합니다.

dbt v2의 주요 기능: 더 빠른 파싱, 하나의 공유 어댑터 계층, 그리고 거대한 manifest.json을 생략하는 문서 경험

dbt v2는 어댑터를 통합하고 파싱 속도를 높이며, 사람과 AI가 사용할 수 있도록 manifest.json을 더 작고 쿼리 가능한 파일로 대체합니다.

램프의 내부 AI 에이전트가 어떻게 100만 회의 세션을 돌파했는가

Ramp은 내부 AI를 분석 엔지니어링으로 간주하여 구축한 에이전트, 샌드박스 및 대시보드를 공유합니다.

메인프레임에서 AI 기반 성숙까지: Verisk의 데이터 현대화 여정

Verisk는 AI 대응 가능성을 높이기 위해 메인프레임에서 dbt로 이전하는 방식으로 수십 년간의 보험 데이터를 현대화했습니다.

프롬프트에서 PR까지: Careem의 AI가 사람이 직접 확인하기도 전에 dbt 모델을 어떻게 작성하고 검증하는지

카림의 AI 에이전트는 사람이 PR을 검토하기도 전에 dbt 모델을 처음부터 끝까지 작성하고 검증합니다.

킬로의 데이터 과학자가 자신의 AI 에이전트들이 부족했던 비즈니스 컨텍스트 계층을 어떻게 구축했는지

데이터 과학자가 조직 지식을 위한 AI 컨텍스트 계층을 어떻게 구축했는지: dbt 프로젝트 하나만으로는 이를 담아낼 수 없습니다.

무법자 AI 에이전트 집단이 더 나은 아이디어를 얻는 데 대해 우리에게 무엇을 가르쳐줄 수 있을까

벤 스탄실은 허깅 페이스 해킹을 활용해, 가장 유용한 아이디어가 왜 가장 기이한 연결에서 비롯되는지 설명합니다.

연구에 따르면 보상 모델 점수에는 유의미한 힌트 의존성이 존재하며, 쌍으로 이루어진 평가는 이러한 편향을 탐지할 수 없다는 사실이 밝혀졌다.

2026년 10월 24일 arXiv에 게재된 한 AI 연구 논문은, 현재 주류를 이루는 쌍방향(pairwise) 평가 방법이 동일한 프롬프트 하에서 모든 응답에 공통적으로 존재하는 점수 구성 요소를 자동으로 상쇄하여, 보상 모델에서 핵심적인 ‘프롬프트 수준의 편향’이 검증되지 않았다고 지적한다. 저자들은 인간 평가를 기준으로 삼아 이미 발표된 18개의 평가기를 대상으로 감사를 실시한 결과, HelpSteer2 데이터셋에서 6개 모델의 점수 분산 중 최대 34%~64%가 프롬프트 자체에 기인하며, 반면 인간 평가는 이러한 현상이 거의 나타나지 않는다는 사실을 발견했다.

추천 이유：이 연구는 대규모 언어 모델의 정렬 과정에서 오랫동안 간과되어 온 근본적인 결함을 지적한다—보상 모델의 점수가 응답의 품질 자체가 아니라 프롬프트 텍스트에 크게 의존한다는 점이다. 또한 해당 연구의 방법론(인간 기준 감사, 프롬프트 교체, 분산 분해)은 재현 가능하며, 그 결론은 실증적 분석에 기반하고 여러 주요 오픈소스 평가 도구를 포괄하므로, 선호도 최적화, RLHF 및 안전성 평가 실무에 대한 직접적인 시사점을 제공한다.