본문으로 건너뛰기
AI NEWS JOURNAL
arXiv cs.DCAI NEWS / JOURNAL

TRACEs: 분산 과학 워크플로우를 위한 세밀한 임베디드 퍼베넌스

arXiv:2610.39981v1 발표 유형: 신규 초록: 대규모 과학 워크플로우는 분산된 HPC 자원에서 실행되므로, 과학 데이터 산출물이 어떻게 생성되는지와 왜 동일한 워크플로우 실행에서도 매우 다른 결과가 나올 수 있는지를 설명하기가 어렵습니다. 기존 시스템은 주로 분산 워크플로우 실행 또는 퍼베넌스 관리에만 집중하며, 세밀한 수준의 퍼베넌스를 분산 과학 데이터 아티팩트의 본질적 속성으로 다루는 경우는 드뭅니다. 우리는 TRACEs(고급 컨테이너화 실행을 위한 추적 가능한 런타임)를 제안합니다. 이는 분산된 컨테이너화된 과학 워크플로우를 위한 퍼베넌스 아키텍처로서, 생성된 모든 데이터 아티팩트에 데이터 계보와 실행 컨텍스트를 직접 내장합니다. 퍼베넌스를 워크플로우 오케스트레이션과 분리함으로써, TRACEs는 아티팩트 중심의 퍼베넌스를 일반화합니다.

초록: 대규모 과학 워크플로우는 분산형 HPC 자원에서 실행되므로, 과학 데이터 제품이 어떻게 생성되는지와 유사한 워크플로우 실행에서도 왜 매우 다른 결과가 도출되는지를 설명하기가 어렵습니다. 기존 시스템은 주로 분산 워크플로우 실행 또는 출처 관리에만 초점을 맞추고 있으며, 세밀한 수준의 출처 정보를 분산 과학 데이터 아티팩트의 본질적 속성으로 다루는 경우는 드뭅니다. 우리는 모든 생성된 데이터 아티팩트에 데이터 계보와 실행 컨텍스트를 직접 내장하는 분산형 컨테이너 기반 과학 워크플로우를 위한 출처 아키텍처인 TRACEs(Traceable Runtime for Advanced Containerized Executions)를 제안합니다. 출처 정보를 워크플로우 오케스트레이션과 분리함으로써, TRACEs는 기존 워크플로우 관리 시스템과도 호환성을 유지하면서 로컬 컨테이너 실행에서부터 분산 워크플로우에 이르기까지 아티팩트 중심의 출처 정보를 일반화합니다. 우리는 여러 HPC 노드에 분산된 7단계 E. coli 변이 호출 워크플로우를 대상으로 TRACEs를 평가했습니다. 그 결과, 분산 실행 환경에서도 출처 정보의 완전성이 100% 달성되었으며, 스파스 IMG 컨테이너를 활용해 중간 저장 공간을 약 59% 절감할 수 있었고, 고정 크기 SIF 컨테이너와 비교했을 때 런타임 및 제로 복사 I/O 처리량이 동등한 성능을 보였습니다. 또한, 워크플로우의 변동성을 설명하는 출처 기반 해석을 통해, 변이 수에서 200배 차이가 발생한 원인을 워크플로우를 다시 실행하지 않고도 입력 서열 데이터의 차이로 추적할 수 있었습니다.

주제: | 분산, 병렬 및 클러스터 컴퓨팅(cs.DC); 전산 공학, 금융 및 과학(cs.CE) 인용: | arXiv:2610.39981 [cs.DC] | (또는

arXiv:2610.39981v1 [cs.DC] 이 버전에 대해) | https://doi.org/10.48550/arXiv.2610.39981

더 알아보기

DataCite를 통한 arXiv 발행 DOI(등록 대기 중)

투고 이력

논문 보기:

PDF 보기

HTML(실험적)

TeX 소스

추가 기능

오디오 요약

현재 탐색 컨텍스트:

참고문헌 및 인용

Google 학술검색

Semantic Scholar

북마크

기관

arXivLabs는 협력자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.

arXivLabs와 함께 일하는 개인과 조직 모두는 개방성, 커뮤니티, 우수성, 그리고 사용자 데이터 개인정보 보호라는 당사의 가치를 수용하고 받아들였습니다. arXiv은 이러한 가치에 헌신하며, 이에 부합하는 파트너들과만 협력합니다.

arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.

자료 출처

원문 읽기 ↗

관련 주제

← 전체 소식 이어 읽기