OpenLineage

OpenLineage 소개

OpenLineage는 데이터 계보 수집 및 분석을 위한 개방형 프레임워크입니다. 핵심은 시스템이 계보 메타데이터와 상호 운용하는 데 사용할 수 있는 확장 가능한 사양입니다.

디자인

OpenLineage는 실행 중인 작업에 대한 메타데이터를 기록하도록 설계된 계보 메타데이터 수집을 위한 개방형 표준입니다.

이 표준은 일관된 명명 전략을 사용하여 고유하게 식별된 데이터 세트, 작업 및 실행 엔터티의 일반 모델을 정의합니다. 핵심 모델은 패싯을 통해 확장성이 뛰어납니다. 패싯은 사용자 정의 메타데이터이며 엔터티 보강을 가능하게 합니다. 아래의 핵심 모델을 숙지하는 것이 좋습니다.

OpenLineage가 에코시스템에 이점을 제공하는 방법

아래에서는 여러 소스, 스케줄러 및/또는 데이터 처리 프레임워크에서 계보 메타데이터를 수집하는 문제를 설명합니다. 그런 다음 계보 메타데이터 수집에 대한 Open Standard를 정의할 때의 디자인 이점을 간략하게 설명합니다.

• 각 프로젝트는 자체 사용자 지정 메타데이터 수집 통합을 계측해야 하므로 작업이 중복됩니다.
• 통합은 외부에 있으며 기본 스케줄러 및/또는 데이터 처리 프레임워크의 새 버전과 충돌할 수 있으므로 프로젝트에서 이전 버전과의 호환성을 보장해야 합니다.

OPENLINEAGE 사용:

• 통합 노력은 프로젝트 간에 공유됩니다.
• 통합은 기본 스케줄러 및/또는 데이터 처리 프레임워크로 푸시할 수 있습니다. 더 이상 따라잡고 호환성을 보장할 필요가 없습니다!

범위

OpenLineage는 실행 중인 작업 및 해당 이벤트에 대한 메타데이터를 정의합니다. 구성 가능한 백엔드를 통해 사용자는 이벤트를 보낼 프로토콜을 선택할 수 있습니다.

Core model​

패싯은 핵심 엔터티 중 하나에 연결된 메타데이터의 원자성 조각입니다. 자세한 내용은 사양을 참조하십시오.

사양

사양은 OpenAPI를 사용하여 정의되며 사용자 지정 패싯을 통해 확장할 수 있습니다.

통합

OpenLineage 저장소에는 여러 시스템과의 통합이 포함되어 있습니다.

• 아파치 에어플로우
• 아파치 플링크
• 아파치 스파크
• 댁스터
• 디브티
• SQL (영문)

관련 프로젝트

• Marquez: Marquez는 데이터 생태계의 메타데이터를 수집, 집계 및 시각화하는 LF AI & DATA 프로젝트입니다. OpenLineage API의 참조 구현입니다.
  • OpenLineage 컬렉션 구현
• Egeria: Egeria Open Metadata and Governance(에제리아: Egeria 오픈 메타데이터 및 거버넌스). 메타데이터 버스입니다.

https://openlineage.io/docs 의 한글번역본입니다.

https://youtu.be/rO3BPqUtWrI?si=XaeYSgh4jzCApOvd