본문 바로가기

IT/DB26

Snowflak 오브젝트 및 용어 Snowflake에서 사용되는 오브젝트 종류는 다음과 같습니다. 태스크(task): 태스크는 일정한 주기로 실행되거나, 특정 이벤트가 발생할 때 실행되는 작업을 정의하는 오브젝트입니다. 태스크를 사용하여 ETL(Extract, Transform, Load) 작업, 데이터 통합 작업 등을 자동화할 수 있습니다. 스트림(stream): 스트림은 데이터 변경을 캡처하고, 다른 테이블(table)이나 스트림(stream)에 전달하는 오브젝트입니다. 스트림을 사용하여 데이터 변경 이벤트를 감지하고, 실시간 데이터 통합을 수행할 수 있습니다. 인티그레이션(integration): 인티그레이션은 다른 클라우드 서비스나 데이터 소스와 연결하기 위한 구성 요소입니다. 인티그레이션을 사용하여 Amazon S3, Azure.. 2023. 3. 22.
Data Fabric 및 Data Mesh: 조직에 적합한 균형 찾기 데이터 패브릭과 데이터 메시는 조직이 분산되고 확장 가능한 방식으로 데이터를 관리하는 데 도움이 되는 두 가지 아키텍처 개념입니다. 두 접근 방식 모두 고유한 이점이 있지만 조직의 요구 사항에 맞는 데이터 아키텍처를 생성하려면 중앙화와 분산 사이의 적절한 균형을 찾는 것이 중요합니다. 데이터 패브릭: 조직 전반에 걸쳐 통합된 데이터 보기 데이터 패브릭은 여러 위치와 시스템에서 데이터에 액세스하고 데이터를 관리하는 일관된 방법을 제공하는 통합 데이터 아키텍처입니다. 본질적으로 기본 기술 및 데이터 소스에 관계없이 사용자에게 원활한 경험을 제공하기 위해 함께 작동하는 상호 연결된 데이터 서비스 집합입니다. 데이터 패브릭을 사용하면 일관성을 유지하고 데이터 사일로를 줄이고 데이터 액세스를 단순화합니다. 또한 .. 2023. 2. 23.
OpenMetadata OpenMetadata: Data Discovery, Profiling, Collaboration, Lineage. (open-metadata.org) OpenMetadata: Data Discovery, Profiling, Collaboration, Lineage. An end-to-end metadata management solution that includes data catalog, data discovery, governance, data quality, observability, and people collaboration. open-metadata.org All Data in One Place A central store to integrate metadata from different s.. 2022. 10. 20.
Project Nessie Project Nessie: Transactional Catalog for Data Lakes with Git-like semantics Transactional Catalog for Data Lakes Git-inspired data version control Cross-table transactions and visibility Open data lake approach, supporting Hive, Spark, Dremio, AWS Athena, etc. Works with Apache Iceberg and Delta Lake tables Run as a docker image, AWS Lambda or fork it on GitHub Get in touch via our Google Group.. 2022. 10. 20.

티스토리툴바