IT/Etc78 데이터 엔지니어링 on Google Cloud (1/4) 1장: 데이터 엔지니어링 및 Google Cloud 기반 데이터 레이크/웨어하우스 구축데이터 엔지니어링의 주요 개념과 Google Cloud를 활용한 데이터 레이크 및 데이터 웨어하우스 구축에 대한 핵심 내용을 요약하고 있습니다. 데이터 엔지니어의 역할, 데이터 엔지니어링의 과제, 데이터 레이크와 데이터 웨어하우스의 차이점 및 Google Cloud 솔루션(BigQuery, Cloud Storage, Cloud SQL 등)을 중심으로 주요 아이디어와 사실을 정리했습니다.1. 데이터 엔지니어링 소개 및 역할 데이터 파이프라인 구축: 데이터 엔지니어의 핵심 역할은 데이터 기반 의사 결정을 지원하는 데이터 파이프라인을 구축하는 것입니다. 이는 데이터를 필요한 위치로 가져오고, 사용 가능한 상태로 만들며, 새로.. 2025. 4. 7. Docker Desktop 대안 Rancher, Podman and Colima Docker Desktop은 상업적인 사용(기업 규모가 일정 기준 이상인 경우)에는 유료로 제공됩니다."*Commercial use of Docker Desktop at a company of more than 250 employees OR more than $10 million in annual revenue requires a paid subscription (Pro, Team, or Business) to use Docker Desktop."그러나 Docker의 핵심 구성 요소인 **Docker Engine (커맨드라인에서 사용하는 도커 CLI, Docker Daemon)**는 오픈 소스이며 무료입니다. docker CLI와 dockerd (Docker Daemon) 자체는 MIT 라이선스 하에 배.. 2025. 3. 20. Kroki - 텍스트 기반 다이어그램 (본 게시글은 ChatGPT를 기반으로 작성되었습니다.)https://kroki.io Kroki!Kroki provides a unified API with support for BlockDiag (BlockDiag, SeqDiag, ActDiag, NwDiag, PacketDiag, RackDiag), BPMN, Bytefield, C4 (with PlantUML), D2, DBML, Ditaa, Erd, Excalidraw, GraphViz, Mermaid, Nomnoml, Pikchr, PlantUML, Structurizr, SvgBob, Skroki.io 프로젝트를 진행하면서 복잡한 비즈니스 로직이나 시스템 아키텍처를 설명해야 할 때, 다이어그램이나 흐름도를 직접 그려본 적 있으신가요?문서화 부.. 2025. 3. 14. 풀스택 AI 서비스 (본 게시글은 Chatgpt의 o1 이성 처리 기능을 활용하여 작성되었습니다.)1. 풀스택 AI 서비스 개념 개요“AI 서비스를 위한 풀스택(Full Stack)”이라 함은, 단순히 모델 개발만을 의미하는 것이 아니라 데이터 수집-정제 → 모델 개발 및 학습 → 서비스 배포 → 모니터링 및 재학습에 이르는 전 과정을 포괄적으로 다루는 것을 의미합니다.2025년 기준으로 대부분의 기업 및 조직에서는 아래의 단계를 통합적으로 구성하여 효율적인 MLOps(Machine Learning Operations) 파이프라인을 구축하고 있습니다.데이터 레이어: 데이터 인프라 및 파이프라인, 데이터 레이크/웨어하우스, ETL/ELT(추출-변환-적재)AI 모델 개발 레이어: 모델 아키텍처 설계, 학습/추론 환경, 모델 검.. 2025. 3. 14. 이전 1 2 3 4 5 ··· 20 다음
