본문 바로가기

전체 글405

데이터 엔지니어링 on Google Cloud (0/4) 구글 클라우드 데이터 관리 체계 및 데이터 엔지니어링데이터 관리 개념, 시스템 아키텍처, 서비스 아키텍처 및 구글 클라우드 서비스 활용 가이드목차소개데이터 관리 개념시스템 아키텍처서비스 아키텍처구글 클라우드 서비스Google Cloud Storage (GCS)BigQueryCloud ComposerDataprocDataflowData Fusion데이터 파이프라인 구축활용 사례모범 사례결론1. 소개현대 비즈니스에서 데이터는 가장 중요한 자산 중 하나입니다. 대규모 데이터를 효율적으로 저장, 처리, 분석하는 능력은 비즈니스 성공의 핵심 요소가 되었습니다. 구글 클라우드 플랫폼(Google Cloud Platform, GCP)은 기업이 데이터를 최대한 활용할 수 있도록 다양한 데이터 관리 서비스를 제공합니다... 2025. 4. 11.
Maskara AI: 프롬프트 최적화를 통한 AI 활용 Maskara AI는 사용자가 더 효과적인 AI 프롬프트를 생성할 수 있도록 도와주는 프롬프트 엔지니어링 서비스입니다. Maskara AI의 개념, 작동 방식, 활용 사례를 상세히 다루며 실제 업무와 학습 환경에서 AI를 더 효율적으로 활용할 수 있는 방법을 알아보겠습니다.https://www.maskara.ai/ Maskara.aiMost Powerful AI Prompt Engineerwww.maskara.ai Maskara AI의 개념과 목적Maskara AI는 사용자가 입력한 기본적인 프롬프트를 기반으로 추가 질문을 통해 더 구체적이고 효과적인 프롬프트를 생성해주는 서비스입니다. AI 모델의 출력 품질은 프롬프트 품질에 크게 의존하는데, Maskara AI는 이 프롬프트 작성 과정을 최적화함으로써.. 2025. 4. 10.
n8n 환경변수 확인 방법 MCP설정하다보면 N8N_COMMUNITY_PACKAGES_ALLOW_TOOL_USAGE의 값을 셋팅하라고 하는데 잘되었는지 확인해 보는 방법이다.아래 내용을 복사해서 워크플로우에 넣고 확인하고 싶은 변수값으로 수정후 Test를 누르면 된다. { "nodes": [ { "parameters": { "command": "=echo $N8N_COMMUNITY_PACKAGES_ALLOW_TOOL_USAGE" }, "name": "Execute Command", "type": "n8n-nodes-base.executeCommand", "typeVersion": 1, "position": [ -300, -120 .. 2025. 4. 8.
MCP(Model Context Protocol) ChatGPT로 MCP에 대해 만든 5~6컷 만화입니다. ChatGPT에서 그림에서의 한글은 텍스트가 아닌 이미지로 인식하나 봅니다. 한글로 입력된 이미지가 많을 수록 잘 나오겠네요. 웹툰 화이팅입니다.한글이 많이 깨지지만 한국인은 읽을수가 있네요. AI처럼 사람도 글자를 모양으로 인식하나 봅니다. 2025. 4. 8.
PlantUML in VS Code 우선 VS Code에서 PlantUML을 사용하기 위해 해당 확장 기능을 설치합니다.https://marketplace.visualstudio.com/items?itemName=jebbs.plantuml PlantUML - Visual Studio MarketplaceExtension for Visual Studio Code - Rich PlantUML support for Visual Studio Code.marketplace.visualstudio.com 그리고 plantuml로 작성된 파일을 diagram으로 변환해 주기 위한 프로그램을 설치합니다.Quick Install for Macbrew install --cask temurinbrew install graphvizQuick Install fo.. 2025. 4. 7.
데이터 엔지니어링 on Google Cloud (4/4) 제 4장. AI, 머신러닝 및 Google Cloud 기반 분석 브리핑 문서분석 및 인공지능(AI)의 주요 테마와 핵심 아이디어를 요약하고, Google Cloud 플랫폼에서 AI와 머신러닝을 활용하는 다양한 방법과 도구에 초점을 맞추어 설명합니다.1. 분석 및 AI 소개 (M4_1_Introduction_to_Analytics_and_AI_KO.pdf)AI, 머신러닝(ML), 딥러닝의 관계: AI는 자율적으로 생각하고 행동하는 머신을 구축하는 이론 및 방법 전반을 아우르는 분야이며, ML은 데이터를 기반으로 예측 통계를 도출하고 반복적인 결정을 내리는 AI의 한 유형입니다. 딥러닝은 이미지, 음성 등 비정형 데이터 처리에서 뛰어난 성능을 보이는 ML의 한 종류입니다."많은 사람이 인공지능(AI), 머신.. 2025. 4. 7.
데이터 엔지니어링 on Google Cloud (3/4) 제 3장. Google Cloud 기반의 복원력 있는 스트리밍 분석 시스템 구축본 문서는 스트리밍 데이터 처리의 주요 개념, 과제, Google Cloud 서비스의 역할 및 활용 방안, 그리고 성능 최적화를 위한 고려 사항을 종합적으로 정리합니다.1. 스트리밍 데이터 처리 소개 (M3_1_Introduction_KO.pdf)스트리밍 데이터의 정의 및 과제: 스트리밍 데이터는 무한하고 지속적으로 생성되는 데이터 세트이며, 대용량(Volume), 빠른 속도(Velocity), 다양한 형태(Variety), 그리고 데이터의 불확실성(Veracity)이라는 4가지 주요 과제를 안고 있습니다."스트리밍은 제한 없는 데이터를 대상으로 하는 데이터 처리 방법입니다.""스트리밍 애플리케이션과 관련된 과제는 4V, 즉 .. 2025. 4. 7.
데이터 엔지니어링 on Google Cloud (2/4) 배치(일괄) 데이터 파이프라인의 개념, 구축 방법, Google Cloud Platform (GCP) 상에서의 실행 및 관리 전략에 대해 살펴 보겠습니다. 배치 파이프라인의 기본 개념부터 ELT/ETL 프로세스, 데이터 품질 고려 사항, GCP의 주요 서비스 (BigQuery, Dataproc, Dataflow, Cloud Data Fusion, Cloud Composer, Data Catalog) 활용 방안, 그리고 파이프라인 최적화 및 관리 전략에 이르기까지 광범위한 주제를 다룹니다.배치 데이터 파이프라인의 기본 개념:배치 파이프라인은 "제한된 양의 데이터를 처리한 다음 종료하는 파이프라인입니다." 예를 들어, 매일의 거래 데이터를 처리하고 데이터 웨어하우스에 기록하는 파이프라인이 있습니다.데이터 처.. 2025. 4. 7.
데이터 엔지니어링 on Google Cloud (1/4) 1장: 데이터 엔지니어링 및 Google Cloud 기반 데이터 레이크/웨어하우스 구축데이터 엔지니어링의 주요 개념과 Google Cloud를 활용한 데이터 레이크 및 데이터 웨어하우스 구축에 대한 핵심 내용을 요약하고 있습니다. 데이터 엔지니어의 역할, 데이터 엔지니어링의 과제, 데이터 레이크와 데이터 웨어하우스의 차이점 및 Google Cloud 솔루션(BigQuery, Cloud Storage, Cloud SQL 등)을 중심으로 주요 아이디어와 사실을 정리했습니다.1. 데이터 엔지니어링 소개 및 역할 데이터 파이프라인 구축: 데이터 엔지니어의 핵심 역할은 데이터 기반 의사 결정을 지원하는 데이터 파이프라인을 구축하는 것입니다. 이는 데이터를 필요한 위치로 가져오고, 사용 가능한 상태로 만들며, 새로.. 2025. 4. 7.
OpenAI: New tools for building agents with the API 알겠습니다. OpenAI 발표 영상 내용을 기반으로, 거짓 없이 사실에 입각하여 세미나 발표 형식을 수정하고 다듬었습니다. 외부 뉴스 보도에 대한 추측성 언급보다는 영상에서 발표자들이 직접 언급한 내용을 중심으로 재구성했습니다.세미나 제목: OpenAI: 신뢰성 있고 유용한 AI 에이전트 구축을 위한 새로운 도구1. 소개 (발표자: Kevin, OpenAI 제품 책임자)세션 초점: 개발자와 AI 에이전트 – 사용자를 대신하여 독립적으로 작업을 수행하는 시스템.OpenAI의 에이전트 비전: OpenAI는 단순히 정보만 제공하는 AI를 넘어, 실제 작업을 수행하고 사용자를 돕는 '행동하는 AI'로서 에이전트의 중요성을 강조해 왔습니다.기존 OpenAI 에이전트: ChatGPT 내 Operator(웹 브라우징.. 2025. 3. 30.
Metabase에서 Supabase 연결 설정 간단하게 무료 PostgreSQL을 사용하기 위해 Supabase를 사용합니다. 키 등으로 연결할 때는 상관없었지만, JDBC 등으로 연결할려고 할 때 조금 신경 써야 할 부분이 있습니다. ( GPT의 내용이 안 맞는 것으로 봐서 최근 1년 사이에 바뀐게 아닐까 합니다. )우선 설정을 확인하기 위해 Supabase 상단의 Connect 를 클릭합니다.Direct connection은 무료 버전에서 IP v4을 허용하지 않습니다.중간에 보면 Transaction 부분을 참고하셔서 사용하면 됩니다. 비밀번호는 supabase 접속시 사용한 비밀번호 입니다.Metabase 에서 잘 나오는 것을 볼수 있습니다. 낮시간 때에 제 블로그 방문율은 낮은 것 같네요. 2025. 3. 26.
Gemini 2.5 Pro 요약 Gemini 2.5 Pro 개발사: 구글 딥마인드 (Google DeepMind)위상: 구글의 "가장 지능적인 AI 모델(most intelligent AI model)" 또는 "복잡한 작업을 위한 가장 진보된 모델(most advanced model for complex tasks)" 로 소개되었습니다.주요 특징 및 강점:향상된 추론 능력: "사고(thinking)" 기능이 내장되어 강력한 추론 능력을 보여줍니다.강화된 코딩 능력:시각적으로 매력적인 웹 앱 생성에 탁월합니다.에이전트 코드 애플리케이션(agentic code applications) 개발에 뛰어납니다.코드 변환 및 편집(code transformation and editing) 능력이 우수합니다.SWE-Bench (소프트웨어 엔지니어링 .. 2025. 3. 26.

티스토리툴바