본문 바로가기

전체 글476

데이터 익명화(Anonymization) - Trino & Iceberg 예제 Apache Iceberg(iceberg.ceph) 카탈로그 상의 대용량 고객 및 구매 데이터를 대상으로 진행한 개인정보 익명화(Anonymization) 기법, 프라이버시 보호 모델(k-Anonymity, l-Diversity, Differential Privacy), 그리고 가명화와의 차이점 실증 테스트 결과를 정리한 자료입니다.목차개요 및 법적·기술적 정의 (가명화 vs 익명화)1단계: 기존 가명화 데이터의 재식별 취약점 실증 (Vulnerability Test)2단계: 엄격한 k-익명성 마이크로데이터 구축 (customer_anonymized_strict)3단계: l-다양성(l-Diversity) 및 엔트로피 평가4단계: 다차원 집계형 익명화 마트 및 소규모 셀 억제 (purchases_anony.. 2026. 10. 23.
Claude로 같은 결과를 더 적은 토큰으로 만드는 전략 Claude를 많이 사용할수록 비용을 줄이는 가장 좋은 방법은 프롬프트 문장을 몇 자 줄이는 것이 아닙니다. 같은 품질을 유지하면서 Claude가 매번 다시 읽고, 다시 생각하고, 다시 출력하는 일을 줄이는 것이 핵심입니다.최근 Anthropic의 가이드는 토큰 절약을 다음 순서로 권합니다.반복되는 입력을 캐시한다.현재 작업에 필요 없는 컨텍스트를 보내지 않는다.모델과 작업 난이도에 맞게 effort를 조정한다.출력 길이와 에이전트 실행 횟수를 제한한다.평가 데이터로 품질을 확인하면서 자동 최적화한다.1. 가장 먼저 할 일:프롬프트 캐싱반복되는 시스템 프롬프트, 도구 정의, 프로젝트 문서가 있다면 Prompt Caching이 가장 큰 절약 효과를 냅니다. Claude는 프롬프트를 처리해 내부 작업 상태를.. 2026. 10. 22.
돋보기 전략 원본영상 : https://www.youtube.com/watch?v=SBGM08Y-tlM이 영상은 AI 시대에 단순히 툴을 배우는 것을 넘어, AI의 힘을 원하는 목표에 집중시키는 '돋보기 전략'의 중요성을 강조합니다. AI가 이미 높은 수준의 문제 해결 능력을 갖춘 시대인 만큼, 단순히 '잘하는 것'이 아니라 '존나 잘하는 것(압도적인 결과)'이 필요하다고 설명합니다.AI 활용을 위한 3가지 핵심 조건 (돋보기 전략)상위 목표 (볼록 렌즈): 눈앞의 문제를 해결하는 데 그치지 않고, 내가 이 일을 왜 하는지 근본적인 목적을 명확히 정의해야 합니다(7:58-11:30).답안지 (땔감): 단순히 좋은 프롬프트를 찾는 것이 아니라, 이미 현실에서 검증된 성공 사례와 실패 사례(데이터)를 AI에게 학습시켜 .. 2026. 10. 15.
통계/분석 목적의 가명화 처리 - Trino & Iceberg 예시 Apache Iceberg(iceberg.ceph) 카탈로그 상의 고객 및 주문/구매 데이터를 대상으로 진행한 개인정보 가명화 및 재식별 방지 테스트 쿼리와 상세 설명을 정리하였습니다.목차개요 및 데이터 모델1단계: 기본 가명화 테이블 생성 (1차)2단계: 실시간 동기화 동적 뷰 (Dynamic View)3단계: K-익명성 평가 및 보안 취약점 보완4단계: 직접 식별자(PK) 가명화 적용 (v2)5단계: 연계 상품 구매 테이블 생성 및 가명화6단계: 가명화 테이블 간 무결성 JOIN 분석 검증요약: 적용된 비식별화 기법 매핑1. 개요 및 데이터 모델엔진: Trino 482카탈로그 & 스토리지: Apache Iceberg (Ceph S3 연동, iceberg.ceph)데이터 포맷: Apache Parque.. 2026. 10. 7.
Iceberg 파티션 전략별 성능 비교 테스트 대상: iceberg.ceph.customer_purchases (총 75,000,000건)환경: Trino 482 (Single Node), Iceberg v2 (ZSTD Parquet), Ceph S3, PostgreSQL JDBC Metastore1. 개요 및 목적대용량 Iceberg 테이블(7,500만 건)을 운영 환경에 적용할 때, 파티션 전략(비파티션 vs 연도 파티션 vs 년월 파티션) 에 따른 쿼리 성능(소요 시간, I/O 스캔량, CPU 시간, 피크 메모리)과 안정성(OOM 발생 위험)을 실측 비교하여 최적의 파티션 구조 및 운영 가이드를 도출합니다.2. 테스트 환경 및 대상 테이블 구조2.1 클러스터 리소스 사양Trino Coordinator/Worker: Single Node .. 2026. 9. 18.
Trino + Iceberg 구성 방안 2026. 9. 16.
MariaDB TDE 적용 Docker 환경에서 MariaDB를 구동하고, 암호화 키를 로컬 호스트 파일에 두지 않고 별도의 MariaDB DB 스키마(key_vault.encryption_keys)에 보관하여 컨테이너 기동 시 동적으로 메모리에 적재 및 TDE를 적용한 전체 시스템 구축 방법을 설명합니다.1. 시스템 설계 개요DBMS: MariaDB (Latest LTS/Stable)아키텍처 원칙:호스트 파일시스템 내 키 파일 완전 제거: 호스트 디렉토리에 키 파일을 영구 보관하지 않습니다.별도 DB 스키마 기반 키 보관 (Key Vault): 전용 MariaDB 인스턴스의 key_vault.encryption_keys 스키마 테이블에 256비트 암호화 키를 관리합니다.시작 시 동적 메모리 로딩: Main MariaDB가 부팅될.. 2026. 8. 28.
Google Flow (2/2) : 제작 도구를 만드는 툴 코딩 없이 자연어 프롬프트만으로 커스텀 영상·이미지 편집 도구를 직접 제작하고 공유한다.2026년 5월 Google I/O에서 공개된 Flow Tools의 모든 것.Flow Tools · Vibe Code · 노코드 · Tools Gallery · Google I/O 2026목차Flow Tools란 무엇인가어떻게 작동하는가만들 수 있는 도구의 종류Tools Gallery — 공개된 도구들사용 권한과 제약실전 활용 가이드현재 한계와 앞으로의 방향총평1. Flow Tools란 무엇인가2026년 5월 19일, Google은 Flow에 Flow Tools를 추가했다. 한 줄로 정의하면 이렇다.자연어로 설명하면 Flow가 코드를 짜고 도구 인터페이스를 만들어준다.기존 창작 도구들은 제공된 기능 안에서만 쓸 수 있.. 2026. 6. 14.
Google Flow (1/2) : 텍스트로 영화를 만든다 프롬프트 하나로 씬을 설계하고, 카메라를 지휘하고, 캐릭터를 살린다.Google I/O 2025에서 데뷔한 AI 영상 창작 플랫폼 Flow의 핵심 도구를 깊게 파헤친다.목차Google Flow란 무엇인가핵심 AI 모델 삼각 편대핵심 도구 완전 해부Google I/O 2026 주요 업데이트경쟁 도구 비교가격 및 플랜총평1. Google Flow란 무엇인가Google Flow는 Google Labs가 2025년 5월 Google I/O에서 공개한 AI 영상 창작 플랫폼이다. 기존 AI 영상 도구가 "프롬프트를 넣으면 클립 하나를 뱉는 자판기"에 가까웠다면, Flow는 다르다. 여러 씬을 이어 붙이고, 캐릭터를 일관되게 유지하며, 카메라 연출 의도를 직접 지정할 수 있는 감독의 작업실이다."카메라 앵글, 피사.. 2026. 6. 14.
Tesla Model X Review of Socar Black Label 이용 정보6월 3일 04:00 ~ 6월 4일 22:00 (18시간)경기 하남시 → 경북 영천시 총 660kmTesla Model X (FSD) / 쏘카 블랙라벨총비용 약 40만 원 (충전비 포함)아이오닉9이냐, 테슬라X냐. 며칠을 고민했습니다. 가격은 테슬라X가 10만 원 더 비쌌어요. 그런데 이날은 그냥 드라이브가 아니었습니다. 3자녀 + 소중한 와이프를 태우고 하남에서 영천까지, 당일치기로 왕복 660km를 혼자 운전해야 하는 날이었거든요.그래서 결론은 하나였습니다. "FSD(자율주행) 믿고 가자."실제 쏘카로 테슬라X를 주행하며 겪었던 후기들을 공유합니다. 쏘카 블랙라벨의 자세한 내용은 아래 링크 참조하세요.[쏘카 | 특별한 날 확실한 자동차를 집 앞에서 빌리는 방법내 차가 있어도 가끔은 특별한 차.. 2026. 6. 5.
antigravity 에서 한글 깨지지 않기 맥을 메인으로 쓰다가 오래만에 윈도우에서 작업하다보니 기본적으로 antigravity 앱에서 보여주는 화면에서 실행 화면의 한글이 깨져 나왔습니다. 한글 깨짐 처리오라클 한글 캐리터셋으로 실랑이를 하던 추억으로 남아 있네요. 과거에는 레지스트리에서 수정하곤 했지만, 현재는 윈도우 자체 설정 기능으로 제공합니다.제어판 > 국가 또는 지역 > 관리자 옵션 > 시스템 로캘 변경 > Beta: 세계 언어 지원을 위해 Unicode UTF-8 사용 체크 > 재시작 만약, 터미널에서 잠깐 테스트 해볼 거면chcp 65001 set PYTHONUTF8=1해 봐도 될 듯 합니다. 2026. 5. 25.
Gemini CLI to Antigravity CLI gemini cli 를 접속하니 새로운 내용이 보였습니다.내용을 살펴보니 Gemini CLI는 곧 종료되며, 앞으로는 Antigravity CLI를 사용해야 한다?공식 발표에 따르면 Google One 및 무료(Unpaid tier) 사용자는 2026년 6월 18일 이후 Gemini CLI 사용이 중단됩니다.따라서 기존 개인 사용자는 Antigravity CLI로 이전(Migration)해야 합니다.Antigravity App 도 그렇지만 이번 업데이트를 보며 OpenAI Codex, Anthropic Claude, Google Antigravity 모두 이제는 개발 보조도구가 아닌 Agentic Development 로의 전환을 보여줍니다. 코드를 보여줄 필요조차 없어지는 것 같습니다. https://.. 2026. 5. 20.

티스토리툴바