본문 바로가기

전체 글311

Snowflak 오브젝트 및 용어 Snowflake에서 사용되는 오브젝트 종류는 다음과 같습니다. 태스크(task): 태스크는 일정한 주기로 실행되거나, 특정 이벤트가 발생할 때 실행되는 작업을 정의하는 오브젝트입니다. 태스크를 사용하여 ETL(Extract, Transform, Load) 작업, 데이터 통합 작업 등을 자동화할 수 있습니다. 스트림(stream): 스트림은 데이터 변경을 캡처하고, 다른 테이블(table)이나 스트림(stream)에 전달하는 오브젝트입니다. 스트림을 사용하여 데이터 변경 이벤트를 감지하고, 실시간 데이터 통합을 수행할 수 있습니다. 인티그레이션(integration): 인티그레이션은 다른 클라우드 서비스나 데이터 소스와 연결하기 위한 구성 요소입니다. 인티그레이션을 사용하여 Amazon S3, Azure.. 2023. 3. 22.
프로젝트를 위한 문제 정의 방법 프로젝트를 위한 문제 정의 방법은 다음과 같습니다. 1. 문제 영역 선택 프로젝트를 위한 영역을 선택하고, 해당 영역에 대한 이해를 높입니다. 2. 문제 파악 선택한 영역에서 실제 문제를 파악하고, 그 문제가 어떻게 발생하고 있는지, 어떻게 해결되지 않고 있는지 등을 파악합니다. 3. 문제 정의 파악한 문제를 구체적으로 정의하고, 명확하고 구체적인 문제 정의서를 작성합니다. 4. 문제 해결 방법 도출 문제를 해결하기 위한 다양한 방법을 도출하고, 이를 평가하고 비교하여 최종적으로 채택할 방법을 선택합니다. 5. 문제 해결 계획 수립 선택한 방법을 구체적으로 계획하고, 실행 가능한 계획을 수립합니다. 6. 문제 해결 실행 계획에 따라 문제를 해결하고, 결과를 평가하고 수정합니다. 각 단계별로 상세하게 살펴.. 2023. 3. 20.
AVEQA 알고리즘 AVEQA 알고리즘은 제품 정보에서 속성 값 추출을 위한 새로운 접근 방식입니다. 각 속성을 질문으로 취급하고 제품 문맥에서 속성 값에 해당하는 답변 범위를 식별하는 질문 응답 모델을 구축합니다 Learning to Extract Attribute Value from Product via Question Answering: A Multi-task Approach | Proceedings of the 26th ACM SIG Overall Acceptance Rate 1,133 of 8,635 submissions, 13% dl.acm.org 장점 제품 문맥에서 속성 값에 해당하는 답변 범위를 식별하기 때문에 속성 값 추출의 정확도와 abstractive한 표현을 향상시킵니다. multi-task frame.. 2023. 3. 17.
데이터 표준 담당과 데이터 설계 모델러 역량 데이터 표준 담당자와 데이터 설계 모델러는 데이터 관리 및 모델링 분야에서 중요한 역할을 수행합니다. 이들 역할에 필요한 주요 역량은 다음과 같습니다: 데이터 표준 담당자: 데이터 관리 원칙: 데이터 표준 담당자는 데이터 관리 원칙과 데이터 거버넌스에 대한 깊은 이해가 필요합니다. 이를 통해 조직 내 데이터 표준을 설정하고 유지하는 데 도움이 됩니다. 표준화 및 메타데이터 관리: 메타데이터 및 표준화 기술에 대한 지식은 데이터 표준 담당자에게 중요합니다. 이를 통해 데이터 사전, 분류 체계 및 데이터 표준을 개발하고 유지할 수 있습니다. 도메인 전문 지식: 특정 산업이나 분야에 대한 전문 지식은 데이터 표준을 이해하고 정의하는 데 도움이 됩니다. 커뮤니케이션 및 협업: 데이터 표준 담당자는 다양한 이해 .. 2023. 3. 17.
조직간 협업 성과 측정을 위한 설문조사 예시 서로 다른 조직과의 협업에 따른 성과 측정을 위한 설문조사 예시 팀 간 의사소통 효율성: 회사 간의 의사소통이 원활하다고 생각하십니까? 다른 회사의 팀원과 소통할 때 어려움을 겪었습니까? 현재 사용 중인 의사소통 도구가 효과적이라고 생각하십니까? 문화적 적응력: 다른 회사의 팀원과 함께 일하는 것이 편안하다고 느낍니까? 다른 회사의 업무 문화에 적응하는 데 어려움을 겪었습니까? 두 회사의 문화 차이를 해소하는 데 필요한 지원을 받았다고 생각하십니까? 상호 신뢰도 향상: 다른 회사의 팀원을 신뢰할 수 있다고 생각하십니까? 협업 프로젝트에서 다른 회사의 팀원에게 책임을 맡길 수 있습니까? 다른 회사의 팀원과 업무상 거짓말이나 기만을 경험한 적이 있습니까? 협업 투명성: 두 회사 간의 업무 공유 및 진행 상황.. 2023. 3. 17.
OpenAI GPT-4 출시 OpenAI의 딥 러닝 스케일업 노력의 최신 이정표인 GPT-4를 만들었습니다. GPT-4는 대규모 멀티모달 모델(이미지 및 텍스트 입력, 텍스트 출력)로, 많은 실제 시나리오에서는 인간보다 성능이 떨어지지만 다양한 전문 및 학술 벤치마크에서 인간 수준의 성능을 발휘합니다.예를 들어, 모의 사법시험에 합격하여 상위 10%의 수험생을 대상으로 한 반면 GPT-3.5의 점수는 하위 10% 수준이었다.NAT은 6개월 동안 적대적 테스트 프로그램 및 Chat GPT의 교훈을 사용하여 GPT-4를 반복적으로 정렬하여 사실성, 조향성 및 가드레일 밖으로 나가는 것을 거부하는 사상 최고의 결과를 얻었습니다. ChatGPT 지난 2년간 딥러닝 스택 전체를 재구축하고 Azure와 함께 워크로드에 맞는 슈퍼컴퓨터를 처음부.. 2023. 3. 15.
GPT-4와 GPT-3.5: 차세대 인공지능의 진화 https://openai.com/research/gpt-4 GPT-4 We’ve created GPT-4, the latest milestone in OpenAI’s effort in scaling up deep learning. GPT-4 is a large multimodal model (accepting image and text inputs, emitting text outputs) that, while less capable than humans in many real-world scenarios, exhi openai.com 인공지능(AI) 분야에서 가장 두드러진 발전 중 하나는 단연코 자연어 처리(NLP) 분야에서의 엄청난 성과입니다. 최근 몇 년간 GPT(Generative Pre-tra.. 2023. 3. 15.
역설계 Decoding Greatness - Ron Friedman Ron Friedman의 저서 "Decoding Greatness"는 성공을 이루는 방법을 다루고 있습니다. 이 책은 세계적으로 유명한 인물들의 성공 이야기를 통해 각자의 분야에서 어떻게 성공을 이루는지 알려주고 있습니다. 성공적인 사람들은 자신이 원하는 목표를 명확하게 설정하고, 높은 집중력과 열정을 가지고 그 목표를 달성하기 위해 노력합니다. 또한, 실패를 받아들이고 성장하는 방법과 타인과의 협력을 통해 목표를 달성하는 방법도 이 책에서 다루고 있습니다. 이 책은 또한 성공적인 사람들이 시도해본 실험과 직접적인 경험을 토대로 제시한 다양한 팁과 전략들도 제공합니다. 이를 통해 독자들은 자신의 목표를 달성하는 데 도움을 받을 수 있습니다. 책에서는 성공적인 사람들이 어떻게 자신의 목표를 설정하고, 열정.. 2023. 3. 12.
Colab에서 외부로 IP 노출하여 웹 서비스하기 Colaboratory (Colab)은 구글에서 제공하는 클라우드 기반의 Jupyter Notebook 환경입니다. Colab을 이용하면 브라우저에서 Python 코드를 작성하고 실행할 수 있습니다. 이번 가이드에서는 Colab을 이용하여 웹 서비스를 구축하고 외부에서 접근할 수 있도록 IP를 노출하는 방법을 알아보겠습니다. 1. Colab에서 Flask 웹 어플리케이션 작성하기 Flask는 Python으로 웹 어플리케이션을 작성하기 위한 마이크로 웹 프레임워크입니다. 먼저 Colab에서 Flask를 설치한 후 웹 어플리케이션을 작성해보겠습니다. !pip install flask 위 명령어를 실행하여 Flask를 설치합니다. 이제 아래 코드를 실행하여 간단한 웹 어플리케이션을 작성해보겠습니다. from .. 2023. 3. 12.
IoTDB IoTDB는 대규모 시계열 데이터를 처리하는 데이터베이스 엔진으로, 데이터 수집, 저장 및 분석에 대한 다양한 서비스를 제공합니다. IoT 산업 분야에서 필요한 고성능, 대용량 데이터 저장 및 복잡한 데이터 분석 요구를 충족시키기 위해 설계되었습니다. IoTDB는 다양한 데이터 소스로부터 데이터를 수집할 수 있으며, 이를 효율적으로 처리하기 위해 분산 데이터베이스 시스템을 사용합니다. 시계열 데이터의 특징에 맞게 최적화된 데이터 저장 및 처리 방식을 적용하여, 빠른 쿼리 처리와 효율적인 데이터 압축 기술을 제공합니다. 또한, IoTDB는 다양한 데이터 수집 방법을 지원하며, 사용자는 자신이 원하는 데이터 수집 방식을 선택할 수 있습니다. IoTDB는 Hadoop, Spark 등 다양한 빅데이터 생태계와의.. 2023. 3. 4.
웹 스크래핑 도구 및 무료 웹 크롤러 웹 스크래핑 도구와 무료 웹 크롤러는 웹사이트에서 자동으로 데이터를 추출할 수 있는 소프트웨어 프로그램입니다. 이러한 도구는 시장 조사, 데이터 분석, 콘텐츠 집계 등 다양한 목적으로 사용할 수 있습니다. 다음은 웹 스크래핑 도구 및 무료 웹 크롤러의 몇 가지 예입니다. BeautifulSoup: BeautifulSoup은 HTML 및 XML 문서를 구문 분석하고 데이터를 추출할 수 있는 Python 라이브러리입니다. 웹 스크래핑에 널리 사용되는 도구이며 Python에 익숙한 개발자가 사용하기 쉽습니다. Scrapy: Scrapy는 Python 기반 웹 크롤링 프레임워크로 다음을 수행할 수 있습니다. 사용자 지정 스파이더를 작성하거나 사전 구축된 스파이더를 사용하여 웹 사이트에서 데이터를 추출합니다. 다.. 2023. 2. 24.
Data Fabric 및 Data Mesh: 조직에 적합한 균형 찾기 데이터 패브릭과 데이터 메시는 조직이 분산되고 확장 가능한 방식으로 데이터를 관리하는 데 도움이 되는 두 가지 아키텍처 개념입니다. 두 접근 방식 모두 고유한 이점이 있지만 조직의 요구 사항에 맞는 데이터 아키텍처를 생성하려면 중앙화와 분산 사이의 적절한 균형을 찾는 것이 중요합니다. 데이터 패브릭: 조직 전반에 걸쳐 통합된 데이터 보기 데이터 패브릭은 여러 위치와 시스템에서 데이터에 액세스하고 데이터를 관리하는 일관된 방법을 제공하는 통합 데이터 아키텍처입니다. 본질적으로 기본 기술 및 데이터 소스에 관계없이 사용자에게 원활한 경험을 제공하기 위해 함께 작동하는 상호 연결된 데이터 서비스 집합입니다. 데이터 패브릭을 사용하면 일관성을 유지하고 데이터 사일로를 줄이고 데이터 액세스를 단순화합니다. 또한 .. 2023. 2. 23.

티스토리툴바