본문 바로가기

전체 글311

Milvus open source vector database Milvus는 2019년에 만들어졌으며, 딥 뉴럴 네트워크 및 기타 머신 러닝(ML) 모델에서 생성된 대량 임베딩 벡터를 저장, 인덱싱 및 관리하는 것을 목표로 합니다. 입력 벡터에 대한 쿼리를 처리하기 위해 특별히 설계된 데이터베이스로, 조작 가능한 벡터를 1조 단위로 인덱싱할 수 있습니다. 기존 관계형 데이터베이스가 사전 정의된 패턴을 따르는 구조화된 데이터를 처리하는 데 주로 사용되는 반면, Milvus는 비구조화된 데이터에서 변환된 임베딩 벡터를 처리할 수 있도록 로우레벨 수준에서 설계되었습니다. 인터넷이 성장하면서 비구조화된 데이터가 점점 더 많아졌습니다. 그 예로는 이메일, 논문, IoT 센서 데이터, Facebook 사진, 단백질 구조 등이 있습니다. 이러한 데이터를 컴퓨터가 이해하고 처리할.. 2023. 4. 17.
Pinecon - Long-term Memory for AI Pinecone는 고성능 벡터 검색 어플리케이션을 쉽게 만들 수 있게 해주는 관리형 클라우드 벡터 데이터베이스입니다. 사용하기 쉬운 API와 인프라에 대한 걱정 없이 초저지연 쿼리 처리와 라이브 인덱스 업데이트, 메타데이터 필터링 등 다양한 기능을 제공합니다. Pinecone는 텍스트, 이미지, 제품 추천 등 다양한 분야에서 사용할 수 있으며, 벡터 검색 기능은 전통적인 키워드 기반 검색 방법과는 다르게, 벡터 임베딩을 이용해 데이터를 처리합니다. 이를 통해, 검색 쿼리와 가장 유사한 항목을 찾아내는데, 이 때 벡터 임베딩이 필요합니다. Pinecone는 밀집 임베딩과 희소 임베딩을 모두 지원합니다. Pinecone를 이용하면, 텍스트 데이터를 변환하여 검색, 질문에 대한 답변을 생성, 이미지 유사도 검.. 2023. 4. 17.
Langchain LangChain은 언어 모델을 기반으로 하는 애플리케이션을 개발하기 위한 프레임워크입니다. LangChain은 다음 원칙을 고려하여 설계되었습니다. 데이터 인식: 언어 모델을 다른 데이터 소스에 연결합니다. 에이전트 기능: 언어 모델이 환경과 상호작용할 수 있도록 합니다. LangChain은 Python과 JavaScript 문서가 있으며, 여러 가지 모듈을 지원합니다. 각 모듈에는 시작하는 방법, 참고 문서, 개념 가이드, 사용 예제가 포함됩니다. LangChain은 개인 비서, 질문에 대한 답변, 챗봇, 구조화된 정보 추출, 요약, 평가 등의 다양한 유스케이스를 지원합니다. LangChain의 대표적인 사용 사례는 개인 비서(Personal Assistants)입니다. 개인 비서는 작업을 수행하고 .. 2023. 4. 17.
디스라이터 - 코우리의 시험 코우리의 시험 ( x 는 선택했으나 오답, o 정답 ) 루이의 직업은? 외로운 협객 그림자 의원 x연맹 집행관 공격 시 대상의 최대 생명력의 상한을 낮추는 에스퍼는? ㅇ하이드 루카스 야호메드 아군에게 치명타 확률 상승 및 공격력 상승 효과를 부여하는 에스퍼는? O달리아 시에라 엽소화 아군에게 회복 효과를 부여하는 에스퍼는? ㅇ아스낫 엘리스 캐서린 어느 에스퍼의 리더 스킬이 아군 전체의 치명타 확률을 증가시킵니까? ㅇ케일리 나염 레이븐 타바 마을은 어떤 지리 환경을 보유하고 있나요? 건조한 사막 아군이 공격 시 협공하는 에스퍼는? 운천 홀 ㅇ모든 항목이 맞습니다 드루는 어떤 세력의 집사인가요? 신버트 가문 o람세스 가문 에스퍼 연맹 타바마을의 슬로건은? ㅇ이곳에서 충분한 대가를... 손님 대접에 진심인.... 2023. 4. 12.
Windows 11을 재설치할 때 확인/백업 해야 할 것 개인 파일: 컴퓨터에 저장한 모든 문서, 사진, 비디오 및 음악이 포함되며, 이러한 파일을 외장 하드 드라이브, 클라우드 스토리지 서비스 또는 USB 플래시 드라이브에 복사할 수 있습니다. 바탕화면이나 문서 폴더 내 필요한 파일 확인 엑셀 파일들. 프로그램 설치 파일: 인터넷에서 프로그램이나 소프트웨어를 다운로드한 경우 Windows 11 설치 후 다시 설치할 수 있도록 설치 파일을 백업하는 것이 좋습니다. 프로그램 목록에서 사용하던 프로그램 목록들 다운로드 받을 사이트나 설치 파일 확인 Chome, Dolby Atmos, MS Office 365, 한컴오피스 2022, Samsung Magican, 프린터 드라이브(SL-T1670W), Visual Studio Code, Anaconda, Nvidia .. 2023. 4. 9.
DataHub: The Metadata Platform for the Modern Data Stack https://github.com/datahub-project/datahub GitHub - datahub-project/datahub: The Metadata Platform for the Modern Data Stack The Metadata Platform for the Modern Data Stack. Contribute to datahub-project/datahub development by creating an account on GitHub. github.com DataHub is an open-source metadata platform for the modern data stack. Read about the architectures of different metadata systems.. 2023. 4. 6.
CKAN: The Open Source Data Portal Software https://github.com/ckan/ckan GitHub - ckan/ckan: CKAN is an open-source DMS (data management system) for powering data hubs and data portals. CKAN makes it e CKAN is an open-source DMS (data management system) for powering data hubs and data portals. CKAN makes it easy to publish, share and use data. It powers catalog.data.gov, open.canada.ca/data, data... github.com CKAN is the world’s leading .. 2023. 4. 6.
sqllineage https://github.com/reata/sqllineage GitHub - reata/sqllineage: SQL Lineage Analysis Tool powered by Python SQL Lineage Analysis Tool powered by Python. Contribute to reata/sqllineage development by creating an account on GitHub. github.com SQL Lineage Analysis Tool powered by Python Never get the hang of a SQL parser? SQLLineage comes to the rescue. Given a SQL command, SQLLineage will tell you .. 2023. 4. 6.
Open Source Database - Ranking https://ossinsight.io/collections/open-source-database/ Last 28 days / Monthly ranking of repos in this collection by stars, pull requests, issues. Historical Ranking by Popularity. mivus: Vector database built for scalable similarity search Milvus는 딥 뉴럴 네트워크와 기타 머신 러닝(ML) 모델에서 생성된 방대한 임베딩 벡터를 저장, 색인, 관리한다는 단 하나의 목표를 가지고 2019년에 만들어졌습니다. 입력 벡터에 대한 쿼리를 처리하도록 특별히 설계된 데이터베이스로서, 1조 개 규모의 벡터를 색인할 수 있습.. 2023. 4. 6.
Open Source Data Stack 이 기사에서는 모든 회사가 데이터 기반이 되는 데 필요한 핵심 오픈 소스 도구를 살펴보겠습니다. 통합, 변환, 오케스트레이션, 분석 및 ML 도구를 최신 개방형 데이터 스택에 대한 시작 가이드로 다룹니다. 최신 데이터 스택부터 시작하겠습니다. 그것에 대해 들어 보셨습니까 또는 그 용어가 어디에서 왔습니까? 다음은 데이터 용어집의 정의입니다. MDS(최신 데이터 스택)는 수집에서 ML, 분석 BI 대시보드 백엔드를 사용하여 열 형식 데이터 웨어하우스 또는 레이크 솔루션에 이르기까지 엔드 투 엔드 분석을 달성하기 위한 오픈 소스 도구 힙입니다. 이 스택은 레고 블록처럼 확장 가능합니다. 일반적으로 데이터 통합, 변환 도구, 오케스트레이터 및 비즈니스 인텔리전스 도구로 구성됩니다. 데이터가 증가함에 따라 데이.. 2023. 4. 3.
Data Mesh 와 Data Fabric 적용 구 다음은 데이터 메시(Data Mesh), 데이터 패브릭(Data Fabric) 및 데이터 가상화(Data Virtualization)의 차이를 표로 정리한 것입니다. 구분 데이터 메시(Data Mesh) 데이터 패브릭(Data Fabric) 데이터 가상화(Data Virtualization) 정의 조직 내 분산된 데이터 인프라 및 운영 모델 데이터 통합 및 품질 보증을 위한 프레임워크 여러 소스에서 데이터를 통합하여 가상 테이블 생성 특징 독립적인 도메인 팀이 데이터 소유 및 운영 분산된 데이터에 대한 일관된 접근 및 제어 물리적인 데이터 스키마와 독립적인 가상 스키마 데이터 소유 및 운영 도메인 팀이 데이터를 소유하고 운영 중앙 집중식 데이터 관리 및 운영 중앙 집중식 데이터 관리 및 운영 데이터 통합.. 2023. 3. 31.
윈도우 11에서 디스크 점유률(사용률)이 높을 때 디스크 검사를 실행하여 문제를 해결합니다. 검색창에 "cmd"를 입력하고, "명령 프롬프트"를 우클릭하여 "관리자 권한으로 실행"을 클릭합니다. "chkdsk /f /r"을 입력하고, 엔터를 누릅니다. "Y"를 입력하고, 엔터를 누릅니다. 컴퓨터를 다시 시작합니다. Windows Defender를 비활성화합니다. 검색창에 "Windows 보안"을 입력하고, "Windows 보안"을 클릭합니다. "방화벽 및 네트워크 보호"를 클릭합니다. "개인용 방화벽 및 보호 기능"을 클릭합니다. "Windows Defender 방화벽 사용 안 함"을 선택합니다. Windows Search 서비스를 비활성화합니다. 검색창에 "서비스"를 입력하고, "서비스"를 클릭합니다. "Windows Search"를 찾아 우클릭하고,.. 2023. 3. 23.