본문 바로가기

IT130

Milvus open source vector database Milvus는 2019년에 만들어졌으며, 딥 뉴럴 네트워크 및 기타 머신 러닝(ML) 모델에서 생성된 대량 임베딩 벡터를 저장, 인덱싱 및 관리하는 것을 목표로 합니다. 입력 벡터에 대한 쿼리를 처리하기 위해 특별히 설계된 데이터베이스로, 조작 가능한 벡터를 1조 단위로 인덱싱할 수 있습니다. 기존 관계형 데이터베이스가 사전 정의된 패턴을 따르는 구조화된 데이터를 처리하는 데 주로 사용되는 반면, Milvus는 비구조화된 데이터에서 변환된 임베딩 벡터를 처리할 수 있도록 로우레벨 수준에서 설계되었습니다. 인터넷이 성장하면서 비구조화된 데이터가 점점 더 많아졌습니다. 그 예로는 이메일, 논문, IoT 센서 데이터, Facebook 사진, 단백질 구조 등이 있습니다. 이러한 데이터를 컴퓨터가 이해하고 처리할.. 2023. 4. 17.
Pinecon - Long-term Memory for AI Pinecone는 고성능 벡터 검색 어플리케이션을 쉽게 만들 수 있게 해주는 관리형 클라우드 벡터 데이터베이스입니다. 사용하기 쉬운 API와 인프라에 대한 걱정 없이 초저지연 쿼리 처리와 라이브 인덱스 업데이트, 메타데이터 필터링 등 다양한 기능을 제공합니다. Pinecone는 텍스트, 이미지, 제품 추천 등 다양한 분야에서 사용할 수 있으며, 벡터 검색 기능은 전통적인 키워드 기반 검색 방법과는 다르게, 벡터 임베딩을 이용해 데이터를 처리합니다. 이를 통해, 검색 쿼리와 가장 유사한 항목을 찾아내는데, 이 때 벡터 임베딩이 필요합니다. Pinecone는 밀집 임베딩과 희소 임베딩을 모두 지원합니다. Pinecone를 이용하면, 텍스트 데이터를 변환하여 검색, 질문에 대한 답변을 생성, 이미지 유사도 검.. 2023. 4. 17.
DataHub: The Metadata Platform for the Modern Data Stack https://github.com/datahub-project/datahub GitHub - datahub-project/datahub: The Metadata Platform for the Modern Data Stack The Metadata Platform for the Modern Data Stack. Contribute to datahub-project/datahub development by creating an account on GitHub. github.com DataHub is an open-source metadata platform for the modern data stack. Read about the architectures of different metadata systems.. 2023. 4. 6.
CKAN: The Open Source Data Portal Software https://github.com/ckan/ckan GitHub - ckan/ckan: CKAN is an open-source DMS (data management system) for powering data hubs and data portals. CKAN makes it e CKAN is an open-source DMS (data management system) for powering data hubs and data portals. CKAN makes it easy to publish, share and use data. It powers catalog.data.gov, open.canada.ca/data, data... github.com CKAN is the world’s leading .. 2023. 4. 6.