LiteLLM - 다양한 LLM API 통합 관리

(본 게시물은 ChatGPT를 통해 작성되었습니다.)

https://www.litellm.ai

LiteLLM

 

LiteLLM은 다양한 LLM(대형 언어 모델) API를 통합하여 쉽게 사용할 수 있도록 도와주는 Python 라이브러리입니다. OpenAI API와 호환되도록 설계되어 있어, OpenAI, Anthropic(Claude), Google(Gemini), Mistral, Cohere, Ollama 등의 다양한 모델을 같은 방식으로 호출할 수 있습니다.

Demo

• Username: admin
• Password: sk-1234

Demo UI

LiteLLM Dashboard

 

https://github.com/BerriAI/litellm

GitHub - BerriAI/litellm: Python SDK, Proxy Server (LLM Gateway) to call 100+ LLM APIs in OpenAI format - [Bedrock, Azure, OpenA

Github 보시고 아래는 참고만 해주세요.

---

1. LiteLLM의 주요 기능

1. 다양한 LLM 지원

• OpenAI (gpt-4, gpt-3.5-turbo 등)

• Anthropic (claude-3, claude-2 등)

• Google (gemini-1.5, gemini-pro 등)

• Mistral (mistral-7b, mixtral-8x7b 등)

• Cohere, Ollama, DeepInfra 등 다수의 AI 모델 지원

2. OpenAI API와 완벽한 호환

• 기존 OpenAI API를 사용하던 코드를 그대로 활용 가능

• 예제 코드:

import litellm
response = litellm.completion(model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hello, how are you?"}])
print(response['choices'][0]['message']['content'])

 

3. 백엔드 자동 라우팅 및 로드 밸런싱

• 여러 개의 API 키를 설정하여 부하 분산 가능

• 비용 절감을 위해 무료 API 또는 저비용 API를 우선적으로 사용할 수도 있음

4. Self-Hosted (자체 호스팅) 지원

• LiteLLM Proxy를 사용하여 자체 호스팅 가능

• 로컬 LLM 서버를 구축할 때 유용

5. 비용 절감 및 API 최적화 기능

• 사용자가 설정한 API 우선순위 및 비용 기준에 따라 최적의 모델을 선택하여 호출

6. LangChain 및 LlamaIndex 지원

• LangChain, LlamaIndex 등과 쉽게 통합 가능

 

---

2. LiteLLM 설치 및 사용법

1) 설치

pip install litellm

2) 기본 사용법 (OpenAI API처럼 사용 가능)

import litellm

response = litellm.completion(
    model="gpt-3.5-turbo",
    messages=[{"role": "user", "content": "What is LiteLLM?"}]
)

print(response['choices'][0]['message']['content'])

3) 다양한 모델 활용

response = litellm.completion(
    model="claude-3",  # Claude 모델 사용
    messages=[{"role": "user", "content": "Tell me a joke!"}]
)

---

3. LiteLLM Proxy (자체 호스팅)

LiteLLM Proxy를 사용하면 API 요청을 자체 서버에서 관리할 수 있습니다.

1) LiteLLM Proxy 설치

pip install litellm[proxy]

2) Proxy 서버 실행

litellm proxy --openai-api-key "your_openai_api_key"

이제 OpenAI API 호출을 LiteLLM Proxy를 통해 할 수 있습니다.

---

4. LiteLLM과 LM Studio의 차이점

항목LiteLLMLM Studio

주요 기능	여러 API 통합, OpenAI 호환	로컬 모델 실행 및 API 제공
설치 방식	Python 라이브러리	GUI 기반 소프트웨어
모델 지원	OpenAI, Claude, Mistral 등 클라우드 모델	Ollama 및 로컬 모델 (GGUF)
주요 용도	API 통합 및 비용 최적화	로컬 LLM 실행

✅ LiteLLM은 클라우드 기반 API 호출을 쉽게 관리하는 도구

✅ LM Studio는 로컬에서 LLM을 실행하고 API를 제공하는 도구

LiteLLM을 LM Studio와 함께 사용하면 로컬과 클라우드 모델을 조합하여 활용할 수 있습니다.

 

---

결론

• LiteLLM은 OpenAI API와 유사한 방식으로 다양한 LLM을 사용할 수 있도록 해줌

• 여러 API를 하나의 인터페이스에서 관리할 수 있어 비용 절감과 성능 최적화 가능

• LiteLLM Proxy를 활용하면 자체 API 서버도 운영 가능

• LM Studio와 함께 사용하면 로컬 및 클라우드 LLM을 혼합 운영 가능