LiteLLM

LiteLLM 是什么？

LiteLLM（https://www.litellm.ai/）是一个面向多模型调用的网关与 SDK，主打“OpenAI 兼容接口 + 多供应商统一接入”。它支持将不同模型供应商的差异封装成统一 API，并提供路由、重试、降级、预算与可观测能力，便于团队在生产环境中稳定使用大模型。开源仓库位于（https://github.com/BerriAI/litellm）。

LiteLLM 的核心价值在于“把模型调用当成基础设施”。对于需要同时接入 OpenAI、Anthropic、Google、Azure、开源模型等多家供应商的团队，LiteLLM 可以统一鉴权、请求格式与日志，减少应用端复杂度。它还提供基于策略的路由、Fallback 与速率限制等能力，使调用更稳定可控。

文档与快速开始可在（https://docs.litellm.ai/）查看，支持本地部署或云端托管两种模式。

LiteLLM 的核心功能或服务

1. OpenAI 兼容接口：应用侧保持 OpenAI 调用方式，后端可灵活替换模型供应商。
2. 多模型路由与降级：根据策略自动选择模型、设置优先级与失败回退。
3. 统一鉴权与日志：集中管理 API Key、请求日志与响应追踪。
4. 预算与成本控制：对调用成本进行统计与限额，降低超支风险。
5. 自托管与云端托管：支持私有化部署，也提供托管服务选项。

LiteLLM 的适用场景

1. 多模型平台建设：需要统一接入多家模型的企业或平台。
2. 成本优化：按任务自动路由到最合适的模型，控制成本。
3. 可靠性要求高的应用：通过重试、降级与路由策略提高稳定性。
4. 监控与审计：对调用日志、用量与响应质量进行集中管理。

如何使用 LiteLLM

1. 访问官网了解能力与部署方式：（https://www.litellm.ai/）。
2. 按文档安装 SDK 或部署网关：（https://docs.litellm.ai/）。
3. 配置模型供应商的 API Key 与路由策略。
4. 通过 OpenAI 兼容 API 发送请求并观察日志与成本。
5. 持续调整路由与预算策略以优化效果与费用。

LiteLLM 的价格

1. 开源版可免费使用：核心网关与 SDK 开源可用。
2. 云端托管按官方计费：如使用托管服务，价格以官网为准。
3. 模型调用费用由供应商计费：实际推理费用取决于所选模型与提供商。

LiteLLM 常见问题

1. LiteLLM 能替代 OpenAI SDK 吗？

可以。它提供 OpenAI 兼容 API，应用侧调用方式基本一致。

2. 是否支持自托管？

支持。可在自有服务器或容器环境中部署 LiteLLM 网关。

3. 如何实现自动降级？

通过配置路由与优先级策略，在主模型失败时回退到备用模型。

4. 能否统一管理多个团队的 Key？

可以。LiteLLM 提供集中鉴权与日志能力，便于统一管理。

5. 是否适合生产环境？

适合。其定位就是生产级模型调用网关与可观测层。