← ToolPulse AI

工具档案

litellm 是什么？

LiteLLM 是 Rust 核心构建的高性能 AI 网关，支持以 OpenAI 统一格式调用 100+ LLM API，集成成本追踪、流量防护、负载均衡和日志审计功能。采用 Rust 加速路由层，Python SDK 负责业务对接，适合需要统一管理多源大模型调用成本和稳定性的工程团队。

AI 工具 最佳信号分 96 59,803 stars

ToolPulse 结论

该仓库当前有 59,803 stars，在 AI 网关类目中用户规模领先，但同时存在 5,389 个 open issues，版本维护压力较大。从 topics 看，它覆盖 ai-gateway、llm-gateway、mcp-gateway 三个细分方向，覆盖 Bedrock、Azure、VertexAI 等企业级云厂商接口，支持 vLLM 和 Nvidia NIM 说明对私有部署场景也有覆盖。Rust 核心保障了路由延迟，适合作为中台层统一接入多模型，替代散落在各处的直连调用代码。对于已有 LangChain 集成的团队，litellm 提供了更轻量的旁路方案。需要注意的是，高 stars 伴随高 issues 量，升级大版本时需关注 breaking change 日志。

Rust 核心提供亚毫秒级路由延迟 覆盖 AWS/Azure/GCP 三大云厂商 LLM 接口 5,389 个 open issues 显示社区活跃但维护压力大

历史推荐记录

来源证据

ToolPulse AI 的判断基于公开仓库信息、项目描述、近期更新、GitHub stars 和工具分类信号。

打开原始项目