litellm
LiteLLM 是 Rust 核心构建的高性能 AI 网关，支持以 OpenAI 统一格式调用 100+ LLM API，集成成本追踪、流量防护、负载均衡和日志审计功能。采用 Rust 加速路由层，Python SDK 负责业务对接，适合需要统一管理多源大模型调用成本和稳定性的工程团队。
信号分 96 · AI 工具 · 59,803 stars
查看来源每日简报
LiteLLM：用 Rust 网关统一管理 100+ 大模型调用
面对多云部署、多模型混用的现状，如何避免散落的直连代码成为技术债？LiteLLM 给出了用统一网关层收口所有 LLM 调用的方案。
明确结论
LiteLLM 的核心价值在于将 OpenAI SDK 的调用习惯复制到 Bedrock、Azure、VertexAI、Anthropic、vLLM、Nvidia NIM 等 100+ 接口上，团队无需为每个模型维护独立的 SDK 依赖和异常处理逻辑。Rust 核心负责路由和负载均衡，Python SDK 负责业务对接，这种分层设计兼顾了性能与灵活性。5,389 个 open issues 既是活跃度的证明，也提醒我们其功能迭代频繁，升级前应仔细阅读 changelog，避免意外破坏性变更。对于已有 LangChain 集成的存量项目，LiteLLM 可作为旁路网关逐步迁移，降低对核心链路的冲击。建议先用单个模型验证成本追踪和 guardrails 配置，确认符合预期后再扩大接入范围。
今日推荐工具
onyx
Onyx 是开源的企业级 AI 知识库平台，基于 Next.js 前端和 Python 后端构建，支持私有化部署、对话式检索和 RAG 向量搜索，可对接任意 LLM 提供商，适合需要将内部文档库 AI 化的组织。
信号分 96 · RAG / 知识库 · 32,272 stars
查看来源sim
Sim 是低代码 AI Agent 工作流平台，基于 TypeScript/React/Next.js 构建，支持拖拽编排多 Agent 协作流程，对接 Anthropic、DeepSeek、Gemini、OpenAI 等主流模型，目标用户是希望快速落地 AI 自动化业务流程的构建者。
信号分 96 · 智能体 / 自动化 · 29,745 stars
查看来源