用上顶尖模型的能力，成本只要 1/10
可信、合规、可私有化的企业级网关，把 100+ 大模型混搭组合成更可靠、更省成本的 AI 能力。
from gatellm import Client
client = Client(api_key="your-key")
# 组合：便宜模型干大部分活，顶尖模型只用于关键步骤
workflow = client.compose([
{
"model": "deepseek-v3",
"task": "analyze",
"prompt": "分析这个需求的可行性"
},
{
"model": "claude-4-opus",
"task": "implement",
"prompt": "实现核心架构"
}
])已接入 100+ 大模型厂商
"在极高的合规管控要求下，GateLLM 不仅满足了我们的安全标准，其成本管控能力更是远超预期。成本优化本是我们的副产品需求，但最终效果让我们感到惊艳——月均 API 支出降低了 90% 以上。"—— 合规负责人 · 某顶尖投资机构
一个接口，混搭组合所有模型
从简单的模型路由到多模型混搭组合，GateLLM 提供完整的企业级能力。
多模型路由
一个接口调用所有模型。智能 fallback、负载均衡、自动重试。
- 100+ 大模型厂商统一 API
- 智能 fallback 路由
- 负载均衡与速率限制
组合
同一工作流中，不同步骤跑不同模型。规划用 Claude、写码用 DeepSeek、批量分类用小模型。
- 无缝衔接，无胶水代码
- 能力级兼容归一化
- 每个子任务用最合适的模型
聚合提质
一次调用扇出到 N 个模型，输出经投票/裁判/合并聚合。拿到单模型给不了的质量与可靠性。
- 多模型投票 / 裁判 / best-of-N
- 跨厂商冗余，单模型故障不影响整体
- 高风险/高价值调用专用
成本管控
预算管理、速率限制、团队成本归因。永不加收 Token 费用，BYOK 自带密钥。
- 按项目、按功能成本归因
- 软预算告警
- BYOK：直接向厂商支付标准价格
模型混搭组合：拿到单模型给不了的质量
组合是在一个流程里混用多款模型；聚合是在一次调用里聚合多款模型。两者都依赖底层的**能力归一化层**。
组合：一个流程里同时用多款模型
同一 Agent / 工作流中，不同步骤跑不同模型。网关在底层做能力级兼容归一化（tool calling、结构化输出、视觉、缓存、推理 token），所以组合没有集成税——不用为每个模型重写胶水代码。
- ✓每个子任务都用最合适的模型
- ✓无胶水代码，开发体验统一
- ✓无厂商锁定，自由切换
# 组合：规划 → 写码 → 审查，各用最合适的模型
workflow = client.compose([
{
"model": "claude-4-opus",
"task": "plan",
"prompt": "分析这个需求，输出实施计划"
},
{
"model": "deepseek-v3",
"task": "implement",
"prompt": "根据计划实现代码"
},
{
"model": "gpt-5",
"task": "review",
"prompt": "审查代码质量和安全性"
}
])聚合：一次调用聚合多款模型
一个逻辑调用扇出到 N 个模型；输出经投票/裁判/合并/best-of-N 聚合。集成效应超过任何单一模型，跨厂商冗余保障生产稳定性。
- ✓高风险/高价值调用的准确率提升
- ✓对单一模型波动的韧性
- ✓欺诈检测、医疗辅助、合规判断等场景 ROI 最清晰
5 分钟接入 GateLLM
三步完成从单模型到多模型混搭组合的升级，无需重写业务代码。
部署网关
Docker 一键启动，或 Kubernetes Helm 部署到私有环境。支持等保三级与信创环境。
配置密钥
BYOK 模式：填入你已有的各模型厂商 API Key，数据不出内网，不落库。
替换 Endpoint
将 OpenAI SDK 的 base_url 指向 GateLLM，即可用统一接口调用所有模型。
# 只需改一行：把 base_url 指向 GateLLM
from openai import OpenAI
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gatellm-api-key"
)
# 原有代码完全不用改，直接调用任意模型
response = client.chat.completions.create(
model="claude-4-opus", # 或 gpt-5, deepseek-v3, qwen-max...
messages=[{"role": "user", "content": "你好"}]
)能力归一化：让混搭组合与聚合成为可能
混搭组合与聚合都依赖底层的能力归一化层。我们解决了著名的"七个耦合点"问题——LiteLLM 只翻译 API 信封，我们保证能力一致。
Tool Calling 归一化
OpenAI / Anthropic / Gemini / 国产模型的 tool calling schema 各不相同。我们在底层统一抽象，让你写一次代码调用所有模型。
结构化输出兼容
每家用不同协议（strict JSON schema、json_mode、tool_use）。我们统一为一致的接口。
Prompt 缓存统一
Anthropic cache_control、OpenAI 自动缓存、Gemini context——各家机制不同。我们提供统一的缓存策略。
推理 Token 适配
o1 / Claude thinking / DeepSeek R1 输出格式不同。我们适配各家推理 token 协议。
多模态格式支持
vision / audio / 文件上传各家协议不同。我们统一多模态输入格式。
计费模型抽象
每家 pricing 结构不同。我们抽象为统一的成本追踪接口。
数据流向：不出内网，不落库
BYOK 模式下，API Key 仅存储在网关内存中，不落库、不传输。请求经网关路由后直达模型厂商官方 API，数据全程不出你的私有网络。
为什么是 1/10 的成本？
以日均 10 亿 token 的企业用户为例，看 GateLLM 如何把 API 支出从「全程顶尖模型」压到「混搭组合」。
| 方案 | 月 token 量 | 单价来源 | 月成本 | 相对基准 |
|---|---|---|---|---|
全程顶尖模型 (如 Claude Opus / GPT-4 级) | ~300 亿 | 厂商标准价 $15 / 1M input tokens | ~$450,000 | 100%（基准） |
GateLLM 混搭组合 + 缓存命中 + BYOK 无加价 | ~300 亿 | 便宜模型干 80% 粗活，顶尖模型只用于关键 20% + Prompt 缓存命中 | ~$45,000 | ~10%（1/10） |
省钱三来源：
- 1.BYOK 无 token 加价——你直接向厂商付标准价，GateLLM 不收中间差价；
- 2.组合——便宜模型干大部分活（分类、抽取、翻译），顶尖模型只用于关键步骤（规划、复杂推理）；
- 3.Prompt 缓存——高频调用命中缓存，单价再降 50%–90%。
数字为基于公开定价的示意模型，实际省钱幅度取决于业务场景与混搭比例。Pro 授权费 $750/台/月已包含在 GateLLM 方案内。
GateLLM vs LiteLLM
LiteLLM 侧重 API 信封翻译；GateLLM 在其上保证**能力一致**，并提供企业级管控。
| 能力 | GateLLM | LiteLLM |
|---|---|---|
| API 路由 / Fallback / 负载均衡 | ✓ | ✓ |
| BYOK 无 token 加价 | ✓ | ✓ |
| 能力归一化（七个耦合点解决） | ✓ 全量 | 部分 |
| Tool Calling 跨模型统一 | ✓ | ✗ |
| 结构化输出（JSON Schema）统一 | ✓ | ✗ |
| Prompt 缓存跨模型统一 | ✓ | ✗ |
| 推理 Token 适配（o1 / thinking） | ✓ | ✗ |
| 多模型组合（工作流） | ✓ | ✗ |
| 多模型聚合提质（投票/裁判/best-of-N） | ✓ | ✗ |
| 全私有化部署 / 数据不出内网 | ✓ | ✓ |
| 等保三级 / 信创适配 | ✓ | ✗ |
| SSO / SCIM（SAML / OIDC / 飞书） | ✓ | ✗ |
| 企业级支持（SLA / 优先响应） | ✓ | 社区 |
对比基于各产品 2026 年 7 月公开文档。LiteLLM 侧勾叉为示意，请以 LiteLLM 官方为准。
全私有化 · 按台授权 · 永不加收 Token 费用
BYOK（自带密钥），你直接向模型厂商支付标准价格。我们按「台数」授权收费，不按席位、不按 Token 加价。
免费版
全私有化 · 单 license
- ✓100+ 大模型路由 · Fallback · 负载均衡
- ✓融合 / 聚合提质（投票 · 裁判 · best-of-N）
- ✓Prompt 缓存
- ✓BYOK（自带密钥，无加价）
- ✓512MB 存储 · SQLite · 单 license 部署
- ✓日志不保留
能力
| 能力 | 免费版 | Pro | 企业版 |
|---|---|---|---|
| 多模型路由 · Fallback · 负载均衡 | ✓ | ✓ | ✓ |
| 融合 / 聚合提质（投票 · 裁判 · best-of-N） | ✓ | ✓ | ✓ |
| Prompt 缓存 | ✓ | ✓ | ✓ |
| BYOK（自带密钥，无加价） | ✓ | ✓ | ✓ |
| 存储 / 数据库 | 512MB · SQLite | 可扩展 | 可扩展 |
| 部署规模 | 1 license | 多 license 阶梯折扣 | 多节点 / 集群 |
| 日志保留 | 不保留 | 保留 | 更长保留 |
| SSO / SCIM | — | ✓ | ✓ |
| 合规（等保三级 / 信创 / 审计 / DLP） | — | — | ✓ |
| 支持响应 | 社区 | 邮件 / 工单 | 优先响应 |