Prepaid
先充值，再消耗
余额来自可审计账本；余额耗尽后，新的模型请求被预算层阻止。
一套 API 入口，统一管理模型、密钥、余额、用量与账单；底层继续复用成熟的 LiteLLM 模型数据面。
Tokener.ai 让团队用熟悉的 SDK，经过一个统一入口访问多个模型，并在调用前后完成资金与治理闭环。
余额来自可审计账本；余额耗尽后，新的模型请求被预算层阻止。
提供 OpenAI 与 Anthropic 兼容路径，不要求客户引入新的客户端库。
从创建访问凭证，到查看按天、模型、密钥聚合的消费，都在 Console 完成。
不是把供应商后台重新包装一遍，而是围绕组织、余额和 Tokener API key 重新组织体验。
注册、登录、邮箱验证、Google OAuth 与组织上下文。
购买预付额度、查看余额、账本、购买记录与账单入口。
创建时仅展示一次；异步激活、状态同步、限额调整与吊销。
查看可用模型、价格与文档；仅展示 Tokener 管理的公开模型。
按日期、模型、密钥查看用量趋势、聚合与消费热力图。
按 24h / 7d 过滤并分页查询，使用 request ID 定位问题。
Console 不代理模型请求；Gateway 也不查数据库。热路径只负责协议、安全边界与流式透传。
只替换 base_url 与 API key。
请求 ID、头清理、错误协议、并发边界与 SSE 透传。
密钥与预算执行、路由、回退、限流、供应商适配与计费源数据。
由 LiteLLM 选择实际部署并发起调用。
POST /v1/chat/completions · POST /v1/responses · POST /v1/embeddings · POST /v1/messages · GET /v1/models
浏览器和运营流量进入产品控制面；SDK 模型流量只经过 Gateway 与 LiteLLM。数据库不在模型调用热路径上。
官网、文档、公开模型目录
账号、充值、余额、密钥、用量
内部运营、上游、客户与风控
命令、同步、导入、结算、对账、重试
支付、退款、账单与 Webhook
公开协议、请求身份、错误与流式边界
密钥预算、模型路由、回退与供应商适配
实际模型推理与响应
产品品牌是 Tokener.ai；ai-gateway 只是内部代码仓库名。
官网、模型展示、多语言文档、搜索与 SEO。运行时读取公开模型目录。
登录、充值、余额、密钥、模型、用量、日志，以及 Stripe Webhook 入口。
内部模型、上游、客户、退款、风控与人工调整；OIDC + 角色权限。
支付后处理、密钥与预算同步、用量导入、结算、对账与重试。
无状态 Rust facade；负责五条公开模型路径和稳定协议边界。
billing、keys、catalog、usage、upstreams、auth、db、litellm、design。
两者不是重复实现。多一跳换来的是Tokener 对公开 API 的长期所有权，以及后端数据面可演进而不改客户接入。
所有模型调用由现有 LiteLLM 数据面执行。
只有容量、可靠性、计费与运营门槛通过，才引入原生执行 lane。
可混合运行，也可在完整 cutover 后替换；不是按日期重写。
最关键的架构选择：账本是计费事实，LiteLLM budget 是执行层；两者最终一致并持续对账。
| 能力 | Tokener.ai 负责 | LiteLLM 负责 |
|---|---|---|
| 客户产品 | 用户、组织、充值、余额、账本、计划与账单 | 不负责 |
| 访问凭证 | Tokener key 生命周期、限额意图与审计 | virtual key / team / budget 执行 |
| 模型商品 | 公开目录、价格展示、可用性与托管部署意图 | 供应商调用、实际部署与模型协议 |
| 请求执行 | Gateway 稳定公开协议与透传边界 | 路由、回退、限流、流式、供应商适配 |
| 用量与计费 | 导入、结算、聚合、客户展示与对账 | 原始 spend / usage 数据源 |
| 运行时生命周期 | 只连接现有 LiteLLM，不部署或升级它 | 独立运行与扩缩容 |
外部写入都可能重试，所以状态先持久化，再由 Jobs 异步推进；成功跳转页本身绝不发放额度。
客户完成 checkout。
验签、去重、持久化、快速返回。
Jobs 发放额度并更新余额投影。
持久命令创建 LiteLLM team / key。
LiteLLM 在请求路径阻止超额消费。
导入 spend，记账、聚合并对账。
先记录 desired state，再执行外部写入；失败可重试、可观察。
Stripe event、支付标识、账本来源和游标约束避免重复入账。
账本、预算、用量不是假装强一致，而是用同步与对账收敛。
交互产品用 Next.js；领域状态用 TypeScript 包；高吞吐热路径用 Rust；事实统一落 PostgreSQL。
Console 与 Gateway 可横向扩展；Gateway 不持有数据库、供应商密钥或 LiteLLM admin key，也不重试模型请求。
Jobs 用行锁、唯一约束、游标、版本确认与退避，保证 at-least-once 下仍然幂等。
账本 append-only，余额走投影；支付跳转不入账，Webhook 事件和外部操作都有稳定身份。
只有 Jobs 能调用 LiteLLM Admin API；只有 Gateway 服务模型路径；Admin 不暴露公网模型入口。
$ curl api.tokener.ai/v1/chat/completions \
-H "Authorization: Bearer tk_…" \
-d '{
"model": "gpt-4.1-mini",
"messages": [{
"role": "user",
"content": "hello"
}],
"stream": true
}'
HTTP/2 200
x-request-id: req_…
data: {"choices":[…]}