前言

使用大模型 API 的成本由多个环节构成，不只是 token 单价本身。缓存未命中导致的重复计费、连接中断导致的响应丢失、以及定价本身的空间，都是实际影响账单的因素。

Poixe 在这三个方向上分别做了对应的优化。以下逐一说明。

一、缓存亲和性路由：减少重复的 token 计费

问题

主流模型提供商（Anthropic Claude、Google Gemini、OpenAI GPT 等）支持 Prompt Caching：当连续请求携带相同的前缀内容时，上游会缓存这部分 token，后续请求按缓存价格计费，通常为正常价格的 10% 左右。

但在 API 网关场景下，传统的负载均衡会将请求分散到不同渠道。第一次请求在渠道 A 建立的缓存，第二次请求被路由到渠道 B，缓存无法命中。请求被打散，缓存也就失效了。

方案

Poixe 上线了缓存亲和性路由（Cache Affinity Routing）。对于支持 Prompt Cache 的模型，系统会在一定时间窗口内将同一用户的请求固定路由到同一渠道，使上游缓存得以连续积累和命中。

窗口到期后，绑定自动解除，下次请求重新进入正常的权重分配流程。如果绑定的渠道在窗口期内发生错误（如限流、超时），系统会立即解除绑定并降级到常规负载均衡，不影响可用性。

效果

以携带长 System Prompt 的多轮对话为例，首次请求完整处理所有输入 token，后续请求的前缀部分命中缓存，按缓存价格计费。对于高频、长上下文的使用场景，token 费用的下降是直接可观的。

用户无需任何配置，系统对支持缓存的模型自动启用。

相关文档：提示词缓存（缓存亲和性路由）

二、中断响应找回：避免因连接断开造成的重复计费

问题

AI 模型的推理请求通常耗时较长，尤其是长输出、复杂工具链或深度思考场景。在 API 网关的架构中，请求链路涉及客户端、CDN、网关、上游多个节点，任何一个环节的连接中断都可能导致客户端收不到响应。

关键在于：上游模型可能已经完成了推理并产生了计费，但响应结果在回传途中丢失了。如果用户因此重新发起请求，就会产生双倍的费用。

这种情况在非流式请求（stream=false）中尤为常见——响应是一次性返回的，连接断开意味着整个结果丢失。

方案

Poixe 提供了 Recoveries（中断响应找回）机制。当非流式请求发生连接中断时，系统会自动将该次请求的完整响应暂存，用户可以在事后通过接口找回结果，而不必重新发起请求。

找回流程：

1. 系统检测到连接中断，自动暂存请求与响应数据
2. 用户通过日志页面或 API 获取对应的 request_id
3. 调用 GET /v1/recoveries/{request_id} 取回完整响应

暂存记录默认保留 3 天，到期自动清理。用户也可以主动删除。

效果

对于因网络波动、CDN 超时等原因导致的响应丢失，用户不再需要盲目重试。先查询是否有暂存记录，确认上游未完成后再重试，避免了不必要的重复计费。

相关文档：中断响应找回（Recoveries）

三、供应商入驻与折扣定价：从源头降低单价

背景

市场上存在大量闲置的 AI API 额度。企业采购了年度配额但用量不及预期，开发者测试完项目后额度仍有剩余，研究机构的账号配额存在富余——这些资源如果不被使用，就是纯粹的沉没成本。

机制

Poixe 通过供应商入驻机制回收这些闲置额度。持有 OpenAI、Anthropic、Gemini、Azure、DeepSeek 等平台 API 资源的供应商，可以将额度接入 Poixe 平台，由平台统一调度和分发。

供应商自主定价，平台负责流量分配、计费和结算。由于这些额度的边际成本低于官方直接采购价，最终面向用户的定价可以在官方价格基础上提供折扣。

效果

用户在调用相同模型、获得相同质量响应的前提下，实际支付的 token 单价低于直接向上游采购的价格。折扣幅度取决于具体模型和当前供应情况，用户可以在平台的模型定价页面查看实时价格。

供应商申请：供应商入驻

总结

三个方向，对应三种不同的成本来源：

这些机制独立生效，叠加使用。用户不需要修改现有的调用方式，也不需要额外配置。

Poixe AI 官网：https://poixe.com