今天我们推送了一版更新,围绕流式接口响应的稳定性与交互体验进行了修复与优化。本次更新聚焦于两个关键点:
- Claude 模型流式响应修复
- Azure ChatGPT 模型流式体验优化
Claude 模型流式响应修复:过滤心跳包,解决兼容性问题
Poixe AI 的 Claude 模型采用了 Anthropic 官方提供的 OpenAI 适配的接口协议,而该协议下的流式输出,容易因响应中带有类似 "type": "ping"
的心跳包而导致部分前端对话框架(如 ChatGPT UI、Chatbox 等)解析失败,甚至中断会话。
我们已在系统中完成了相关修复,新增了对 Claude 模型流数据的识别与过滤机制,自动剔除非内容型心跳片段,从而确保流式数据连续性与兼容性。
Azure ChatGPT 模型流式体验优化:自适应流控,提升“丝滑感”
Azure OpenAI 的 ChatGPT 系列模型在默认流式响应中,存在明显的“成批吐字”现象,影响终端用户的阅读与交互体验。为此,我们新增了一层自适应缓冲层,并基于历史吞吐速率与缓冲区状态设计了一套自适应流控机制,以实现更平滑、均匀的数据推送。
该机制具备以下特性:
- 平滑输出:模拟“打字机式”的连续字符推送,提升人机交互自然感;
- 速率自调:根据实时数据量动态调整发送间隔,兼顾响应效率与可读性;
- 最坏延迟控制:限定最大响应间隔,确保整体延迟始终控制在合理范围内。
这项优化使得 Azure 渠道下的 ChatGPT 模型,在延迟降低的同时,拥有更加连贯自然的输出体验,适配更多终端应用场景。
效果演示
如您在使用过程中有任何问题或建议,欢迎通过 Poixe 官网 与我们联系。我们将持续打磨每一个细节,致力于为开发者与终端用户提供稳定、高效、优雅的 AI 接口体验。