国泰所有访问大模型的流量均通过阿里云云原生 API 网关进行代理，在日均消耗近亿 Token 的同时，做到了对每个请求都进行敏感信息过滤，不论是输入大模型的内容还是由大模型产生的内容都进行了全面审计，大大降低使用大模型的数据安全风险。

在 API 对外进行暴露的时候，零一万物遇到了所有 AI 厂商都会遇到的长连接、高延时、大带宽、限流稳定性，以及 Token 计量计费的问题。通过云原生 API 网关的插件热更新能力、细颗粒度的集群限流能力、流式处理能力、丰富的可观测能力，解决了这些问题。

Ingress-Nginx 对 GRPC 长连接服务访问支持的并不好，切换到 Higress 网关不仅能够解决了客户的模型推理服务为长连接会话访问的场景还解决了网关配置更新及扩缩容带来的链接断开的稳定性问题。

higress在开源的wasm client上做了封装，更方便开发者做插件的开发，比如做了插件生效的范围控制，并且社区已有很多插件能力可以直接使用。higress在多数据源这块集成了多种主流注册中心，这些能力可以直接复用，不用重复建设。