场景描述
AI 网关能够对大模型使用的 Token 数量进行追踪，在消费者使用超额时进行限制，从而更好管理调用 AI 应用的用户额度，为 Token 使用分析提供数据支持。
实践描述
令牌限流场景基于消费者认证、Token 限流、Token 配额插件，集合可观测能力，将 Token 资源转化为可量化、可管控、可优化的服务单元，基于自定义的策略，保障高并发下服务的稳定性、安全性与公平性。
场景描述
AI 网关能够对大模型使用的 Token 数量进行追踪，在消费者使用超额时进行限制，从而更好管理调用 AI 应用的用户额度，为 Token 使用分析提供数据支持。
实践描述
令牌限流场景基于消费者认证、Token 限流、Token 配额插件，集合可观测能力，将 Token 资源转化为可量化、可管控、可优化的服务单元，基于自定义的策略，保障高并发下服务的稳定性、安全性与公平性。
