场景描述
AI 网关能够将外部调用不同大模型的请求,通过统一的调用方式转发到内部对应的大模型上,使得后端模型调度更加灵活;Higress AI 网关支持常用的100多个模型的统一协议转换,并支持模型级 Fallback 。
实践描述
在大模型评测过程中,多模型代理功能可以构造统一数据集,将模型请求转发到后端模型,验证模型的效果;结合可观测插件,能够清晰地追踪不同模型的链路。
场景描述
AI 网关能够将外部调用不同大模型的请求,通过统一的调用方式转发到内部对应的大模型上,使得后端模型调度更加灵活;Higress AI 网关支持常用的100多个模型的统一协议转换,并支持模型级 Fallback 。
实践描述
在大模型评测过程中,多模型代理功能可以构造统一数据集,将模型请求转发到后端模型,验证模型的效果;结合可观测插件,能够清晰地追踪不同模型的链路。