作者：古建国 一、关于美洽 美洽作为全球智能云客服服务商，10 年来深耕智能客服领域，旗下拥有在线客服、呼叫中心、客服机器人、工单系统、语音机器人等智能客服系列产品矩阵，覆盖不同行业客户服务场景，致力于帮助企业获客、销售和服务场景的效率提升。目前，美洽全链路产品已经服务超过 40 万家企业客户，覆盖互联网软件、教育培训、医疗、电子商务、金融、生活服务和房地产等行业领域。 二、需求背景 1. 多条业务线使用了了不同编程语言，在微服务化演进的路上困难重重； 2. 历史架构使用多个流量转发中间件导致流量路径冗长、复杂且故障排查困难（LB + OpenResty + Nginx + Cadd...

作者介绍：王金山，北京云思畅想科技有限公司技术部微服务架构师，负责公司 API 网关和服务网格等研发工作 一、时速云介绍 时速云成立于2014年10月，致力于通过云原生技术帮助企业实现数字化转型，拥有云原生应用平台 TCAP 和云原生数据平台 KubeData 两大核心产品体系，产品包含云原生 DevOps、容器云 PaaS、中间件服务、边缘计算、微服务治理、服务网格、API 网关等。 二、需求背景 时速云的 PaaS 平台中存在着多款网关软件： 以 HAProxy、Nginx Ingress 为基础的流量网关 Spring Cloud 微服务体系的 Spring Cloud G...

一、前言 在去年11月的云栖大会上，我们开源了云原生网关 Higress，时隔 2 月，Higress 的 Github 项目(https://github.com/alibaba/higress)已经收获了 700+ star，以及大量社区小伙伴的关注。在社区的交流中我们发现有不少微服务开发者在使用如 Spring Cloud Gateway/Zuul 等微服务网关对接 Nacos 注册中心实现微服务的路由，并且希望了解迁移到 Higress 网关能带来哪些好处。 本文将介绍 Higress 组合 Nacos 作为微服务网关能力，并介绍微服务网关发展的两个趋势，为网关的选型指明道路： ...

随着AI时代到来，基于大模型的应用对网关提出了新的要求，例如在不同LLM提供商之间进行负载均衡、构建AI应用的可观测能力、基于token的限流保护与配额管理、AI应用内容安全等等。Higress基于企业内外的丰富场景沉淀了众多面向AI的功能，推出了AI原生的API网关形态并且全部开源。 是一个开源的前端项目，用于提供大模型聊天窗口，支持接入多种大模型，本文基于Higress、通义千问以及 ChatGPTNextWeb，演示 Higress 如何兼容 openai 协议，并逐步搭建一个体系完整的LLM应用，应用最终架构如图所示： AI 代理 官方文档： 应用架构 首先，我们先通过网关快速...

OpenAI 国内停服，除了各个大模型厂商提供的迁移方案外，是否有其他更平滑的迁移方案呢？本文以 OpenAI 切换到通义千问为例，介绍开源网关 Higress 的应对方案。优势是： 默认按照模型价格和能力进行了合理映射，且支持用户自定义调整配置 可以通过 OpenAI 的统一协议对接多种大模型，屏蔽实现细节，降低接入新大模型的 API 适配成本 Higress 可以提供 token 限流插件、内容审核插件，通过网关的工程化能力实现业务收益 实操视频 步骤介绍 准备工作：需要登陆阿里云 第一步：启动 Higress AI 网关 Higress 有多种部署方式，例如...

基于大模型的 AIGC 应用或 SaaS 服务，出现了全新的需求，例如对 LLM 结果的缓存、多个 LLM 之间的容错切换、基于 toke 的限流、内容审核等，通过在网关上的插件能力可以非常优雅的满足这些需求，形成统一的流量治理，从而避免后端服务的“负重”。 一、新版本简介 Higress 发布 v1.4，基于为通义千问，以及多家云上 AGI 厂商客户提供 AI 网关的积累沉淀，开源了大量 AI 原生的网关能力。同时也在 Ingress、可观测、流控等云原生能力上做了全方位升级。AI能力全面开源：提供包含安全防护、多模型适配、可观测、缓存、提示词工程等领域在内的多个开箱即用插件，核心能力例...

引子 OpenAI 发布了最新的 GPT4o 模型，通义千问也在前不久刚发布通义千问 2.5，已经和 GPT4Turbo 不分伯仲： 既然目前还没有和 GPT4o 文本生成能力的对比数据，就让我们来和大模型一起做个游戏测试一下： 我们让通义千问 2.5 扮演 GPT4，来和真正的 GPT4 进行问答 PK，读者不妨来猜一猜谁是通义千问。 两名选手的头像和昵称分别是： 🌝 ：我是GPT4 🌚 ：如假包换GPT4 谁是通义千问，谁是ChatGPT，答案将在文末揭晓。 Round 1 第一轮由“我是GPT4”选手提问，由“如假包换GPT4”选手作答 🌝：角...

背景说明 前面 SJC 在中介绍了如何在本地开发和调试 Higress Controller。而 Higress 控制面除了 Controller 之外还有一个组件，那就是 Pilot。本文就将介绍如何在本地开发和调试 Higress Pilot。 环境准备 步骤一：克隆代码仓库 Pilot 的代码目前是以 Istio 上游仓库 submodule 加补丁文件的形式存在于 Higress 的主仓库中的，所以直接克隆 Higress 的代码主仓库 https://github.com/alibaba/higress 即可。 步骤二：准备项目代码 Higress Pilot 是...

概述 本文旨在介绍如何在本地使用 IDE 来进行 Higress 控制台（以下简称控制台）的开发和调试工作。 代码结构 控制台的代码仓库地址为 。 控制台项目使用了前后端分离的架构。在将代码下载到本地后，我们可以看到整个项目主要由以下三个目录组成：backend、frontend 和 helm。它们也分别对应了项目的三个部分：后端、前端和部署。 Backend：后端部分 后端部分是一个使用 Maven 构建配置的 Java 项目，其中共有两个模块：sdk 和 console。 SDK sdk 中包含了定义了 Higress 治理平面的核心数据模型和业务逻辑，如路由模型、...