Blog Background
社区 / 博客
博客
全部文章 技术文章 生态文章 最佳实践 社区活动
从体验到系统工程|上手评测国内首款 AI 电商 APP
作者:望宸 产品界面,往往体现了产品的设计哲学,界面是产品的第一入口。 近期,1688 推出了 1688 AI APP,这貌似是国内第一个电商领域的独立 AI APP 应用(若不是,欢迎评论指正)。本文试图通过产品界面这一入口,窥探其背后的系统工程。(笔者并非就职于 1688 团队,仅从一位 1688 普通用户的视角做些体验评测)。 1688 在 AI 领域的技术实践,推荐阅读阿里巴巴高级算法专家张进的这篇分享: 产品界面即用户认知:1688 APP 和 1688 AI APP 的不同 在软件产品的演化史中,首页界面往往折射出产品的设计哲学。对比 1688 App 和 1...
CH3CHO | 2025-08-08
从体验到系统工程|上手评测国内首款 AI 电商 APP
Higress v2.1.6:31 项引擎更新 + 12 项控制台更新
Higress 本次发布概览 本次发布包含 31 项更新,涵盖了功能增强、Bug修复、性能优化等多个方面。 更新内容分布 + 新功能: 13项 + Bug修复: 5项 + 重构优化: 7项 + 文档更新: 6项 重点关注 本次发布包含 2 项重要更新,建议重点关注: + feat: Add Higress API MCP server (): 新增的Higress API MCP服务器功能增强了AI Agent对Higress资源的管理能力,支持通过MCP进行路由和服务的增删改查操作,提升了系统的灵活性和可维护性。 + Migrate WASM Go Plugins to N...
CH3CHO | 2025-08-06
Higress v2.1.6:31 项引擎更新 + 12 项控制台更新
不增加 GPU,首 Token 延迟下降50%|LLM 服务负载均衡的新实践
作者:钰诚 简介 传统的负载均衡算法主要设计用于通用的Web服务或微服务架构中,其目标是通过最小化响应时间、最大化吞吐量或保持服务器负载平衡来提高系统的整体效率,常见的负载均衡算法有轮询、随机、最小请求数、一致性哈希等。然而,在面对LLM服务时,这些传统方法往往暴露出以下几个关键缺陷: 1. 忽略任务复杂度差异:LLM推理请求的复杂度差异极大。例如,一个长文本生成任务可能需要数十倍于短文本分类任务的计算资源。而传统负载均衡器无法感知这种差异,容易导致某些节点过载,而其他节点空闲,造成资源浪费和响应延迟。 2. 缺乏对GPU资源水位的感知:在LLM推理服务中,计算瓶颈主要集中在GPU上,传...
CH3CHO | 2025-08-04
不增加 GPU,首 Token 延迟下降50%|LLM 服务负载均衡的新实践
Higress 入选《AI Cloud 大模型推理与交互典型案例》
中国信通院于2025年7月23日举办的2025年可信云大会大模型推理与信息交互分论坛上,携手阿里云、中兴通讯、网易数之帆、长亮科技等企业单位,共同发布了《人工智能云 AI 网关能力要求》标准,AI 网关能力要求概述如下,覆盖插件集管理、多模型适配能力、可观测性、模型服务集成能力、流量治理、安全防护、大模型工具信息交互支持七大能力板块。 同时,会上发布了 AI Cloud 大模型推理与交互典型案例,共7家案例入选,包含 Higress 服务的3家用户。 + 携程:基于 AI 网关的大模型应用实践 + +
CH3CHO | 2025-08-04
Higress 入选《AI Cloud 大模型推理与交互典型案例》
Higress v2.1.5:41 项引擎更新 + 8 项控制台更新
Higress 引擎更新 本次发布概览 本次发布包含 41 项更新,涵盖了功能增强、Bug修复、性能优化等多个方面。 更新内容分布 + 新功能: 19项 + Bug修复: 14项 + 重构优化: 2项 + 文档更新: 6项 重点关注 本次发布包含 2 项重要更新,建议重点关注: + feat: add DB MCP Server execute, list tables, describe table tools (): 通过增加这些工具,用户能够更方便地管理和操作数据库,提高了系统的灵活性和可用性,使得数据库操作更加直观和高效。 + feat: advanced load ...
CH3CHO | 2025-07-24
Higress v2.1.5:41 项引擎更新 + 8 项控制台更新
AI Gateway 分析:OpenRouter vs Higress
作者:望宸 在经典应用架构中,「网关」往往意味着对用户请求的统一接入、认证鉴权、流控、协议转换等功能,Nginx、Envoy、Kong 等网关项目便是这一类能力的典型代表。而无论是微服务架构,还是云原生架构,这类产品的使用逻辑相对清晰、选型依据也相对稳定。 但进入 AI 应用时代后,原本定义清晰的「网关」概念正在被重新塑造。例如近期较热的 OpenRouter,早期以 LLM MarketPlace 自居的产品,如今也开始将自己定位为 “AI Gateway”。 这标志着三个重要变化: + AI Gateway 的供应商类型更多元化了:不仅有公共云厂商,如阿里云 API 网关(...
CH3CHO | 2025-07-24
AI Gateway 分析:OpenRouter vs Higress
手把手带你玩转基于 Nacos + Higress 的 MCP 开发新范式
作者:子葵 Naocs 3.0 中已经支持和Higress配合使用实现存量Http转化为MCP服务,3.0.1 及以上版本在支持存量转化的基础上同时支持同步Nacos中已经注册的原生的MCP服务,并在Higress上进行暴露,完成了对所有Remote Server类型的代理访问支持。 通过结合 Spring AI Alibaba,FastMCP 等框架,可以实现应用自动注册到Nacos中,并通过 Higress 自动将注册的应用对外暴露给Client侧访问。此文档从0到一完成Higress+Nacos配合实现REST API转MCP和透明代理暴露标准 MCP 服务。 环境准备 创...
CH3CHO | 2025-07-22
手把手带你玩转基于 Nacos + Higress 的 MCP 开发新范式
20年金融投资数据沉淀,正式开放 MCP 能力
作者:李勤 01 如何让大模型金融高效应用落地? 在瞬息万变的⾦融市场中,数据是洞察趋势、发掘价值、精准决策的核⼼驱动⼒。但是获取专业的金融数据服务,存在着诸多挑战。包括: 第一,价格⾛势的波动、政策法规的变化、海量的研究报告、上市公司公告以及层出不穷的市场资讯,共同构成了⼀个巨⼤且错综复杂的信息海洋。 第二,⾦融证券业对数据有着⾼准确、⾼时效、⾼覆盖、⾼合规和⾼稳定等⾼于⼀般⾏业应⽤的要求,仅凭联⽹或模型本身有限的知识极易造成“数据幻觉”。随着⼤型语⾔模型技术在⾦融证券业的快速应⽤,对⾦融数据进⾏及时、准确、⾼效地获取、整合并利⽤成为了⾄关重要却⼜⾯临挑战的核⼼瓶颈点。 第三,⾦融...
CH3CHO | 2025-07-07
20年金融投资数据沉淀,正式开放 MCP 能力
Higress MCP 服务管理,助力构建私有 MCP 市场
作者:岛风、绿水、十眠 前言 今年 3 月份 MCP 协议成为了 AI 的新一轮热点,被大多数人所熟知,彼时 Higress 快速进行跟进,新增了 MCP 协议转换功能,详见:,该方案解决了以下问题: 1. 引入 Redis,借助其 pub/sub 特性,解决了 SSE 协议会话保持的问题 2. 提供了 OpenAPI 转换成 MCP Server 的能力,仅需提供符合 OAS 3.0 规范的 OpenAPI 文档,即可自动转换成网关托管的 MCP Server 3. 提供了 Go Template 和 GJSON 表达式,来对请求和响应模版进行精细化处理,这使得用户只需要变更配置即可完...
CH3CHO | 2025-07-03
Higress MCP 服务管理,助力构建私有 MCP 市场
第 5 页 / 共 17 页