openFuyao技术讲堂 | AI推理赫尔墨斯智能路由(Hermes-router)

Hermes-router是openFuyao基于K8s打造的EPP（Endpointer Picker）组件，用于接收用户推理请求并路由至最合适的服务后端，优化LLM的推理效率和性能。

Hermes（赫尔墨斯）是希腊神话中众神的信使，以敏捷和可靠著称。openFuyao以此命名AI推理智能路由组件为Hermes-router，寓意成为云原生环境中 AI 推理请求的智能信使，精准高效地完成每一次路由选择。

特性价值如下：

加速AI推理服务响应：KVCache感知策略调度时充分考虑后端缓存情况，避免重复计算，降低请求响应时延。

保障高并发请求吞吐稳定：PD分桶策略按请求长短分流调度，变长请求不再互相拖慢。

灵活适配开源网关：基于K8s GIE标准（Kubernetes Gateway API Inference Extension）构建，支持接入Istio等多类主流开源网关，用户可选择范围广。

直接阅读本文，或识别二维码前往官网博客阅读完整版（可跳转详情链接）：

1.1 应用场景

1.2 亮点特征

• KVCache aware(聚合/PD)：提供允许用户自定义得分函数的KVCache aware路由策略，在重复请求场景提升推理性能。

• PD分桶调度路由 (PD)：提供允许用户自定义参数的分桶调度策略，在长短请求、中高并发场景提升推理吞吐量。

• 动态推理服务发现：允许用户在运行时新增/删除推理后端，用户可灵活调整推理资源投入。

1.3 特性依赖

• PD代理服务组件proxy-server：原为vLLM官方在PD分离架构下提供的示例组件，作为中枢组织P/D实例完成推理任务，openFuyao社区对该组件进行增强，现作为PD Group的Leader实例接收网关推理请求，并具备根据指定标签动态发现推理服务实例的能力。

• NPU适配：当环境为昇腾NPU时，需要使用vLLM-ascend作为推理引擎启动服务。

• 推理指标：依赖vLLM提供的/metrics接口获取推理服务指标，由GIE架构自动采集。

Hermes-router以EPP组件形式集成到开源网关，以一次完整推理请求为例说明内部原理：

Hermes-router提供两种交付方式，用户可按需选择，具体安装步骤请参见：

https://docs.openfuyao.cn/zh/docs/v25.12/user_guide/ai_inference_hermes_routing.html#安装

• EPP插件单独部署 Hermes-router作为单独的EPP组件部署到集群中，需要集群中已有Envoy based的Gateway、Gateway API及Inference Extension CRDs、以及推理后端服务。Hermes-router部署后提供多种AI推理智能路由策略（KVCache aware、PD分桶调度等），通过InferencePool CR动态发现和管理推理后端，支持通过HTTPRoute进行灵活配置。

• InferNex集成部署 InferNex是完整的AI推理服务集成部署包，一键部署网关、Hermes-router、HTTPRoute/InferencePool等K8s资源、以及推理后端服务。提供端到端的AI推理解决方案，集成网关、智能路由和推理服务，开箱即用。

未来，Hermes-router将继续在以下方面做能力增强： 

• 生产场景容灾能力，包含自动切流、故障感知以及推理请求重试。

• 基于时延预测与算力饱和度的路由策略，面向NPU、GPU多种算力场景进一步降低TTFT。

• KVCache aware路由策略增强，进一步感知分布式内存中的L3级别KVCache信息，基于全局命中率优化请求调度。

更多openFuyao v25.12版本软件包可在如下地址下载（单击”全部版本”后选择”v25.12″）：

https://www.openFuyao.cn/zh/download/