给 3588 插一块 AI 加速卡——RK182X 到底是什么东西

先说清楚——它不是 3588 的升级版

很多报道把 RK182X 写成"瑞芯微最新 AI 芯片"，这个说法容易带偏节奏。

它不是 SoC。

3588、3568、3576 是完整的片上系统——CPU、GPU、NPU、编解码器打包在一颗芯片里，插电开机跑系统。RK182X 不行。它只有 NPU 加高带宽 DRAM，还带了 3 个 RISC-V 核，但那仨核是做调度管理用的，不是用来跑模型的。

把它理解成 AI 加速卡，不是主控芯片。

最接近的类比是 PC 里的独立显卡。你不能只买显卡开机，得有 CPU 和主板，显卡通过 PCIe 接上去，专门处理图形运算。RK182X 的角色完全一样——主控是 3588 或 3576，推理任务通过 PCIe 2.0 发给 RK182X 处理，结果再返回来。

接口方面，除了 PCIe 还支持 USB 3.0，物理形态是 SO-DIMM 内存条或 M.2 模块。这意味着现有的 3588 板子不用换，加一块模块就能升级。手里 6 TOPS 的方案，插上 RK1820 直接变 26 TOPS。

20 TOPS 没那么重要，1 TB/s 才是重点

官方数据：RK182X 20 TOPS，RK3588 NPU 6 TOPS，差了 3.3 倍。

看起来很大。但这个数字不是这颗芯片最关键的地方。

大模型推理是个极度"带宽饥渴"的任务。生成每一个 token，模型的权重参数就要被从内存里读一遍。模型越大，每次搬的数据就越多。NPU 算得再快，内存喂不上来，它就是在空转。这就是所谓的"内存墙"问题——AI 加速器领域聊了好几年，但在消费级和嵌入式芯片上一直没太好的解法。

RK182X 的解法是 3D 堆叠。把 DRAM 芯片直接垂直叠封在 NPU 上面，层间打数万个 IO 互联，带宽理论值接近 1 TB/s。

普通 LPDDR5 在嵌入式板子上大概 30-50 GB/s。

差了 20 倍。

实测结果也印证了这一点：Qwen2.5-3B 在 RK182X 上输出超过 100 token/s，是对标竞品的 3 倍（根据瑞芯微官方数据）。Qwen3-VL-2B 多模态模型跑到了 136.32 token/s，4B 版本接近 100 token/s。

136 token/s 是什么感觉——人类正常阅读速度大概 10-15 token/s，136 意味着模型输出比你看的快将近 10 倍。实际使用的瓶颈会变成"你读得完吗"而不是"它生成得够快吗"。

代价是内存容量。RK1820 是 2.5 GB，RK1828 是 5 GB。7B 模型 INT4 量化大概需要 4-5 GB，压线能跑。13B 以上装不下。

为什么容量这么小——我没找到官方解释，说实话不清楚。猜测可能的原因有几个：高带宽内存堆在芯片上散热压力大，容量越大热密度越高；3D 封装工艺良率本来就低，DRAM 面积越大风险越高；或者单纯是成本控制，毕竟这类高带宽内存比普通 LPDDR 贵很多。也可能就是产品定位决定的——目标场景跑 3B-7B 模型，5 GB 够用了，做大了抬价没意义。

真实原因可能是这几条叠加，也可能另有隐情。但部署层面的影响是实实在在的：长上下文、大 batch、多路并发，都会很快把 5 GB 撑满。

所以定位很清晰：3B 到 7B、延迟敏感、单路推理的场景。不是用来跑超大模型的，就是把中小模型跑到极致速度。

对做 AI 工程的人意味着什么

我觉得这个产品最有意思的地方，不是性能数字本身，是它改变了嵌入式方案升级 AI 能力的路径。

过去的升级逻辑是：NPU 不够用，换芯片，重新做板子，重新调驱动和 BSP，周期半年起，风险全在。

现在的路径：3588 板子保留，M.2 插槽接一块 RK182X 模块，推理任务 offload 过去，不动硬件设计。对已经有在产方案的团队，这个差距很实际。

有个问题值得单独说一下：这么高的速度，到底是为了什么？3588 跑 1.5B-3B 的模型，10-20 TPS，对话其实够用，为什么还需要 100 TPS？

答案不是为了"聊天更快"，是为了 Agent。

Agent 完成一个任务，背后要调用 LLM 十几次甚至更多——规划、工具调用、判断结果、再规划。每步串行，每次调用要等 3 秒，一个稍复杂的任务就得等一两分钟。用户体验直接崩。100 TPS 把每次调用的延迟压下来，agent 的多步推理才真正跑得起来。

还有实时多模态。工业产线要持续处理图像+文本、安防要按文字描述实时检索视频——VLM 比纯 LLM 重得多，3588 跑这类任务会很吃力，RK182X 的 136 TPS 才让这些场景变得可行。

算力也支持堆叠——官方给的组合方案里有"RK3588 + 双 RK1828"，总算力 40 TOPS，用多块协处理器并行扩容，比换芯片灵活。

支持的模型范围也还行，视觉端 YOLO、DINO、Siglip 跑通了，LLM 这边 Qwen 系列和 DeepSeek 都有，音频侧 SenseVoice 和 Whisper 支持，还有 GUI Agent 的部署案例。主流工程里会碰到的模型，基本覆盖到了。

不过——

5 GB 内存这个限制是真实存在的。如果你的场景需要长上下文、大 batch 或者动不动要跑 13B，这条路走不通，得考虑别的方案。另外 RK182X 上市时间不长，社区活跃度和开发板可选项跟 3588 没法比，踩坑文档少，出了问题自己趟。

说实话我对多芯片方案一直有点顾虑——PCIe 链路在工业现场的稳定性、高低温下的表现，这些是额外的变量，做量产产品要认真测。

值不值得看一眼

我的判断是：现在值得了解，选型要再等等。

算力的问题，解了。带宽的问题，解了。"插件式扩容"这个产品思路，是对的。

但 RK182X 现在生态还早期——开发工具链（RKNN 3 Toolkit）在持续更新，量产模块选项有限，开发者社区远没有 3588 那么热闹。瑞芯微说有 5000+ 合作伙伴，但开发板这件事你现在随手搜搜，品类还是少。

几类人可以认真看：

一是做 3B-7B LLM/VLM 推理、对输出延迟有苛刻要求、预算上不了 Jetson 的团队。二是手里有基于 3588 的在产方案、想低成本叠加 AI 能力的。三是对 3D 堆叠架构感兴趣、想早点建立一手认知的。

想上手试的话，有一个坑要提前说：手里的老 3588 开发板大概率不能直接用。

硬件层面其实问题不大——Rock 5B、OrangePi 5 Plus 这类主流板子都有 M.2 M-key 插槽，物理上能插 RK182X 模块。但软件是另一回事。RK182X 需要专门的内核驱动，大部分老板子出厂 BSP 里根本没这套东西，插上去系统认不出来。要用起来，得等板子厂商主动推适配内核——能不能推、什么时候推，现在没谱。

现阶段最省心的路：买飞凌、讯为这类专门做 RK182X 适配的套件，"RK3588 底板 + RK1828 M.2 模块"的组合，BSP 现成的，不用自己趟。

剩下的人，可以先收藏，等生态再跑半年看看。

这个判断我只有六七成把握。真落到选型上，建议拿实际模型和实际场景测一把，数字是参考，跑通才算数。

参考资料

• 瑞芯微 RK182X 生态大会官方文章： https://mp.weixin.qq.com/s/UO9T4zVuTJRgAN3LTN5vkw
• 电子发烧友 RK182X 深度解析： https://www.elecfans.com/d/7401275.html
• 飞凌嵌入式 RK182X 算力卡介绍： https://www.forlinx.com/article-new-c22/1530.html
• CNX Software RK1820/RK1828 模块评测与跑分： https://www.cnx-software.com/2025/12/30/rockchip-rk1820-rk1828-so-dimm-and-m-2-llm-vlm-ai-accelerator-modules-devkits-and-benchmarks/
• RK182X 规格参数 datasheet（第三方整理）： https://www.scensmart.com/general-description-of-soc/rockchip-rk182x-series-ai-co-processor-datasheet/
• 从 RK3588 到 RK182X 再到 RK3688，瑞芯微产品战略分析（雪球）： https://xueqiu.com/3902829679/357084473

文章仅做学术分享，如有侵权请联系删除，非常感谢！