OpenClaw 🦞 给小龙虾找个家
🦞 小龙虾是吞金兽
小龙虾使用一天,Token API 消耗了 200 多元。如果一天 24 小时,高密度不间断运行,大概会 500 元往上走。
天天充值,不充值小龙虾就会饿死。
这样一年的话,Token 的成本就会到 10 万以上。
考虑离线推理
大模型推理主机成本,和统一内存的大小,强相关。统一内存成了运行大模型的关键瓶颈。
64GB 内存
Mac Mini M4Pro 15000+,
128GB 内存
DGX Spark 30000+,
256GB 内存
Mac Studio M3 Ultra 60000+
513GB 内存
Mac Studio M3Ultra 没货 闲鱼上 13W+
但是总的来说,和一年 Token API 的成本,差不多了。
就算离线跑,也要搞一搞 100元 一个月的火山引擎 Coding Plan,让能力超强的云端模型,协助管理能力稍弱的本地模型。
广东,2小时前,
夜雨聆风