手机也能跑的AI助手:14MB超轻量模型,让智能设备真正“懂你”

● 极致轻量，开箱即用：整个模型打包为单个14MB二进制文件，无外部权重依赖，安装后零编译、零配置，首次运行自动缓存引擎，后续完全离线工作。

● 结构化输出即刻可用：输入自然语言指令（如“查今天北京天气并设闹钟7点”），直接输出带字段校验的JSON，省去正则解析、字段清洗等繁琐后处理。

● 置信度感知决策：每个响应附带经过校准的0–1置信分数，开发者可设定阈值（如0.85）：高于则自动执行，低于则转人工或降级处理，大幅提升系统鲁棒性。

● 智能工具检索+动态约束：支持声明上百个API或硬件控制接口，模型每轮自动筛选最相关的5个工具，并通过字节级语法编译器实时约束生成范围，杜绝非法调用。

● 内存严格可控：采用256词元滑动窗口 + 工具KV常驻机制，全程内存占用稳定在约28MB，完美适配Android Go版、RTOS嵌入式系统及低功耗MCU协处理器。

● 本地微调友好：内置LoRA支持，仅需几行代码即可用自有设备指令微调，无需GPU——普通MacBook或树莓派即可完成个性化适配。

1. 安装：pip install cactus-needle

2. 定义工具（示例：控制LED）：
tools = [{"name": "set_led", "description": "开关LED灯", "parameters": {"state": {"type": "string", "enum": ["on", "off"]}}}]

3. 调用：
from cactus_needle import Needle
model = Needle()
result = model.call("把灯打开", tools)
print(result.json()) # 输出：{"name": "set_led", "parameters": {"state": "on"}}