夜雨聆风学习资料网

ARTICLE · 1118184

Perplexity开源7款AI工具:多模态决策模型、本地推理引擎等

Perplexity开源7款AI工具:多模态决策模型、本地推理引擎等

本文共 553 字,阅读约需 3 分钟。

AI搜索公司 Perplexity( perplexity.ai)最近开源了一波工具,一口气放了7个项目,从大模型到本地推理引擎,再到安全扫描和基准测试都有覆盖。

核心模型与推理引擎

  • pplx-decider-v1-27b:这是一个SoTA(State of the Art,当前最高水平)的多模态决策模型。它在11个基准测试中的平均得分达到85.7%,表现超过了Jev模型。
  • pplx-embed-v2-context-9b-preview:主打上下文嵌入(Contextual Embeddings,让模型理解文本前后关联的技术),在ConTEB和turbopuffer context-bench这两个测试集上拿到了最好成绩。
  • Lily:专门给苹果芯片做的本地推理引擎。它没用PyTorch或MLX框架,而是靠Rust语言加上自定义的Metal内核(苹果GPU的计算接口)来跑。在M5 Max芯片上实测,它的预填充(Prefill,处理输入数据阶段)速度比MLX-LM快1.23倍,解码(Decode,生成输出阶段)速度快1.35倍。

隐私与安全工具

  • PII-Tracer:一个只有0.6B参数的小型模型,用来在设备端识别个人身份信息(PII)。它能判断混合计算任务里哪些部分可以留在Mac本地处理,不用上传云端。在5个公开基准测试中,它的表现都优于OpenAI自家的Privacy Filter。Perplexity还同步发布了配套的PII-TRACE基准数据集,包含13种语言的1.3万段对话记录。
  • Numbat:针对笔记本和工作站的代理检测与响应工具。它内置了52条规则,打包成一个Go语言二进制文件,支持macOS、Linux和Windows系统。
  • Bumblebee:一个只读的供应链扫描器,主要检查开发机上的包依赖、MCP配置以及编辑器和浏览器扩展,防止被投毒。

基准测试

  • WANDR:为“宽且深”的研究型代理设计的基准测试。里面包含了500个任务,这些任务需要引用多达17万个有来源支撑的记录,用来考核AI做深度调研的能力。

Perplexity表示,后续还会有更多开源贡献推出。

相关学习资料