乐于分享
好东西不私藏

近期AI模型学习记录

近期AI模型学习记录

最近几天在了解 AI。虽然过去的我一直对 AI 处于不温不火的状态,以至于,和社会主流相比有点保守了。

不过,其实因为一直使用 VSCode ,VSCode 的更新,多多少少也会通过产品的交互更新,了解到大家可能都会怎么使用 AI。另一方面,我也通过多多少少的自媒体信息流,简单了解到大家都在用 AI 做什么,以及 AI 的开发范式。

最近准备学习AI所产生的变化,主要有以下几点:

  1. 1. AI 生成前端的视觉效果惊艳。

    虽然背后逻辑和修改依旧存在巨大难点。

  2. 2. 从身边创业的朋友了解到,AI 生成产品的逻辑已经完全可行。

    虽然其中是没有程序员介入的。这是优势也是问题。

  3. 3. 自己用 VSCode 的 AI 代码补全,有时候还是很爽的(比如写 SQL 的时候)

    但是 VSCode Copilot 要收费。

  4. 4. 近期自己的一个产品思路得到了突破,在重新评估一些技术接入的可能性需要用到 AI.

于是,基于以上四点,我上周就简单学习了一下 AI,目标如下:

  1. 1. 可以以极低成本,近乎免费的方式体验当下主流的 AI 开发流程框架。
  2. 2. 免费支持 VSCode AI 代码补全。脱离 VSCode Copliot 的付费依赖。

然后,也介绍一下我个人工作站的配置:

  • • CPU:AMD Ryzen 9 9900X

    12核心,24线程

    主频 4.4GHz

    二/三级缓存:12 MB / 64 MB

    120W 功耗

  • • GPU:NVIDIA GeForce RTX 4070 Ti SUPER

    显存:16GB

  • • 内存:96GB(16+16+32+32)
  • • 操作系统:Archlinux

我是在2025年买的,26年霍尔木兹海峡封锁之后,内存就暴涨。那年2000元买的64G内存觉得超贵,现在64G内存要 7200 块钱了。

不过,其实显存才是最重要的,因为我考虑到了会使用AI技术,所以当年就买了 16GB 显存的显卡,没想到现在的大模型,16GB是真的望而却步了。不过也有好消息,一方面是我游戏玩的很爽,另一方面就是本地代码补全可以用得上。

本地代码补全

方案:VSCode + Continue Plugin + Ollama + qwen2.5-coder:7b

虽然 VSCode 可以接入其他大模型在 Chat 方面,但是在代码补全(Inline Suggestion)并不支持第三方。后来就搜索到了 Continue[1]

Install | Continue Docs

在 VSCode 安装好 Continue,在配置页面有 Models 可以选择。不过不知道为什么,默认的 Autocomplete 栏是灰色禁用的。需要用 Yaml 配置一下:

name: Local Config
version:
 1.0.0
schema:
 v1
models:

  -
 name: Autodetect
    provider:
 ollama
    model:
 AUTODETECT
  -
 name: qwen2.5-coder:7b
    provider:
 ollama
    model:
 qwen2.5-coder:7b
    roles:

      -
 autocomplete
    requestOptions:

      extraBodyProperties:

        think:
 false

ollama 也是一个 Archlinux 上可以方便获取的玩意儿。还能自动拉取一些开源模型。所以就用它了。

pacman -S ollama
ollama pull qwen2.5-coder:7b

使用 qwen2.5-coder:7b 的原因就是显存限制。而且,Continue 官方推荐的 自动补全模型,也只推荐到了 qwen2.5-coder:7b[2],甚至推荐使用 1.5b 的,我想那我 7b 肯定够用了。

然后最后再贴一条 VSCode 的 Inline Suggestion 的官方文档[3]

AI Agent

好像现在大家都叫这样的 AI 为 Agent。我不明白。但大致意思就是,你可以通过 Agent 写代码。最典型的就是 ClaudeCode 。

我一位产品经理朋友向我介绍,说她的产品都是 AI 生成的,所有文件。她做的事情就是和 AI 聊天。

我问她,如果有 BUG 怎么办?她说:继续和 AI 聊天让 AI 修改。

这和我以前在团队里回应同事的话得到了印证:现在你可以使用 AI 开发,但你要做好后续继续使用 AI 迭代产品的准备。

当然,不仅仅是说 AI 可以完整开发一个产品——这对于程序员而言意味着把自己唯一可控的东西变得不可控了,是不能接受的(所以我特别喜欢代码自动补全)。

但对于产品经理来说,程序员本身也是不可控因素,所以,用 AI 替代程序员,在产品经理的逻辑上并没有矛盾。

让我希望学习 AI 的还有其他理由——代码重构。我曾经在 Twitter 和 微信公众号上看到许多人用 AI 做代码重构,而且都表示可行。这让我感到惊讶 —— 要知道,传统「软件工程」的存在,就是为了让技术债可控,但是随着软件规模的不断扩大,代码维护成本也会指数升高,但是如果可以通过 AI 重构工程,直接让代码维护性重新降回到一个低成本的状态,那确实是一个伟大的创举,这也可能意味着旧系统的新生。

但,我也知道他们重构的过程——他们说,会整理相当多的文件,和 AI 沟通好几十个小时。还听说有沟通了几天的,然后让 AI 自己去跑,最后 AI 跑了一个月,重构完毕了的案例。虽然依旧是道听途说,但我觉得,无论是当下 AI 增速还是使用场景,都逐渐明晰的时候,正是我开始进一步学习 AI 的好时机。

Agent 成本

然后我就开始搜索我能使用哪些模型。前段时间,吵得很火,就是国产之光,DeepSeek。

无论是社会创新还是学术届都有提到 AI 平权,但是,现在 Tokens 的成本到底是多少呢?

模型
输入
输出
Claude Opus 4.7
33.98元(5$)
169.88元(25$)
3.4元(0.50$)
42.47元(6.25$)
Claude Sonnet 4.6
20.38元(3$)
101.92元(15$)
2.04元(0.30$)
25.48元(3.75$)
Claude Haiku 4.5
6.79元(1$)
33.98元(5$)
0.68元(0.10$)
8.49元(1.25$)
GPT-5.5
33.98元(5$)
203.85元(30$)
qwen3-max
7元
28元
Kimi K2.6
6.50元
27元
1.10元
deepseek-v4-flash
1元
2元
0.02元
deepseek-v4-pro
12元
24元
0.1元
  • • Claude Price[4]
  • • openAI Price[5]
  • • qwen3-max Price[6]
  • • Kimi K2.6 Price[7]
  • • deepseek Price[8]

可以看到,deepseek 的价格真的很有吸引力。对我这样只想试一下的人而言。

另外,我还看到一个网站来票选程序员最喜欢的各种模型[9],最受欢迎的模型(按照积极程度排序):

  1. 1. OpenAI: GPT-5.5
  2. 2. MoonshotAI: Kimi K2.6
  3. 3. DeepSeek: DeepSeek V4 Pro
  4. 4. Anthropic: Claude Opus Latest
  5. 5. Anthropic: Claude Opus 4.7
  6. 6. Qwen: Qwen3.6 27B

最受欢迎的开源模型:

  1. 1. MoonshotAI: Kimi K2.6
  2. 2. DeepSeek: DeepSeek V4 Pro
  3. 3. Qwen: Qwen3.6 27B
  4. 4. DeepSeek: DeepSeek V4 Flash
  5. 5. Z.ai: GLM 5.1

虽然这里的开源模型其实没有什么参考价值——因为想要支撑起如此大的模型,所需要的硬件投入也不是个体玩家可以支持的了。

所以毫无疑问我最后选择了 DeepSeek。充了 20块钱(铁公鸡拔毛了)

引用链接

[1] Continue: https://docs.continue.dev/
[2] qwen2.5-coder:7b: https://docs.continue.dev/ide-extensions/autocomplete/model-setup
[3] Inline Suggestion 的官方文档: https://code.visualstudio.com/docs/copilot/customization/language-models#_change-the-model-for-inline-chat
[4] Claude Price: https://claude.com/pricing#api
[5] openAI Price: https://openai.com/zh-Hans-CN/api/pricing/
[6] qwen3-max Price: https://bailian.console.aliyun.com/cn-beijing/?spm=5176.29597918.J_F4r-7Zs_PtjrjEY48APSA.d_primary.5200133cTg9pJV&tab=doc#/doc/?type=model&url=2987148
[7] Kimi K2.6 Price: https://platform.kimi.com/docs/pricing/chat-k26
[8] deepseek Price: https://api-docs.deepseek.com/zh-cn/quick_start/pricing
[9] 各种模型: https://hnup.date/hn-sota