ARTICLE · 1023893
本地部署大模型:普通人也能玩吗?现在普通电脑也能跑大模型了!一张RTX 4090显卡能跑70B参数的量化模型,效果接近GPT-3.5.怎么开始?
每天5分钟，跟上AI时代
5个AI知识点 · 1个实战案例 · 3条前沿资讯
今日AI知识
Agent的记忆系统：短期记忆和长期记忆
一个完整的Agent记忆系统分三层：①短期记忆（上下文窗口）——当前对话的内容，窗口多大记忆就多大，对话结束就没了 ②长期记忆（外部存储）——存在数据库或文件里的历史对话、用户偏好、学习到的知识，下次对话还能调用 ③工作记忆——当前正在处理的任务的中间结果。好的Agent会把重要信息从短期记忆存入长期记忆，需要的时候再取出来，实现"越用越懂你"。
8个Prompt黑技巧，让AI输出质量翻倍
1️⃣"深呼吸"效应：加一句"让我们一步步思考"正确率提升 2️⃣自我反省："先批评一下你刚才的答案，再给出改进版" 3️⃣专家视角："如果你是这个领域的顶级专家，你会怎么回答" 4️⃣给奖励："如果你答得好，我会给你200美元小费" 5️⃣约束条件：明确说"不要XX"比只说"要XX"更有效 6️⃣格式先行：先给输出格式模板，再给任务 7️⃣分步指令：复杂任务拆成几步，一步步来 8️⃣示例驱动：给1-2个好例子胜过千言万语。
RAG工作流全解析：从文档到答案的5步
一个完整的RAG系统分5步：①文档加载——支持PDF、Word、网页等各种格式 ②文档切分——把长文档切成几百字的小块，太大太小都不行 ③向量化——用Embedding模型把每小块转成向量 ④向量检索——用户提问也转成向量，找最相似的前N块 ⑤生成回答——把检索到的内容和用户问题一起发给LLM生成答案。每一步都有优化空间。
本地部署大模型：普通人也能玩吗？
现在普通电脑也能跑大模型了！一张RTX 4090显卡能跑70B参数的量化模型，效果接近GPT-3.5。怎么开始？①选模型：新手推荐Qwen或Llama的量化版本 ②选工具：Ollama一键安装最省心，LM Studio有图形界面 ③最低配置：16G内存能跑7B模型，24G显存能跑70B ④能做什么：写代码、翻译、总结、本地知识库。本地模型的最大好处是——数据完全不离开你的电脑。
Prompt工程：跟AI说话的艺术
同样问AI，为什么有人得到精准答案，有人得到一堆废话？关键在提示词（Prompt）。好的Prompt包含四个要素：角色设定（你是一位老师）、具体任务（帮我解释量子力学）、输出格式（用三个生活比喻说明）、约束条件（不超过200字，避免术语）。说清楚"要什么"和"不要什么"，AI的表现会天差地别。
AI编程实战案例
OKR进度仪表盘：全员对齐目标不跑偏
🎯 要做什么
OKR制定了没人看、进度不透明？做一个OKR仪表盘，展示公司/部门的目标和关键结果，每个KR有进度条、负责人、更新时间。支持按部门筛选、按状态筛选，让目标真正可视化、可追踪。
💬 把这段Prompt复制给AI
请帮我做一个【团队OKR进度仪表盘】网页： 【结构】 1. 顶部概览：总目标数、完成率、平均进度、本周期剩余天数 2. 目标列表：3-4个Objective，每个下面挂2-4个Key Result 3. 每个KR显示：KR描述、进度条、完成百分比、负责人、状态（正常/风险/完成） 4. 可以按部门/负责人筛选 5. 最近更新时间显示 【数据】 用模拟数据：产品研发部、市场部、运营部各一组OKR 数据放在JS变量中，结构清晰 【设计】 - 科技蓝+白色，专业商务风 - 进度条用渐变色，不同状态不同颜色 - 卡片式布局，层次分明 - 响应式，手机上也能看 【技术】 - 单HTML文件，内联CSS和JS - 纯前端，数据在JS里维护 - 用Chart.js做概览图表 - 平滑的动画过渡效果✨ 效果预期
一个专业的OKR仪表盘，比Excel表格直观多了 数据集中在JS里，每周更新一次数据就行 可以投在办公室大屏上，全员看得见
🔧 迭代技巧
第一版出来后不满意？继续跟AI说：
加上周报功能，记录每周进展和障碍 可以对接飞书/钉钉OKR接口自动同步 加入历史数据对比，看本季度vs上季度
每次只改一个点，迭代3-4轮就能得到很满意的成品。
AI金句
你能想到的别人也能想到，那它就不是秘密。
—— 彼得·蒂尔
AI前沿资讯
阿莫迪的响指：我们该如何理解“大模型减速论”？
Anthropic CEO阿莫迪发文呼吁放慢AI模型能力提升速度，随后马斯克和奥尔特曼罕见表态赞同。三大AI巨头在“大模型减速”上达成共识，标志着全球AI行业从盲目狂飙转向对安全与伦理的集体反思。这一产业史级信号引发科技圈激烈争论，未来AI发展节奏或将迎来重大调整。
智谱完成约50亿美元融资，月之暗面辟谣创始人传言
智谱宣布完成约50亿美元融资，包含20亿美元股份配售和30亿美元可转债，创下国内AI大模型融资新纪录。同期，月之暗面辟谣了创始人被带走的传言，并启动Kimi企业合作伙伴“登月计划”。国内大模型头部企业资本动作频频，显示出市场资金对头部AI公司的持续看好与集中。