夜雨聆风学习资料网

ARTICLE · 1388199

每百万字五毛钱:用国产小模型搭个文档批处理

每百万字五毛钱:用国产小模型搭个文档批处理
需求:把一堆散乱的会议记录,批量整理成结构化摘要,越便宜越好。

11 月 16 日腾讯发布混元 Hy4 flash,API 定价每百万 token 输入 0.5 元、输出 2 元,单任务成本约为标准版的 1/20,主攻文档处理、PPT 生成、深度搜索和日常办公。

这个价位第一次让“一次性处理几百篇文档”变成一个不心疼的动作。

▍方案

为什么不用旗舰模型:整理会议记录不需要复杂推理,需要的是稳定、便宜、能批量跑。用旗舰等于用卡车送快递。

为什么不做微调:样本量不够,且需求会变。先用提示词跑通,跑 200 篇之后再决定要不要固化。

分块策略:按段落切,单块控制在 2000 字以内,块之间保留小标题作为上下文锚点。

▍实现步骤

  1. 扫目录
    遍历 docs/ 下所有 .md 与 .txt,记录文件名与字数
  2. 分块
    按空行切段,超过 2000 字强制切,每块带上原文标题
  3. 调用
    并发 4 路,失败重试 2 次,指数退避
  4. 汇总
    每块返回 {要点, 待办, 风险} 三段 JSON,最后合并去重
  5. 落盘
    输出 summary/<原名>.json + 一份总表

▍可复现代码清单

import json, os, time
from concurrent.futures import ThreadPoolExecutor

def chunk(text, size=2000):
    parts, buf = [], ""
    for para in text.split("

"):
        if len(buf) + len(para) > size:
            parts.append(buf); buf = para
        else:
            buf += "

" + para
    if buf.strip(): parts.append(buf)
    return parts

PROMPT = "把这段会议记录整理成 JSON:要点、待办、风险三段,不要解释。"

def run_one(chunk_text):
    for i in range(3):
        try:
            return call_api(PROMPT, chunk_text)   # 换成你的调用
        except Exception:
            time.sleep(2 ** i)
    return {"error": "failed"}

def process(path):
    text = open(path, encoding="utf-8").read()
    with ThreadPoolExecutor(max_workers=4) as ex:
        return list(ex.map(run_one, chunk(text)))

▍成本账

按 200 篇、每篇 5000 字估算:输入约 200 万字,输出约 60 万字。用 Hy4 flash,输入 1 元、输出 1.2 元,合计约 2.2 元。同一批用旗舰模型,按 20 倍算约 44 元。

单次差异不大,但每天跑一次就是千元级的年度差别。

▍复现边界

第一,并发 4 路是保守值,实际看你的限流配额。第二,JSON 输出要校验,模型偶尔会多加解释文字,必须用严格的解析和失败回退。第三,便宜模型的“稳定”比“聪明”更值得压测——同一段落跑三遍,输出结构是否一致,这决定能不能无人值守。

便宜的模型不是替代品,是新的工位。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料