何时应当使用微调

Azure OpenAI 推荐使用提示词工程、提示词链（将复杂任务拆解为更小的提示或问题，并将其串联执行）以及函数调用来增强大语言模型，以适配特定任务。这套手段往往已经够用：优质的提示词就能够显著提升模型性能，而无需开展微调。此外，相较于微调，这些方法反馈速度更快；而微调需要制作数据集与训练流程，耗时更长。即便确实需要进行微调，前期尝试提示词工程依然有所助益，可以配合微调获得更好的效果。

针对特定语言任务对大语言模型进行调优至关重要，例如对客户评论做情感分析、或是解答特定专业领域的问题。其中包含基于用户评论，挖掘人们对产品或服务看法的各类示例，以此帮助模型适配具体的项目任务。

微调在项目管理中的优势

微调应用于项目管理，具备如下优势：

• 时间与资源高效：基于已经完成预训练的模型开展工作，相比从零开始训练模型，消耗的时间与资源更少。Azure OpenAI 采用低秩自适应（LoRA）等技术，降低微调成本，同时使用有监督微调，通过输入‑输出配对样本对模型开展训练。所需数据量取决于任务难度，通常最少需要10条样本，非常适合资源有限、时间紧张的应用场景（Frame，2023）。
• 任务性能提升：针对特定业务领域对模型调优后，模型在该特定任务上的表现会得到改善。
• 快速部署：预训练模型可以快速投入使用，对于交付期限严苛的项目尤为重要。
• 定制化解决方案：提示词工程、**检索增强生成（RAG）**等技术，能够以较低门槛完成模型适配，不需要对模型做完整全量训练。可前往微软Azure OpenAI官网查阅更多RAG相关资料。
• 运行效率提升：追求更快输出结果、控制成本的项目，可从微调中获益；微调能够让模型效果更好、响应更快。
• 专业化项目需求：当项目存在高度定制化要求时，往往需要对模型做微调，使其适配细分任务，有效满足专业化需求。

微调面临的挑战与注意事项

开展微调会遇到以下挑战：

• 新任务训练：当模型需要学习自身原本并不擅长的任务时，调优就显得十分关键。大模型参数规模可达数十亿乃至上万亿，训练复杂度很高。必须防范AI幻觉与虚假信息；攻击者可以利用该漏洞篡改现有内容、编造虚假新闻。
• 模型行为调整：修改模型的运行逻辑与输出结果必须慎之又慎。将AI能力接入老旧技术系统，可能会给企业带来更多问题。有预测认为AI模型会取代一部分岗位，同时也会创造新的就业机会。IT部门需要判断是否对接或改造遗留旧系统，并开展成本‑收益分析，避免产生技术债。
• 处理复杂指令：面对冗长、复杂的标准规则，就需要更加定制化的方案，可通过小幅微调实现。高德纳（Gartner）负责技术创新的副总裁兼分析师阿伦·钱德拉塞卡兰指出：模型体量巨大，大多数企业并不具备自行训练的条件。他提到，训练所需算力会带来高昂成本，同时引发环境方面的顾虑。因此他预判，短期内大多数企业会通过云端API调用生成式AI，并搭配微调来落地业务。
• 战略指引与项目管理：部分企业会设立卓越中心（CoE），研究前沿技术的高价值应用场景，并在企业内部完成落地。这些卓越中心对于为项目管理打造经过微调的全新AI模型意义重大。卓越中心制定战略，确保AI项目对齐企业目标，实现资源合理利用；同时推动知识共享、风险管控与质量保障；促进跨领域协作，激发创新想法；推动组织变革、员工培训；建立评估机制，衡量项目交付质量与业务价值。总体来看，卓越中心把大型技术项目和企业整体规划衔接在一起。
• 可解释性：项目经理所需要的洞察视角，和缺少机器学习专业训练的心脏科医生截然不同。因此几乎不可能存在一套“通吃全部场景”的可解释性方法。务必保证AI模型经过训练之后，其预测逻辑能够被人类所理解，但这在实践中并不普遍。

隐私与安全保护至关重要，尤其要保障用户信息与内容安全。在Azure OpenAI中，经过微调的模型存储于安全环境。即便应用程序发生变更，OpenAI也会保证全部内容处于可控状态。

归根结底，预训练模型的价值在于开箱即用、上手简单。但面对难度高、高度定制化的项目，微调可以提供更优的解决方案。项目负责人必须权衡：微调可以带来性能提升，但会牺牲部署速度；同时还要考量项目规模、数据体量以及必须遵守的安全规范。

数据预处理

想要高效微调大语言模型，需要准备一套可以直接投入使用的数据集，复现真实业务交互场景。假设该数据集为对话格式：每一条对话由多条消息构成，每条消息包含角色、内容，还可以附带可选的名称字段。举例，如果想要一个偶尔会说反讽俏皮话的聊天机器人，可以创建如下训练样本：

{"messages": [{"role": "system", "content": "Sheliah is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris, as if everyone doesn’t know that already."}]}

{"messages": [{"role": "system", "content": "Bob is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?"}]}

{"messages": [{"role": "system", "content": "Carib is the name of a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters."}]}

术语对照表