热乎!AI 产品面试真题题:你会如何选择模型?

最近，一位产品同学想转型 AI 产品经理岗位。

他在面试中被问到：“你会如何选择大模型？”

我给他的建议是，先把业务里需要模型做的事讲清楚，再谈选哪一家。

顺着这个思路，评测怎么做、成本怎么比，也就有了依据。

后面我会持续整理这类面试题。

这篇先聊模型选型。

其中，他遇到的一个问题：

你会如何选择大模型？

就这句问题而言，回答时可以先交代选型思路，再结合自己熟悉的项目说明，避免一上来就报模型名字。

这道题通常在看三个方面。

同一个产品里，识别用户意图、理解材料、调用工具、生成报告，对模型的要求并不相同。

把这些差异讲清楚，面试官才知道你为什么要选这个模型。

模型口碑可以作为参考，但具体怎么选，还得讲清楚测了什么、怎么判断，以及哪些结果不符合要求。

质量之外，还要考虑数据安全、接入条件、响应时间和成本。

面试官也可能继续追问：

单独测试表现不错的模型，接入真实工作流后是否仍然可靠？

建议先把选型拆成两个问题：

业务需要什么模型能力？

具体用哪家厂商、哪个版本？

先讲业务链路。

选择一个熟悉的项目，说明有哪些任务、哪些交给程序、哪些需要模型理解，进而提出能力要求。

例如假勤审核，就要说清哪些材料交给模型理解，哪些规则由程序执行。

再讲候选模型怎么比较。

先筛掉不满足安全和接入要求的方案，然后拿真实样本测试，交代评什么、如何比较，以及哪些错误不能接受。

最后讲决策标准。

质量达到业务要求后，再权衡成本和响应时间；如果不同节点需求差异较大，可以组合模型。

有真实评测结果就补充证据；还没做过的部分，就讲清准备如何验证，不要把计划说成经验。

面试官，您好：关于这个问题，我会先看模型要在业务里完成什么任务，再考虑具体选哪家厂商、哪个版本。我结合自己做过的假勤审核项目，说明一下我的判断过程。1、先明确业务需要的模型能力开始选型时，我会先拆开业务链路，看看每个节点要完成什么任务。比如，意图识别重点看分类能力，任务规划重点看推理和工具选择能力；图片或扫描件处理重点看多模态理解；总结和报告生成，则要看信息完整性、指令遵循和输出格式。思考、生成、提示词改写等职责可以分别配置，但不一定需要使用不同的底层模型，要根据任务复杂度和实际效果判断。如果一个模型就能满足几个节点的要求，也没有必要为了分工而增加模型数量。在这个假勤审核项目里，重点是材料理解、审核判断和结构化输出。明确的业务规则由程序处理，需要理解材料的部分再交给模型。因此，我会先看这些节点需要什么能力，而不是直接选一个大家认为最强的模型。2、筛选具体厂商和模型版本明确能力需求后，我会在满足公司数据安全和接入要求的前提下，比较不同厂商的具体模型版本。我会参考公开测评、官方能力说明和用户反馈，形成候选范围，再用真实业务样本测试，不只凭某家擅长编程、某家擅长写作这样的印象决定。3、用业务样本验证节点和完整链路测试时，我会尽量保持样本、业务规则和提示词一致，比较结果准确性、格式稳定性、响应时间和单次任务成本。样本除了正常情况，还应覆盖材料缺失、信息矛盾等情况，并事先明确预期判断。对于 Agent，还要看工具调用是否正确、整个任务能否完成。模型接入工作流后，会受到上下文、工具返回和工程规则的影响，所以我既会检查单个节点，也会验证完整链路。比如假勤审核，尤其要关注不符合条件的申请是否被错误放行，不能只看回复是否流畅。对无法可靠判断的情况，也需要设计人工复核的处理方式。4、在质量达标的前提下做取舍综合这些测试，我会在质量达标的前提下，选择成本和响应时间合适的模型；如果不同节点的需求差异明显，也可以组合使用不同模型，并评估这样做增加的维护成本。

我觉得这份回答比较扎实的地方，是每一步都有理由：

为什么需要模型？

拿什么来比较？

最后怎样做决定？

另外，自身的项目经历（假勤审核）的例子很好，也说明了程序与模型如何分工，以及为什么要重点关注误放行。

还需要补强的是实际证据。

面试官很可能追问：

你用了多少样本？

怎样判断质量达标？

遇到过什么错误？

当然，如果确实做过，一定要准备一两个真实案例和评测记录。

如果尚未验证的内容，明确说是后续方案。

总之，面试时候一定要记得：方法讲得清楚，再有事实支撑，回答才更有说服力。