钉钉换帅了。
6 月 11 日,阿里宣布钉钉管理层调整,陈航卸任钉钉 CEO,1992 年出生的
AI 写的代码出了事,你说得清楚吗
最近鸭鸭在脉脉刷到一条帖子,69 个赞,评论区 60 多条。
帖主是个后端,前端同事走了,他只好自己顶上来。
原帖是这么写的:
前端兄弟快回来吧,后端真不会写页面了,语法糖给我熏晕了,页面全靠 AI 黑盒,快被搞死了。

评论区赞最高的一条:
我和 Cursor 一起离职。

鸭鸭看着有点好笑,但笑完觉得挺值得聊。
因为这个处境,最近越来越多人在经历:
有人被临时顶上不熟悉的技术方向,全靠 AI 工具撑着。
有人项目里 80% 的代码都是 AI 生成的,自己基本没写过。
有人每天在用 AI 跑结果,但说不清楚这段代码为什么这样跑。
"出了 bug,我能查明白吗?"
"面试官问起项目细节,我能答得上来吗?"
"这个功能上线出了问题,我能解释清楚是怎么回事吗?"
但这次不是泛泛的焦虑了,它变成了一个很具体的问题:
当你开始完全依赖一个你看不懂的输出,你是在用 AI 辅助开发,还是在帮自己埋雷?
鸭鸭想说一句很多人不愿意承认的事:
"黑盒"不是 AI 的属性,是你在某个时刻选择不理解、直接点确认的那一秒开始形成的。
这话有点冲,但挺真实。
……
那为什么这件事现在变得更普遍?鸭鸭说几句不太客气的话。
第一,AI 会生成,但不会告诉你为什么这样生成。
你让它写一段组件,它能写出来。
但它不会告诉你:这里的依赖数组写错了,下个版本会出问题。
这个语法是新特性,你的项目版本不支持。
这块逻辑没处理边界,用户快速操作时会崩。
它只管输出,不管后果。后面的坑,是你的。
第二,能跑和能上线,是两回事。
代码能跑,不代表边界情况处理对了。
页面能显示,不代表弱网、低端机、不同分辨率下都没问题。
这就像让朋友帮你做了一道菜,能吃,但你不知道里面放了什么。下次出了问题,你连从哪里查起都不知道。
第三,面试里,这个坑会原形毕露。
面试官问:这个功能是怎么实现的?
AI 写的代码,你真的能一句话说清楚吗?
很多人在这里卡住了:说浅了,追两句就被问倒;说深了,自己又没底气,越说越错。
……
那对现在靠 AI 辅助写代码的人来说,这件事意味着什么?鸭鸭觉得有三点。
第一,每次让 AI 生成完,逼自己读一遍。
不用全背下来。能说出这段在做什么、可能在哪里出问题,就好。
你跟 AI 最重要的分工就在这里:它负责生成,你负责判断生成得对不对。
第二,碰到看不懂的地方,让 AI 给你解释,别直接跳过。
目标很简单:面试时能说清楚,这里是这么处理的、当时是这样考虑的,就够了。
跳过这一步,项目经验就只是一堆你不了解的代码。
第三,简历和面试里说 AI 辅助开发,要能说清楚你的判断在哪。
不是"用 Cursor 写的",而是"AI 生成了初版,我做了 XXX 方向的调整,因为原来的写法有 XXX 问题"。
这一句话,就是你和只会点确认的人最大的区别。
所以鸭鸭最后的判断是:
AI 辅助开发最大的风险,不是它写错了,而是你不知道它写错了,还把它推上了线。
你们现在的项目里,有多少代码是能跑但没人说得清楚的状态?
……
今天鸭鸭和大家分享一道 AI 大模型面试题。
【请举例说明假设在电商系统中,哪些功能适合直接使用大模型完成,哪些需要结合工程化手段?】
回答重点
医疗场景的核心原则是宁可漏诊也不能误诊,所以系统设计必须把"防幻觉"放在第一位,效率提升是在安全基础上的加分项。
整体架构分 4 层防护:
1)RAG 层,所有回答必须基于权威医学文献和药品说明书,大模型不允许凭空编造
2)边界控制层,通过 Prompt 工程限定 AI 只能做"信息整理",禁止输出诊断结论和处方建议
3)风险分级层,根据症状严重程度自动分流,发烧咳嗽这种走 AI 自动回复,胸痛呼吸困难直接转人工
4)人工兜底层,所有 AI 回复在展示前要过一道医学规则引擎,高风险内容必须医生审核
技术手段主要包括:
1)知识图谱增强,把疾病、症状、药物、禁忌之间的关系建成图谱,AI 输出的每个医学断言都要去图谱里校验
2)不确定性量化,让模型输出时带一个置信度分数,低于 0.8 的回答自动标记"仅供参考,建议就医"
3)多模态交叉验证,文字描述和检查报告图片结合分析,减少单一信息源带来的误判
扩展知识
AI 幻觉在医疗场景的危害
大模型幻觉在普通场景最多是闹笑话,在医疗场景可能出人命。丁香园曾经测试过,让 ChatGPT 回答"阿司匹林和华法林能不能一起吃",它有时候会说可以,但实际上两者联用会大幅增加出血风险。
RAG 技术在医疗场景的落地
RAG 不是万能药,医疗场景的 RAG 和普通问答 RAG 有几个关键区别:
1)知识库质量要求极高,只能用 NCBI、PubMed、药监局官网这类权威来源,网上搜来的科普文章不能入库
2)检索精度要求高,普通场景召回率优先,医疗场景准确率优先,宁可少返回几条也不能返回错的
3)必须保留溯源链路,每一句话是从哪篇文献哪一页来的,要能追溯
基于 LangChain 的实现示例:
fromlangchain.embeddingsimportOpenAIEmbeddings
fromlangchain.vectorstoresimportChroma
fromlangchain.chainsimportRetrievalQA
# 医学专用向量库
medical_db=Chroma(
collection_name="medical_knowledge",
embedding_function=OpenAIEmbeddings()
)
# 检索器配置,只返回高相关度结果
retriever=medical_db.as_retriever(
search_type="similarity_score_threshold",
search_kwargs={"score_threshold": 0.85, "k": 3}
)
# 医疗专用系统提示
system_prompt="""你是医疗信息助手,遵循以下原则:
1. 只基于检索到的文献回答,禁止推测
2. 每个医学陈述必须注明来源文献
3. 遇到检索结果不足的问题,回复"建议咨询专业医生"
4. 禁止给出诊断结论和处方建议"""
qa_chain=RetrievalQA.from_chain_type(
llm=OpenAI(temperature=0),
retriever=retriever,
chain_type_kwargs={"prompt": system_prompt}
)
人机协作的分级审核机制
不是所有问题都需要医生盯着,那样效率太低。合理的做法是按风险分级:
1)低风险问题,比如"感冒了多喝水有用吗"、"维生素 C 每天吃多少",AI 直接回复,后台抽检
2)中风险问题,涉及具体症状描述的,AI 生成初稿后护士快速过一遍,30 秒内放行或修改
3)高风险问题,涉及急症症状、慢病用药调整的,必须医生审核后才能发给用户
京东健康的智能问诊就是这个模式,AI 处理 70% 的常规咨询,医护只需要聚焦那 30% 的复杂问题,人效提升了 3 倍。
不确定性量化的实现
让模型"知道自己不知道"是防幻觉的关键。实现方式有几种:
1)输出校准,用医学问答数据集对模型做校准训练,让它输出的概率分布更接近真实正确率
2)多次采样,同一个问题让模型回答 5 次,看答案一致性,一致性低的标记为不确定
3)基于检索的置信度,如果 RAG 召回的文档相关度都不高,直接判定为知识库覆盖不足,拒绝回答
defcalculate_confidence(query, retrieved_docs, model_output):
# 检索置信度:最高相关度文档的分数
retrieval_conf=max(doc.scorefordocinretrieved_docs)
# 多次采样一致性
samples= [model.generate(query) for_inrange(5)]
consistency=calculate_semantic_similarity(samples)
# 综合置信度
final_conf=0.6*retrieval_conf+0.4*consistency
iffinal_conf<0.7:
return"建议咨询专业医生", final_conf
eliffinal_conf<0.85:
returnmodel_output+"\n\n 仅供参考", final_conf
else:
returnmodel_output, final_conf
篇幅有限,完整答案可以点击下方进行查阅:
我们精选了近两年的高频面试真题,已经有 10000 多道面试题目啦,由大厂资深面试官手写答案,押题命中率超高!
不仅有传统八股文,场景题、项目题、系统设计题等等应有尽有,还在不断更新中!
目前优惠最低特价 129 元即永久(限时上架)畅看所有面试题和答案,正式运营价格为 399+,不要错过这次优惠哈!
且,现在邀请好友注册并成为会员,还可获得 10% 的分佣🧧!详情见面试鸭拉新邀请有赏规则(网页版面试鸭点击头像查看)

网页端网址:www.mianshiya.com

往期推荐
Leader:“岗位被 AI 替代,降薪 1 万你接受吗?” 我:“不接受。” Leader:“恭喜你,那公司赔你 2N。”
赛博乞讨成真?这泼天的富贵我也想要!
同事:“卧槽,你上班刷BOSS直聘,不怕被发现?“我:“嘘,准备跑路了,听说现在行情很好..“
夜雨聆风