乐于分享
好东西不私藏

AI每日课堂:逻辑回归,它不回归,它做分类

AI每日课堂:逻辑回归,它不回归,它做分类
如果你刚接触AI算法,大概率会遇到一个“名不副实”的算法——逻辑回归

名字里有“回归”二字,但它实际上是一个分类算法,而且是最经典、最稳定的分类器之一。

今天这篇文章,用最简单的方式,讲清楚三件事:

  1. 逻辑回归到底是什么

  2. 它用在哪儿

  3. 在大模型时代,它过时了吗

一、逻辑回归的数学含义

一句话说清楚

逻辑回归做的事情很简单:给你一个0到1之间的概率

比如:

  • 这封邮件是垃圾邮件的概率是 92%

  • 这个病人患病的概率是 73%

  • 这个用户会点击广告的概率是 38%

拿到概率后,设定一个阈值(通常是0.5):

  • 概率 ≥ 0.5 → 判为“是”

  • 概率 < 0.5 → 判为“否”

核心公式

逻辑回归的核心只有两步:

步骤数学操作作用
第一步z = w₁x₁ + w₂x₂ + ... + b把输入特征线性组合成一个数值
第二步p = 1 / (1 + e⁻ᶻ)用Sigmoid函数把任意数值压缩到(0,1)区间

这个Sigmoid函数长这样:

当z=0时,p=0.5
当z很大(正数)时,p接近1
当z很小(负数)时,p接近0

一个具体例子

假设你要判断“用户是否会购买某商品”,用了两个特征:

  • x₁ = 浏览时长(分钟)

  • x₂ = 历史购买次数

模型学到的权重是:w₁=0.3,w₂=0.5,b=-2

某用户:浏览10分钟,历史购买3次

计算:z = 0.3×10 + 0.5×3 - 2 = 3 + 1.5 - 2 = 2.5

p = 1/(1+e⁻²·⁵) ≈ 0.924

结论:该用户购买概率为 92.4% ,建议推荐。

逻辑回归 vs 线性回归

对比维度线性回归逻辑回归
输出范围任意实数(-∞, +∞)概率(0, 1)
任务类型预测数值分类
典型例子预测房价50万判断是否买房

逻辑回归 = 线性回归的输出 + Sigmoid压缩

二、经典使用场景

逻辑回归虽然简单,但它是工业界的常青树。以下四个场景最常见:

场景1:信用评分

银行判断“是否批贷”。输入收入、负债、征信次数等几十个特征,输出违约概率。

优势:每个特征对结果的影响权重清晰可见。比如“征信查询次数每增加1次,违约概率上升3%”——这对监管解释非常友好。

场景2:医疗诊断

判断“是否患病”。输入年龄、血压、血糖等指标,输出患病概率。逻辑回归是FDA批准医疗AI中使用频率最高的模型之一,因为它的决策过程可追溯、可审计。

场景3:垃圾邮件识别

判断“是否是垃圾邮件”。输入邮件中的关键词频率(“免费”、“中奖”等),输出垃圾概率。

场景4:点击率预估

广告系统判断“用户是否会点击这个广告”。输入用户历史行为和广告特征,输出点击概率。各大广告平台每天处理的点击量中,逻辑回归仍是最核心的基线模型

三、大模型时代,逻辑回归过时了吗?

这是本文的重点。

先说结论:没有过时。它不仅有用,而且正在以一种新方式和Transformer配合。

逻辑回归的三个不可替代优势

优势说明
极快训练只需几秒到几分钟,推理耗时微秒级
可解释每个特征的权重直接说明其重要性,律师和监管喜欢它
数据需求小几百到几千条样本就能训练,不需要大模型的海量数据

相比之下,大模型:

  • 训练需要几百万到几千亿样本

  • 推理需要GPU,成本高几十倍

  • 内部逻辑是“黑箱”

经典算法在大模型时代的生存逻辑

一个形象的比喻:

大模型是大脑,逻辑回归是执行手脚的快速反射。

在实际工业系统中,它们不是“二选一”,而是 “配合使用” 。

四种经典配合模式

模式1:大模型做特征工程 + 逻辑回归做最终判断

大模型从原始数据中提取高维特征,把这些特征喂给逻辑回归。逻辑回归只负责学习简单的线性关系,速度快、可解释性强。

案例:风控系统。大模型阅读用户的全部行为序列(几十个事件),提取出“异常行为模式”特征;逻辑回归结合传统信用特征,输出最终违约概率。

模式2:大模型做冷启动 + 逻辑回归做在线推理

新任务刚上线时没有标注数据,先用大模型的零样本能力生成伪标签;积累几百条真实数据后,训练一个轻量级逻辑回归用于线上实时推理。

逻辑回归推理耗时 <1毫秒,大模型可能需要几百毫秒甚至秒级。

模式3:大模型做路由 + 逻辑回归做局部决策

大模型判断当前请求属于哪个“场景”,路由给该场景专属的逻辑回归模型处理。

客服系统中:大模型判断用户问的是“退款”还是“物流”;退款场景下,用专为此场景训练的逻辑回归快速判断“是否自动通过”。

模式4:逻辑回归做可解释性代理

大模型给出黑箱预测后,用一个局部训练的逻辑回归模型来解释这一预测:当前决策中,哪些特征起了关键作用。

银行拒绝贷款时,监管要求给出具体原因。大模型说“拒绝”,逻辑回归代理说“因为近3个月征信查询次数过多”。

一组参考数据

对比维度大模型逻辑回归
训练所需样本量百万 - 千亿级百 - 万级
单次推理耗时10-500毫秒<0.1毫秒
推理硬件成本GPU(高)CPU(极低)
可解释性低(黑箱)极高(白箱)
适用任务复杂度低-中

四、一句话总结

逻辑回归出生在1958年,到今天已经60多岁。

在AI算法里,这算是“活化石”了。

但它没有被淘汰,原因很简单:

不是所有问题都需要大模型。

判断一个用户会不会点击广告、会不会逾期还款、会不会患病——这些问题,逻辑回归用几百条数据、几秒钟训练、微秒级推理就能做得很好。

大模型负责复杂推理、内容生成、语义理解。逻辑回归负责快速、稳定、可解释的分类决策

两者不是替代关系,而是分工关系

下次你收到一封被自动归入垃圾箱的邮件,背后大概率是一个逻辑回归模型在默默工作——不是GPT,不是Transformer,就是这个1958年的老算法。

经典之所以是经典,不是因为它最强,而是因为它始终有用。