夜雨聆风学习资料网

ARTICLE · 1379365

千万别让面试官知道你读过Python的源码:我靠一个__slots__把内存砍掉一半,然后装作是运气好

千万别让面试官知道你读过Python的源码:我靠一个__slots__把内存砍掉一半,然后装作是运气好

那年面试一家做数据平台的公司,面试官翻我简历,看到项目里写了一个日志处理模块。他问我,这个模块一天跑多少条数据。我说高峰期两千万左右。他又问,内存占多少。我说常驻在八百兆上下。他抬头看了我一眼,说你这个量级用普通类存对象,光实例字典就得吃掉好几个G吧。

我当时心里咯噔一下。他说的没错。我那个模块最早确实吃过内存的亏,后来改过一版才稳住。他接着问,你是不是用了__slots__。我说是。他笑了一下,说现在愿意翻源码看这个的人不多了。

其实我哪是主动去翻源码的。我是被内存逼的。

先说说问题出在哪。Python里每创建一个普通对象,底层都会给它挂一个__dict__,用来存实例属性。这个字典是个哈希表,本身有开销。你存三五个属性还好,量一上来,几十万上百万个对象,每个对象背后都拖着一个字典,内存就顶不住了。

我当时的代码大概是这样。

class LogRecord:
    def __init__(self, uid, action, ts, ip):
        self.uid = uid
        self.action = action
        self.ts = ts
        self.ip = ip

四个属性,看着不多。跑批的时候一次性把当天日志读进内存做聚合,两千万条,机器直接卡死。我拿memory_profiler跑了一遍,发现光这些实例的__dict__就占了快六个G。数据本身没多少,全是字典的壳子。

后来改成这样。

class LogRecord:
    __slots__ = ('uid', 'action', 'ts', 'ip')

    def __init__(self, uid, action, ts, ip):
        self.uid = uid
        self.action = action
        self.ts = ts
        self.ip = ip

就加了一行。再跑一遍,内存从接近六个G掉到两G出头。同样的数据量,同样的逻辑。__slots__告诉解释器,这个类的实例不要__dict__,属性位置提前固定好,按槽位存。省掉的就是那一个个字典。

这里有个坑得说清楚。用了__slots__,你就不能再给实例动态加属性了。以前随手写个obj.xxx = 1能跑,现在直接抛AttributeError。我第一版改完就踩了这个,某个分支里偷偷挂了个临时标记,上线前测试没覆盖到,跑到一半崩了。查了半天才发现是自己挖的坑。

还有个细节,如果类有继承关系,父类没定义__slots__,子类照样会有__dict__。这点很多人不知道。我当时有个子类继承LogRecord做扩展,父类加了__slots__,子类忘了加,内存一点没降。盯着监控看了半天以为没生效。

面试那天我没敢说这些。面试官问完,我说运气好,试出来的。他也没追问。后来入职了才知道,他自己当年也是被内存告警半夜叫起来改的代码。

说实话,__slots__不是什么高深的东西。文档里写得明明白白。只是大部分人平时写业务代码,对象量不大,根本碰不到这个瓶颈。等到真碰上了,往往已经在线上了,一边看监控一边翻文档。

我现在带新人,看到有人写数据类,量级明显会大的,会提一句。不是炫技,是真的省事。一行代码能解决的事,没必要等内存爆了再回头找原因。

那家公司我待了两年。走的时候那个日志模块还在跑,内存曲线一直很平。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料