ARTICLE · 1379365
千万别让面试官知道你读过Python的源码:我靠一个__slots__把内存砍掉一半,然后装作是运气好
那年面试一家做数据平台的公司,面试官翻我简历,看到项目里写了一个日志处理模块。他问我,这个模块一天跑多少条数据。我说高峰期两千万左右。他又问,内存占多少。我说常驻在八百兆上下。他抬头看了我一眼,说你这个量级用普通类存对象,光实例字典就得吃掉好几个G吧。
我当时心里咯噔一下。他说的没错。我那个模块最早确实吃过内存的亏,后来改过一版才稳住。他接着问,你是不是用了__slots__。我说是。他笑了一下,说现在愿意翻源码看这个的人不多了。
其实我哪是主动去翻源码的。我是被内存逼的。
先说说问题出在哪。Python里每创建一个普通对象,底层都会给它挂一个__dict__,用来存实例属性。这个字典是个哈希表,本身有开销。你存三五个属性还好,量一上来,几十万上百万个对象,每个对象背后都拖着一个字典,内存就顶不住了。
我当时的代码大概是这样。
def __init__(self, uid, action, ts, ip):
self.uid = uid
self.action = action
self.ts = ts
self.ip = ip
四个属性,看着不多。跑批的时候一次性把当天日志读进内存做聚合,两千万条,机器直接卡死。我拿memory_profiler跑了一遍,发现光这些实例的__dict__就占了快六个G。数据本身没多少,全是字典的壳子。
后来改成这样。
__slots__ = ('uid', 'action', 'ts', 'ip')
def __init__(self, uid, action, ts, ip):
self.uid = uid
self.action = action
self.ts = ts
self.ip = ip
就加了一行。再跑一遍,内存从接近六个G掉到两G出头。同样的数据量,同样的逻辑。__slots__告诉解释器,这个类的实例不要__dict__,属性位置提前固定好,按槽位存。省掉的就是那一个个字典。
这里有个坑得说清楚。用了__slots__,你就不能再给实例动态加属性了。以前随手写个obj.xxx = 1能跑,现在直接抛AttributeError。我第一版改完就踩了这个,某个分支里偷偷挂了个临时标记,上线前测试没覆盖到,跑到一半崩了。查了半天才发现是自己挖的坑。
还有个细节,如果类有继承关系,父类没定义__slots__,子类照样会有__dict__。这点很多人不知道。我当时有个子类继承LogRecord做扩展,父类加了__slots__,子类忘了加,内存一点没降。盯着监控看了半天以为没生效。
面试那天我没敢说这些。面试官问完,我说运气好,试出来的。他也没追问。后来入职了才知道,他自己当年也是被内存告警半夜叫起来改的代码。
说实话,__slots__不是什么高深的东西。文档里写得明明白白。只是大部分人平时写业务代码,对象量不大,根本碰不到这个瓶颈。等到真碰上了,往往已经在线上了,一边看监控一边翻文档。
我现在带新人,看到有人写数据类,量级明显会大的,会提一句。不是炫技,是真的省事。一行代码能解决的事,没必要等内存爆了再回头找原因。
那家公司我待了两年。走的时候那个日志模块还在跑,内存曲线一直很平。















































































