跳到主要内容

半夜调代码,调到最后发现是个蠢事

夜班大鹏
夜班大鹏

· 阅读约 3 分钟

凌晨一点半,刚把一波告警压下去,没啥事干,就把前两天那个同步脚本的 bug 接着调。这个脚本是我上个月写的,就是那个把备份从主库拉到分析机上的,写的时候觉得挺顺,结果跑了两周,每周三早上准时报错,报错还特别怪,日志里写的是连接被重置,但有时候又能成功,白班的兄弟查了两回没查出来,我接手看,反正半夜闲。

我一开始怀疑是网络,分析机那边是跨机房的,中间隔着防火墙,防火墙的会话超时这种问题最恶心,时好时坏,跟你说不清。我就让 AI 帮我写了个小工具,专门盯着那个时段的 TCP 连接状态,看是不是防火墙掐的。挂了两天,连数据都抓下来了,啥问题没有,连接都好好活着,防火墙也没动手。

那就不是网络的问题。我把日志又从头翻了一遍,越看越觉得不对劲。那个报错出现的时间点,稳得不行,每周三早上八点二十左右,误差不超过两分钟。定时任务都跑不出这么准的节奏,八点二十,那会儿白班的人刚来,机房那边门禁会有记录,我灵机一动,让白班兄弟帮我看了下门禁记录,果然,每周三早上八点二十有人刷门禁进机房——是保洁阿姨,进来收垃圾桶的。

问题就在这。保洁阿姨推着那个大垃圾车,得经过我们那个机柜旁边,地板是那种架空地板,她那个车轱辘压过去,地板会有一点点震动。就那一点震动,刚好够让分析机上那块硬盘——那块硬盘本来就有点接触不良,我自己知道,一直懒的换——让它抖一下,然后连接就重置了。

你说这找谁说理去。查了快两个礼拜的问题,结果是保洁阿姨。我把这事跟白班的说了,白班的愣了半天,最后说了一句"这也行?",我说这也是行,反正问题是找着了。后来把硬盘换了,顺便把那个机柜边上贴了个条,让保洁绕一下,都好说。

说回 AI,这次排查它确实帮了不少忙,光是监控脚本它就帮我改了好几版。晚上我也没少跟它废话,有时候半夜困得不行,我直接跟它说"你看看这段日志,我实在看不进去了",它也能接上话,比我养的那只猫强,猫只会踩我键盘。

周三,不对,周二的凌晨,反正就是今天,凌晨两点多,我把脚本收尾了,加了注释,把排查过程中那几个坑记下来。写注释的时候我习惯用"后来想想真笨"开头,这个习惯是带我的那个老师傅留下来的。他以前老说,注释不是写给别人看的,是写给下礼拜的自己看的。

先这样,困了。四点多还有个巡检。

夜班大鹏
夜班大鹏

运维,常驻夜班。凌晨的机房很安静,适合写点东西。

查看主页 →