服务器为何总是无缘无故死机？
机房为何总是频频“失火”？夜半时分的值班室竟有女鬼？一向谨慎的老前辈为何大打出手？究竟是命中注定？还是飞来横锅？
欢迎收看《走近运维》节目故事要从一位网名叫做唐宋元明清的运维同学说起，唐宋元明清是一个会写代码的10年运维人，同时他也是行业老鸟了，经验丰富的他早已经见怪不怪，可是就在最近，他找到高效运维社区说了一件令他大跌眼镜、终身难忘的事情！
故事是这样婶儿的。

运维工作的日常本来是平平无奇，谁料一段时间公司的主登录服务器经常死机，毫无征兆的发生宕机，让线上的同事急的像热锅上的玉米，下一秒就炸开了锅！
这让唐宋元明清和伙伴们摸不着头脑，只能飞奔到服务器机房，怎料！在场的每个人的眼睛都瞪得像铜铃！原来是服务器的电源插头被人拔出来了！它就那么静静地躺在了地板上，嘲讽着被迫营业的运维小伙子。

唐宋元明清本以为只要插回去，问题就解决了。可谁知，这样的事情竟反反复复发生，在下班后、在午夜、在假日，它就是不在上班时间！
“不行！我必须查清楚究竟是谁在捣鬼！”唐宋元明清本暗暗下定了决心，于是潜心调查，坚持蹲守，终于皇天不负运维人！有一天，他们在服务器底下的轮子里发现了一块拖把上掉下来的布头。

据这不完全的证据显示，他们推测出：有某个进入服务器机房扫地的保洁人员经常把电源插头碰掉了……
随后，运维小分队迅速想出了补救办法，想真正实现一劳永逸：把机房的大门锁上！🔐
唐宋元明清对节目组说，这是从业以来最啼笑皆非的宕机原因，这谁顶得住啊？笑了好久！
如果你觉得这个故事是小儿科、小case，那么接下来 jayke 同学讲述的故事，你就要看仔细了。
已经在运维岗位9年的 jayke，时常回忆起刚毕业时初入此行的一件事！
那时的 jayke 还是小白一枚，但是迫于生活压力，只能夜夜做着值班监控看屏的工作。这段时间公司服务器经常被 ddos，有个小屏幕的专门监控流量，超过阈值就滴滴滴滴过会就恢复，某一个夜黑风高的夜晚，12点左右，jayke依旧坚守岗位，盯着屏幕，心想这7x24小时值班的日子什么时候是个头？突然监控又滴滴滴滴想，jayke就起身去关掉。

可是刚点完确定，突然！耳边传来一个软妹子的声音：来和我说说话呀……顿时 jayke 同学头皮发麻，感觉整个头发都炸了起来！jayke 赶紧环顾四周，并没有人，监控室的小屋子只有自己，好在随后这声音并没有再响起，jayke立即又冷静了下来，心想：不能跑路，公司业务要紧！！！
看到这里，我们不禁感叹，多么感人肺腑的精神！不但面对这种时刻，运维人不能怂，面对时时刻刻运维人都不能怂，源以南同学就回忆起刚入行的一件有趣的事情。

那是早些年，某夜，源以南同学与崇拜的运维大神喝酒，酒过三巡，太上头了！大神脸红，开始语无伦次。此时公司电话打来，报告设备故障，业务无法正常访问，需大神前往数据中心排查。大神二话不说，踏着蹒跚步就赶去现场了。那时候的源以南怀着崇敬的心情目送大神离开。

谁知，事后了解到，大神因为喝了酒，数据中心保安不放行而发生了冲突，最后大打出手，110都来了。回到家后一觉醒来，断片了，只觉胸口隐隐作痛；至于业务，停了超过4小时后其他工程师去救火解决。
从这个事情我们应该深刻认识到，虽说老运维喝酒打架都不怂，但避免rm -rf，还是喝酒不oncall，oncall不喝酒啊~

下面接入一组采访快讯，背锅侠、龚同学、gongIke_leo 也带来了他们在运维工作中印象深刻的故事。
背锅侠：
还是几年前的一次，某个存储的盘已经因业务需求，临时做了 lvm 给某主机文件系统使用了，由于疏忽少做了个记录，后面另外的主机数据库做 asm，需要存储，lun又给了数据库使用，结果导致磁盘被格式化，文件系统主机的数据丢失，好在后面通过异地容灾数据复制了回来。
原因想了下，不过是管理问题，监管问题，执行问题。接手时就多台主机可见所有的数百T存储 lun，说是要达到存储的高效利用，做个存储池，全部靠一个 excel 文档管理，实际配置的时候没其他人检查，配置时没有检查磁盘的使用情况。
还真是前人埋雷，后人挺尸，做运维最怕前面有坑，等着你跳下去。如果每个主机按需供给磁盘，根本不会出这个问题。龚同学：

在上家公司，我们收购的一站长统计平台，事发前一日收到黑客勒索邮件，在凌晨发起 ddos 攻击，刚开始认为攻击当量不大，即刻将域名指向静态页面并同时起五台峰值各为100Mbps的ECS云主机，1分钟后全部失联，紧急将业务导入高防机房（IDC说能抵御200Gbps当量攻击），撑了一个小时，对方销售说机房已经剪网线，不接这单了。
而第三方站长论坛抱怨意见已沸腾，只能兵分两路，原网站所有人去网安大队报警立案，我们接入XX云盾（高防IP），初期CNAME指向过去，导致XX云dns域名解析服务受影响，对方产品经理跟我解释超过他们设计的qps，域名被拉黑名单（一年后都没解禁），直接指向高防IP（非域名）。
将近八万元的花费/天撑了48小时，最高峰值275Gbps，我们用资源暂时守住，对方未达到预期目的，同时警方介入我们与华裔黑客（人在菲国）的谈判过程，对方放弃了此次攻击行为，我们终于松了口气，后来全面做了复盘，针对薄弱环节进行全面整改。
gongIke_leo 同学：

这件事我一直记得，那还是2017年2月22日（真的够2的），当时才刚刚正式转任DBA才2个月。
又是一个平平无奇的工作日，我请假回老家，怎奈接到管服务器的同事电话，说VMware VSAN有问题了，而整个20几个业务系统，包括备份的服务器都是基于此的。领导一个有一个电话追我回公司；我实在没办法赶上凌晨五点的第一班火车回去。

情况比我想象的要糟糕，20几个业务系统基本都没救活， 有备无患这个成语十分体现了当时的场景。因为之前自己的考虑，在另外一个服务器上搭建了一个总部系统，所有业务系统的单据等重要信息都会往总部系统的DB里回写。
说干就干，由于对整个系统DB的结构非常的熟悉，此机制也是自己弄的，啪啪啪的数据恢复的sql script很快就写完了。同时管服务器的同事也在重新搭建各业务系统的服务器， 每搭建一台就交付一台给我，我就搭建一个相应的业务系统程序，并恢复其原始数据。
最后此次事故的结果，领导，管服务器的同事都罚款了，我没罚没奖（其实我觉得的我是躺枪了无妄之灾，事后最大的功劳也是我，该奖励的，哈哈。）

稍等！文末有彩蛋！
精彩的运维故事说不完，19年11月1日，近70名运维老专家齐聚上海，为你讲述从业10多年的精彩运维故事：

第十三届 GOPS 全球运维大会将于2019年11月1日-2日在上海召开。大会为期2天，侧重方向是 AIOps、运维自动化和 DevOps。目前已经有全国各地大公司组团前来参加。
讲师天团
点击查看大图⏬

扫码参与报名

关于“GOPS 全球运维大会·上海站”您有任何的看法或想聊点啥，请尽管在留言。24h内点赞Top3的朋友，您将获得《智能运维技术图书》一本
24h内点赞Top3-10的朋友，您将获得《企业级 AIOps 实施建议白皮书》一本
联系人：晨晨：135 2116 9787
点击，进入活动官网









爱八卦的




扫一扫下载订阅号助手，用手机发文章

赞赏



长按二维码向我转账


受苹果公司新规定影响，微信 iOS 版的赞赏功能被关闭，可通过二维码转账支持公众号。


















已同步到看一看



取消
发送


我知道了








朋友会在“发现-看一看”看到你“在看”的内容
确定













已同步到看一看写下你的想法



最多200字，当前共字
发送







已发送







朋友将在看一看看到
确定



写下你的想法...









取消
发布到看一看
确定




最多200字，当前共字








发送中













微信扫一扫
使用小程序







取消
允许






即将打开一个新页面

取消
允许