四十一、墨菲法则肆掠的礼拜

2003年一月廿五的消息

第一章：存放我们CVS储存库(我们所有的程序）的Linux服务器挂了。没啥大不了 的，我们有自动的远程映对备份(用rd/st)。花了几小时压缩远程数据再传回来。 结果发现我们忘记用让rd/st移除已删除档案的选项，所以备份并不完美：所有 已删除的档案都还包含在内，只能手动删除。

把这事解决之后，我决定把整个程序目录树重新取出，与我原本在用的目录树相 比较，戠当作最后的确认。可是我的笔记本电脑磁盘驱动器空间不足，该是升 级的时候了。我订了一台60 GB的笔记本电脑用硬盘，还有一个PCMCIA/硬盘连接 器好把旧硬盘备份到新硬盘。这个动作做了约六个小时，在完成50%时失败了， 还要我「执行磁盘扫描」。花了几小时扫描硬盘后重来一次。六个多小时后到 50%时又失败了。这次展来游硬盘带着我的一生挂了。我花了几个小时东试西试， 把硬盘接到不同计算机，试尽各种方法，结论是它真的挂了。

好法，这也没什么了不起，我们每天都会备份(NetBackup Pro)。我把新的60 GB 硬盘装进笔记本电脑，格式化后装好Windows XP Pro。然后要NetBackup Pro把 机器回复到挂掉之前的状态。我损失了一天工作时间，不过反正我这一天也做不 了什么事。那天的电子邮件也没了，所以如果你这星期有寄电邮来而我没反应， 重寄一次吧。

NetBackup Pro跑了几个小时，我就回家让它在晚上继续做。结果早上整个系统 都挂了而且连开机都不行。我猜原因一定是我把XP Pro系统回复到W i n2K映像档。 于是我就再做一次，这次先安装Win 2K (硬盘格式化：一小时；安装Win 2K — 小时；再安装NetBackup Pro Client)，接下来再开始回复。五个小时后才做了 一半，所以我就回家了。

第二天系统开不太起来，会出现蓝色当机画面，不过用安全模式试了半小时后终 于能动了。看起来所有东西都回来了，不过有几个我要Windows加密(用EFS)的 档案不能用而且原因不明，应该是公用密钥和认证的缘故。我猜加密过的档案回 复后就会读不出来。我还不知道要怎么解决。如果你知道要怎么解决我会永远感激你的。[1/26:我想尽办法弄了几个小时终于解决了。]

教训：硬盘挂掉后衍生一串问题然后浪费好几个工作日，这已经不是第一次发生 了。注意我有个很不错的备份策略，所有东西每天都会备份到别处。事实上我 相信这已经是第三次因硬盘坏掉引发一串事故而浪费好几天了。结论：备份还不 够好，现在起我要用RAID映对备份。以后硬盘再挂掉，我要能用15分钟换台新 硬盘进去，回到出事前的状态继续作业。新方针：Fog Creek所有非笔电的计算 机都要有RAID映对备份。

第二章。你注意到之前我们的web服务器当了吗？星期五大约中午本地的Verizon 交换器失火，我们的电话和Internet联机全断了。Verizon花了几个小时回复电 话线，不过T1比较麻烦。我们的T1是跟SAVVIS买的，他们则是找MCI(现在叫 WorldCom)来营运地区性的回路。而Worldcom当然也不是自己实际去蒙运任何线 路，他们才不会弄嚴自己的手呢，他们只是向Verizon购买当地的线路。

所以由周五中午一直到周六半夜，Michael和我轮流上场，大约每小时打电话到 Savvis关心一次。我们对Savvis施压，他们偶而就会去催Worldcom，而Worldcom 则认定全都是某种SQL Server DD0S攻击搞的鬼，所以不太理Savvis。而Savvis 也没告诉我们Worldcom不理他们。于是我们再逼Savvis，而勉#7又逼Worldcom， 大概搞了三回Worldcom才同意打电话给Verizon，然后Verizon找了一个技师来把 问题修好。说实在的，这有点像在推弹費。就像上次Savvis让我们的T1线断了一 天，技术问题其实没什么，如果不用跟这么多白痴公司打交道，几分钟就能找到 问题并修好。

教训：当你向某家公司购买服务，而该公司其实只是把服务外包，这样多了一层 是很难有好的客户服务的。如果外包了两次就几乎不可能有什么服务了。我非 常讨厌鼓励独占的地区电信公司，只有一件事会比直接和地区电信公司打交道更 糟，就是和另一家只能和地区电信公司来往的官僚公司沟通。我们以后的办公 室用的是Verizon DSL，真是谢天谢地。

顺便一提，如果Dell把我们该死的服务器准时送到，你们其实完全不会发现这次 的事件。我们应该在一个月前就换到很好的Pee「1高备援安全托管设施上运行。 看看我上一篇大骂。我有提到我发烧了吗？每次事情出错时我就会生病。

第三章。已经发生上千次了，Fog Creek所在的赤褐色建筑四楼的暖气又没了。 暖气是用热水流过墙壁里面产生的。在墙里怎么可能结冻呢？噢，原来上星期火 炉坏掉了，因为当初装火炉的白痴(大概是无照的)装了 25呎长的水f烟囱，不但 妨碍通风还害一个房客住院，火炉也因此熄灭了几十次。最后暖气公司的人承认 有可能加装一个导风管强迫烟囡通风，不过是在热水管冻住之后再施工。水管本 身的隔热当然也没做好，这是另一个无能的纽约建筑业者的杰作。不过如果火炉 正常燃烧是不会有影响的。

教训：差的系统可能表现完全正常，不过等相邻的系统故障时就会出事。有过敏 背痛的人可能好几个有都没事，不过一患干草热打喷嚏就会背痛到不行。这种 事在系统管理中到处都有。可以利用这种机会把所存你题一次修好。帮你所存游 PC都加装RAID龙互定期备份，不要使用EFS，要买很大的硬盘(这样就永远不必停 下工作来升级），另外要再次确认rdist的命令行选项。安装导风管龙互把水管隔 热做好。把你重要的服务器移去安全的代管设施龙互在办公室改用Verizon的T1 服务。