情シスから寄せられた珠玉のエピソードを紹介
イベント会場には、情シスだけが怖い話「番外編」として、情シスの現場から寄せられた珠玉のエピソードも掲示された。参加者は、生々しい内容にゾッとしつつ、配られたお札を張り付けて“供養”していた。
最後に、お札が多く張られたエピソードとして、「サーバー代を支払い忘れて…」「絶対に離してはならない指」「データ“焼失”の危機」を紹介する。
『サーバー代を支払い忘れて…』
7月のある日、自社システムと連携しているサービスで朝からエラーが発生しました。
連携できたりできなかったり、今まで大なり小なりエラーはあったため高を括っていたのです。
しかし午後には全ての連携ができなくなったため、原因究明を急ぐと原因は「ホスティングサーバー代の支払い忘れ」と判明。担当者変更時にメールアドレス変更を忘れていたため催促メールが届いていませんでした。
管理画面で未払いを確認し急いで支払いましたが、1時間か2時間で復旧するはずなのにいつまで経っても復旧しません。
社内には翌日復旧すると説明し当日は収めました。しかし、翌日も復旧せず、ホスティング会社に確認したところ、支払いが間に合わず、サーバーデータは削除されたことが判明します。
代替の環境を急遽作成して、DNS登録の時間も考慮して当日テスト、翌日本番ということで対応。この時に、サーバーが負荷分散で複数あることが判明し、DNSのキャッシュで受付できているものとできないものがあったことがわかりました。
翌日の本番切替もDNS更新された物から順次切り替えたため、完全復旧は正午に。こんなトラブルを切り抜けたシステムですが、半年後には別システムに移行しました。
「サーバー代を支払い忘れて…」
『絶対に離してはならない指』
昔、サーバーの電源が物理スイッチだった頃の話です。
スイッチは対人地雷のごとく押しただけでは電源が切れず、そのまま指を離さないとスイッチが切れませんでした。
とある深夜のこと、サーバールームの片隅でうっかりそのスイッチを押してしまいました。
指はまだ離れていないので、サーバーの電源はついたまま。しかし、指を離すとサーバーは落ちてしまうため、その場から動けません。
「助けて！」と叫んでも、サーバールームのメインフレームの陰だったので、誰にも気づいてもらえず、スイッチを押したまま1時間が経過。同僚も黙って帰ってしまったので、心が折れてしまい、結局スイッチを切ってしまいました。
電源を押してすぐに戻したのですが、なぜかその後クレームは1件もありませんでした。とりあえず壊れなくてよかったです。
「絶対に話してはならない指」
『データ“焼失”の危機』
ある日、普段は利用していない仮想サーバーにアクセスできない状態に気づき、サーバールームで確認したところ、仮想化基盤サーバーの電源が落ちていました。
UPSから電源を取っているため電源が落ちることはないはずなのに…。しかし、UPS自体のランプが点灯していなかったため、UPSの故障と判断しました。
業者に連絡すると後日訪問してもらえるとのことで、その日は放っておくことに。このとき、少し変な匂いがしたような気がしましたが、エアコンの掃除をしていないからだと思い、特に気にしませんでした。
後日業者がUPSを納品・入れ替えに来た際にUPSのアダプターが焦げているのに気が付きました。延長コードからUPSのアダプターを外すと挿し口が焼け落ちていて出火寸前だったのです。
原因はUPSの故障ではなく、電源を取ってきている延長コードがUPSの必要電圧に耐えきれず、焼け落ちてしまっていたためでした。当初の設計では電圧は問題ないとのことでしたが、想定より仮想サーバーが電力を必要としていたため、延長コードが電圧に耐えきれなかったのです。
あの日、普段利用していない仮想サーバーにアクセスしようとしていなかったら、出火するまで気づくことができず、データも会社も焼失してしまったかもしれません（別拠点へのレプリケーションも終わっていなかったので…）。
「データ“焼失”の危機」
