ドMな勉強会！？「トラブル☆しゅーたーず #08　〜　虹色のくじらを探して　〜」に参加してきました！ #トラしゅ : 元うなぎ屋

2014年8月10日日曜日

ドMな勉強会！？「トラブル☆しゅーたーず #08　〜　虹色のくじらを探して　〜」に参加してきました！ #トラしゅ

なのまるっす！

ドMな勉強会でお馴染みの「トラブルしゅーたーず #8」に参加してきました！

「トラブルしゅーたーず #8」とは主催者がニフティクラウドに再現したトラブル環境
【仮想】お客様の「五月女商会」さんのサイトを参加者が【仮想】管理請負会社として、復旧させるという参加者、めっちゃドMな勉強会です！ｗ

まずは、今回の想定環境を説明した「読本」です！

チームに分かれて開始！

早速、チームに分かれて勉強会の開始です！
僕らは「Team3」です！いやいや優秀なメンバーばかりで非常に助かりました！

状況整理

登場サーバー

ホスト名	役割
LB	SV01とSV02をバランシングする目的で稼働しているが、現状はSV1のみにバランシング
SV01	メインサーバー　（現在乗っ取られている）　FC2をベースにしたブログサイト
SV02	メイン２サーバー現在は停止させている。通常はバックアップ目的でメンテナンス時に利用
DB01	メインDBニフティクラウドのRDB機能冗長化
DB02	テストDBニフティクラウドのRDB機能を活用
DocR	配布サーバー、ファイルサーバー、に利用している

と、一応あります（実はちょこっと違っている部分もありｗ）

対応流れ

ざっと流れですが、

【14:00】自己紹介・役割分担（なんとなくｗ）
状況確認と復旧手順書確認
SV01とSV02対応版に別れる
ドキュメント担当を任せる
情報は口頭で常にメンバーに確認
お金がかかるものなどは、常に「五月女商会」さんに確認
【17:30】サイト復旧
【17:45】作業報告及び改善提案発表会

と、こんな感じでした！

対応

いろいろ、対応したんですが最終的には「完全復旧」にはいたらなかったです。

SV02を手順書通り、本番系にすることはdockerの知識が結構必要だったと思われるので、途中で「山◯」くんのツイートを見て方針転換ｗ

昨日はバックアップをクラウドに突っ込んであるんだけど、使えばなおんのかな？何が起こってるんだろね。わっかんねーや。 #トラしゅ
— 山◯ (@_yama_maru) 2014, 8月 9

もう、バックアップから戻しましたよｗ

mysqldumpコマンド無いとか、モーどーでもいいっすｗ

とにかくDBのデータのバックアップを取得して、クラウドストレージにあったSQLを流し込んでサイトは復旧」この時、17:30！ここまで手一杯～

完全復旧に至らなかったのは後述

各チームによる発表会

各チームによる「五月女商会」さんに向けての報告書発表です！

すべてのチームが、メンバーみんなで「申し訳ありません」と頭を下げる儀式が面白かったですｗ

僕らTeam3の報告書

環境詳細の発表及び模範対応について

環境がどうなっていたか、そしてどう対応して欲しかったのかを @ijin さんから発表頂きました。

ここで、いくつかのことについてが判明

モナーコインを掘っているｗ
脆弱性診断ツール(skipfish)で外部にアクセス
サイト改ざん
パスワードが脆弱
SSHのポート閉じ忘れ

「完全復旧」出来なかったのは、この内「サイト改ざん」しか対応できていなかったから。。。

まだまだですな～悔しい！＞＜

「対応の進め方」について
前回も今回もそうですが、初めて会う方と障害対応を行うわけですが・・・
一番難しいのが「タイムキープ」と、「役割」
エンジニア基質が多いと、現状把握とどうあるべきというところに時間を取られてしまいがちですが、本来は「お客様の要望に応えること」というのが第一優先だったりします～

「報告のポイント」について
当然なんですが、「お客様目線」に立っての報告と、次につなげる改善提案が大事！

ニフティさん、まじニフティ！

今回会場の提供及び電源インターネット環境、更にはクラウドの利用環境までご提供いただきました！！

まだまだ、お菓子もドリンクまで！至れり尽くせりのニフティさん！まじサイコーです！感謝！！！！
と、いうのはここまで。

今回知った「ニフティクラウド」の素晴らしかったところを箇条書きにしてみたいと思います～

RDSという、マネジメントデーターベースが使えて便利！

【RDS】スナップショット機能、タイムシフトリカバリ機能搭載！

【仮想マシン】スナップショットが、オンラインで取れる！（仮想マシンが高負荷の時は不可）

【仮想マシン】ロードバランサで、「Sorryページ」が出せるｗ

【クラウドストレージ】管理画面から簡単に使える！サーバーのファイルバックアップなどにも使えて便利！

と、知らなかった事があったので、「こりゃー便利ですわ～」って思いました～

そして、ノベルティまでもらえちゃうｗ