2014年8月10日日曜日

ドMな勉強会!?「トラブル☆しゅーたーず #08 〜 虹色のくじらを探して 〜」に参加してきました! #トラしゅ


なのまるっす!

ドMな勉強会でお馴染みの「トラブルしゅーたーず #8」に参加してきました!

もくじ


「トラブルしゅーたーず #8」とは

「トラブルしゅーたーず #8」とは 主催者がニフティクラウドに再現したトラブル環境
【仮想】お客様の「五月女商会」さんのサイトを参加者が【仮想】管理請負会社として、復旧させるという参加者、めっちゃドMな勉強会です!w

まずは、今回の想定環境を説明した「読本」です!


チームに分かれて開始!

早速、チームに分かれて勉強会の開始です!
僕らは「Team3」です!いやいや優秀なメンバーばかりで非常に助かりました!

状況整理

登場サーバー
ホスト名役割
LBSV01とSV02をバランシングする目的で稼働しているが、現状はSV1のみにバランシング
SV01メインサーバー (現在乗っ取られている) FC2をベースにしたブログサイト
SV02メイン2サーバー現在は停止させている。 通常はバックアップ目的でメンテナンス時に利用
DB01メインDBニフティクラウドのRDB機能冗長化 
DB02テストDBニフティクラウドのRDB機能を活用
DocR配布サーバー、ファイルサーバー、に利用している
と、一応あります(実はちょこっと違っている部分もありw)

対応流れ

ざっと流れですが、
  • 【14:00】自己紹介・役割分担(なんとなくw)
  • 状況確認と復旧手順書確認
  • SV01とSV02対応版に別れる
  • ドキュメント担当を任せる
  • 情報は口頭で常にメンバーに確認
  • お金がかかるものなどは、常に「五月女商会」さんに確認
  • 【17:30】サイト復旧
  • 【17:45】作業報告及び改善提案 発表会
と、こんな感じでした!

対応

いろいろ、対応したんですが最終的には「完全復旧」にはいたらなかったです。

SV02を手順書通り、本番系にすることはdockerの知識が結構必要だったと思われるので、途中で「山◯」くんのツイートを見て方針転換w

もう、バックアップから戻しましたよw

mysqldumpコマンド無いとか、モーどーでもいいっすw

とにかくDBのデータのバックアップを取得して、クラウドストレージにあったSQLを流し込んでサイトは復旧」この時、17:30!ここまで手一杯~
完全復旧に至らなかったのは後述

各チームによる発表会

各チームによる「五月女商会」さんに向けての報告書発表です!
すべてのチームが、メンバーみんなで「申し訳ありません」と頭を下げる儀式が面白かったですw


僕らTeam3の報告書


環境詳細の発表及び模範対応について

環境がどうなっていたか、そしてどう対応して欲しかったのかを @ijin さんから発表頂きました。
ここで、いくつかのことについてが判明
  • モナーコインを掘っているw
  • 脆弱性診断ツール(skipfish)で外部にアクセス
  • サイト改ざん
  • パスワードが脆弱
  • SSHのポート閉じ忘れ

完全復旧」出来なかったのは、この内「サイト改ざん」しか対応できていなかったから。。。

まだまだですな~悔しい!><

「対応の進め方」について
前回も今回もそうですが、初めて会う方と障害対応を行うわけですが・・・
一番難しいのが「タイムキープ」と、「役割
エンジニア基質が多いと、現状把握とどうあるべきというところに時間を取られてしまいがちですが、本来は「お客様の要望に応えること」というのが第一優先だったりします~
「報告のポイント」について
当然なんですが、「お客様目線」に立っての報告と、次につなげる改善提案が大事!


ニフティさん、まじニフティ!

今回会場の提供及び電源インターネット環境、更にはクラウドの利用環境までご提供いただきました!!

まだまだ、お菓子もドリンクまで!至れり尽くせりのニフティさん!まじサイコーです!感謝!!!!
と、いうのはここまで。

今回知った「ニフティクラウド」の素晴らしかったところを箇条書きにしてみたいと思います~
  • RDSという、マネジメントデーターベースが使えて便利!
  • 【RDS】スナップショット機能、タイムシフトリカバリ機能搭載!
  • 【仮想マシン】スナップショットが、オンラインで取れる!(仮想マシンが高負荷の時は不可)
  • 【仮想マシン】ロードバランサで、「Sorryページ」が出せるw
  • 【クラウドストレージ】管理画面から簡単に使える!サーバーのファイルバックアップなどにも使えて便利!
と、知らなかった事があったので、「こりゃー便利ですわ~」って思いました~

そして、ノベルティまでもらえちゃうw


まとめ


  • 毎度、勉強不足を痛感させられる勉強会です!(ドM)

  • 今回サーバーがUbuntuで結構使い方に戸惑うことも。CentOS7のsystemd勉強もいいけどUbuntuも勉強しなきゃ!

  • dockerを使ったシステムだったのですが、やっぱりもう少し手を動かして触れていかないといけないなというのも感じました!


参考リンク

勉強会募集ページ

Team3のお仲間も記事を書いていました!
トラブル☆しゅーたーず #8〜虹色のくじらを探して〜 に参加してきた

参考図書

Zenback