障害とは
障害（incident／インシデント、障害／アウテージ）は、機器、回線、ソフトウェアなどの不具合により、サービスが正常に提供できない状態です。
構成要素一個の故障があっても、冗長構成で利用者への影響がなければ、サービスの全面停止とは限りません。反対に、全構成要素が稼働表示でも、設定や依存先の問題で利用者の操作が失敗すれば障害です。
障害の範囲は「サーバーが落ちたか」ではなく、誰のどの操作が、いつから、どの程度失敗・遅延しているかで表します。
構成要素の故障を利用者操作への影響へ対応付ける検知、指揮、範囲確定、緩和、連絡、復旧、改善を順に進める
影響の種類
全体または明確な利用範囲が失敗します。
成功率、遅延、品質低下として現れます。
全体平均に埋もれるため、地域や機能などの軸ごとに測ります。
サービス側の共通障害と再現範囲を分けます。
障害対応の順序
- 検知して障害対応を開始する深刻度、対応責任者、連絡担当を決めます。
- 利用者影響を測る操作手順、地域、開始時刻、エラー・遅延、データ完全性を把握します。
- 安全に緩和する切り替え、切り戻し、通信制限、依存先隔離を行います。
- 一つの情報源で連絡するステータス、既知影響、回避策、次回更新時刻を継続発信します。
- 復旧を利用者側から検証する内部正常だけでなく模擬監視・実利用者信号を確認します。
- 事後検証でシステムを改善する個人非難ではなく、条件・防壁・検知・手順を修正します。
原因ときっかけを分ける
配備が直前だったとしても、根本には危険な段階展開、容量余裕不足、共有依存先、監視不足などが重なることがあります。最後に操作した人だけを原因にせず、なぜ一つのエラーが利用者影響へ拡大したかを追います。
時系列には観測事実、判断、実施操作、結果を時刻付きで残します。復旧中に仮説と事実を混ぜず、通信チャンネルを一つにまとめます。
復旧と解決は同じではない
通信が戻れば利用者への影響は解消しても、一時的な迂回、データ修復、根本原因の確認、再発防止が残る場合があります。障害対応を閉じる条件と、追加対応の担当者・期限を定めます。
障害は構成要素故障名ではなく、サービスが期待水準を満たさない利用者影響です。範囲を測り、指揮系統を作り、緩和と連絡を優先し、復旧後はシステムの防壁を改善します。
大規模システムの障害対応：Google SRE Book「Managing Incidents」