障害報告

Minetestサーバーをコストダウンするため、GCEで使用しているネットワークの層(ティア)を変更することが、今回の作業の目的であった。MinetestサーバーにはNI(ネットワークインターフェース)が1つある。そのNIはプレミアム層を利用しており、更に静的IPアドレス割り当て(予約)を行っていた。プレミアム層の下り通信の料金はスタンダード層と比較すると割高となる。そこで使用する層をスタンダードに変更することにした。

2022年10月02日午前04時30分頃から事前検証を開始した。検証用のインスタンスを作成し、プレミアム層からスタンダード層への切り替えの手順をGCEの管理用Webコンソールから実施した。正常に切り替えが行われることを確認したが、インスタンスの起動のみを確認し、IPアドレスの状態やサーバーとの疎通を確認しなかった。

事前検証の作業後、作業担当者は本番サーバーのネットワークの切り替え作業として同様の手順を管理用Webコンソールから実施した。この時3名のユーザーがMinetestのプレイ中であった。設定を変更しネットワークが切り替わったことでIPアドレスも変更になった。そのためログインしていたユーザーは、ゲームサーバーと疎通できなくなり、05時09分にタイムアウト状態としてゲームから強制的に切断された。

05時09分、ネットワークの切り替えた後に作業担当者は新しいIPアドレスを用いてログインしログを確認し、事象の発生を認識した。同時に新しいIPアドレスをDNSに設定していないことに気が付いた。この時はまだDNSの設定をしておらず、FQDNで正しいIPアドレスを引けない状態であった。

05時09分頃(同時刻)、直ちにDNSの設定変更を行った。そして05時09分(同時刻)に作業担当者の端末からゲームへのログインができることを確認した。

05時12分、障害と復旧の報告をメールで送信した。しばらくログを確認していたが、誰もログインしてこないため、更にアナウンスメールを2通送信した。

05時32分、ユーザーから接続できない旨の問い合せメールが届いた。そこでGoogle Meetを準備し、05時34分にGoogle MeetのURLを記載し対面でのサポートのためのアナウンスを送信した。ただしGoogle Meetにはユーザーは誰もログインせず、その後対面でのサポートをすることはなかった。

05時39分、最初のユーザーのログインをログから確認した。作業担当者はゲーム内にログインし、05時42分にユーザーの状況をゲーム内チャットで確認した。そこで1台だけログインできない端末があると報告を受けた。

05時43分、変更後のIPアドレスを伝え直接入力してアクセスするように案内した。

05時44分、ログインできていなかったユーザーのログインをログから確認し、障害は復旧した。

無停止で実施するか停止ありで実施するかによって異なる方法を取ることができる。

作業手順や仕組みを工夫することで、問題の発生を防いだり、もしくは被害を抑えられたかという観点で考えてみる。