COLUMN 手順書は正しかった。読んでいた場所が違った——Runbookが静かに腐る仕組み

手順どおりにやったのに直らない。あるいは、書いてあるとおりに正確に引用したまま、結論だけが丸ごと誤っている。Runbookは書いた瞬間が最新で、あとは誰も直さない——AIラボの実測で分かった「正本ドリフト」の正体と、手順書を腐らせない運用設計を解説します。

先日、私たちのAIラボで、AI社員にある文書のレビューをさせた。返ってきた報告書は完璧だった。

引用は1文字も間違っていなかった。該当箇所の行番号まで正確だった。結論だけが、丸ごと誤っていた。

原因を追うと、参照していたファイルが7月13日で更新の止まった作業用コピーだった。正本は別の場所にあり、指摘された箇所は3日前に修正済みだった。同じマシンの中に、同じ名前のファイルが2系統あったのである。

そして引用が正確だったために、チェックしても見抜けなかった。同じ日、別のAI社員の報告も、同じ誤ったファイルを「マスタ」として読んでいた。

手順書は間違わない。参照先が間違う

Runbookの問題を「内容が古いこと」だと考えている現場は多い。だが実際に事故を起こすのは、どれが正本か分からないことのほうだ。

私たちが実測で確認した「正本ドリフト」は3つの型に分かれた。

• 手元が新しく、共有先が古い——更新はしたが、共有された場所には反映されていない
• 共有していないので、他の人からは存在すら見えない——書いた本人だけが最新を持っている
• 同じマシンの中に、同じ名前のファイルが複数系統ある——冒頭の事故はこれ

厄介なのは3つ目だ。1つ目と2つ目は「更新したら共有する」という運用ルールで防げる。3つ目はルールでは防げない。本人は正しく更新しており、ただ読む側が別の場所を開いただけだからだ。

腐りに気づく仕組みが、どの現場にも無い

システムには監視がある。閾値を超えれば鳴る。だが手順書には監視が無い。

Runbookは書いた瞬間が最新で、そこから一方向に古くなっていく。構成が変わり、ツールのバージョンが上がり、担当が替わる。そのたびに手順は少しずつ実態からずれていくが、ずれたことを教えてくれるものは何も無い。

そして多くの現場では、「この手順は今も正しいか」を問う担当が、役割として決まっていない。障害対応が終われば全員が安心して次の仕事に移る。手順書の更新は、誰の仕事でもないまま残る。

結果として、Runbookは「作った時に一度だけ正しかった文書」になっていく。

AIを入れると、この問題は増幅する

ここが本題である。

人間が古い手順書を読むと、どこかで引っかかる。「このコマンド、今のバージョンにあったかな」「この画面、こんな名前だったかな」。経験が違和感として働く。

AIは引っかからない。書いてあるとおりに正確に読み、正確に引用し、正確に実行する。だから誰も気づけない。

別の実測では、2体のAI担当者が同じ事実について正反対の報告を出した。追いかけると、原因は一次情報の側にあった。元の記録が、2つある実態のうち片方しか書いていなかった。AIはその片方を正確に引用し、誤りだけが正確に伝わった。

∴ 順序が決まる。自動化の前に、正本を決める。逆にすると、間違いが速く、正確に、広く伝わるようになるだけである。

直し方——手順書を直すのではなく、正本を1本にする

全部書き直す必要はない。効くのは次の4つで、いずれも1日で着手できる。

• 同名・別系統を洗い出して1本に畳む。残す方以外はリネームして、物理的に開けなくする。「こちらは古い」と注意書きを添える方式は機能しない——読む人は注意書きを読まないまま本文を読む
• 手順書の冒頭に「最終確認日」と「確認した人」を書く。内容の正しさより先にこれ。読む側が鮮度を判断できるようになる
• 障害対応の完了条件に1行足す。「今回使った手順書は正しかったか。違ったならどこか」。ここだけで腐りは止まる。対応の記憶が残っているうちにしか書けない情報だからだ
• AIに読ませるなら、場所を1箇所に固定して指定する。「探して読んで」をさせない。探させた瞬間に、どれを開いたか分からなくなる

この記事を書いている最中にも起きた

正直に書く。この記事のページは、既存コラムのテンプレートを複製して作った。文章はすべて書き直した。画面上は完璧に見えた。

ところが、目に見えない箇所が前の記事のまま残っていた。検索エンジンに「このページの正式なURL」を伝えるタグが前の記事を指したままで、そのまま公開していればこの記事は検索結果に一度も出なかった。SNSで共有すると前の記事へ飛ぶ設定も残っていた。機械向けに配信するQ&Aデータにいたっては、本文とまったく違う前の記事の内容が入っていた。

本文をいくら読み返しても気づけない。表示は正常で、警告も出ない。

テンプレートの複製は、正本ドリフトをもっとも起こしやすい操作である。Runbookもまったく同じで、「似た手順書をコピーして書き換える」とき、書き換え忘れた箇所はそのまま残る。そして人は、書き換えた箇所しか見直さない。

数字で言うと

私たちのAIラボでは、同じ誤った参照先を2件のAI社員の報告が同時に使っていた。どちらも引用は完全に正確で、片方はチェックを通過しかけた。

対処として選んだのは、運用ルールの追加ではなく古い系統をリネームして読めなくすることだった。ルールは守られないことがあるが、開けないファイルは開かれない。

手順書の整備は、いつも「そのうちやる」に分類される。だがAIを運用に入れる場合、これは前提条件に変わる。正本が1本に決まっていない状態で自動化を進めると、増えるのは効率ではなく、静かに広がる誤りのほうである。

よくある質問

Q. Wikiに全部書いてあるので大丈夫では。
A. 置き場所が1つあることと、正本が1つに決まっていることは別です。Wikiに書いてあっても、担当者の手元やチャットの添付に「作業中の版」が残っていれば、同じ事故が起きます。確認すべきは「保存場所」ではなく「同じ手順が何箇所にあるか」です。

Q. 古い手順書を消せばいいのでは。
A. 消すのが最善ですが、多くの現場では「消していいか判断できない」ために残っています。その場合はリネームして検索に出てこない状態にするだけでも効果があります。実際、私たちはこの方法を採りました。

Q. AIに最新かどうか判断させられませんか。
A. 推奨しません。AIは古い手順書も正確に読み、正確に実行します。「これは古い」と判断する材料は文書の中には無く、外（構成の実態）にあります。判断させるのではなく、読ませる場所を1箇所に固定するほうが確実です。

Q. どこから手をつければいいですか。
A. よく使う手順書を5本選び、それぞれ「同じ内容が他に何箇所あるか」を数えることをお勧めします。1箇所でなかったものが、そのまま最初の対象です。多くの場合、想像より多く見つかります。