あなたの会社の AI 自動化は、「止まれる・戻せる・証明できる」状態ですか?
チャットボット、業務の自動化、AI エージェント、社内 AI 検索 — 「動いている」ことと「壊れていない」ことは別物です。AI の事故は、導入した日ではなく、誰も見ていなくなった頃に起きます。このチェックリストは、AI ガバナンス技術の研究開発と自社システムでの毎日の実運用から抽出した、中小規模の AI 自動化のための25項目です。
このページでは、自己採点を「健診」、実際に試すことを「試験」、第三者が試験して報告することを「実測」と呼びます。
採点方法: 各項目に「できている=2点 / 一部できている=1点 / できていない・分からない=0点」をつけて合計してください(50点満点)。「分からない」は0点です — 分からないこと自体がリスクだからです。
A. 止まれるか(暴走・誤答時の停止設計)
- AI が「分からない」と答える設計になっていますか? 根拠がない時に無理にでも答える設定の AI は、誤案内の製造機です。合格の目安: 答えられない時の退避応答(「担当者におつなぎします」等)が用意され、その発生率を数えている。
- 外部に影響が出る操作(メール送信・決済・予約・削除)の前に、人の承認が入りますか? 合格の目安: 影響のある操作は全て承認待ちの列を通る。AI が直接実行できるのは取り消し可能な操作だけ。
- 実行量の上限(1日の件数・金額・AI 利用料)が設定されていますか? 合格の目安: 上限を超えたら自動で止まり、通知が届く。
- 同じ処理を延々と繰り返す「ループ」を検知して止める仕組みがありますか? 合格の目安: 同一相手への連続送信数などに機械的な打ち切り線がある。
- 緊急停止の手順(止め方)が紙1枚に書かれ、担当者以外でも実行できますか? 合格の目安: 「あの人がいないと止められない」状態ではない。
B. 戻せるか(復旧・撤回経路)
- AI が書き換えたデータを、書き換え前に戻せますか? 合格の目安: バックアップがあるだけでなく、実際に復元を試した記録がある。
- プロンプト(指示文)や設定の変更履歴が残り、過去の版に戻せますか? 合格の目安: 「先週まで動いていた版」に5分で戻せる。
- 誤送信・誤回答が起きた時の対応手順(訂正・謝罪・報告の順番)が決まっていますか?
- 自動化を止めても業務が回る「手動のやり方」が残っていますか? 自動化前の手順書を捨てるのは片道切符です。
- 不具合の記録(いつ・何が・どうした)が残る仕組みがありますか? 記録がなければ、同じ事故を防ぐ手がかりが残りません。
C. 証明できるか(検証・変更管理)
- 導入時に「正しい答えのテスト集」で検収しましたか? 「デモで良さそうだった」は検収ではありません。合格の目安: 自社の実際の質問・データで作ったテスト20問以上に通してから使い始めた。
- プロンプトや AI モデルを変える時、テスト集で再検査してから反映していますか? 無検査の変更は「静かな劣化」のよくある原因です。
- AI 提供元の自動アップデートで挙動が変わっていないか、監視していますか? あなたが何も変えなくても、AI は変わります。
- 出力品質の定点観測(週に数件の抜き取り検査など)がありますか? 劣化は、気づいた時にはお客様が先に気づいています。
- 「導入前より良くなった」を数字(処理時間・エラー率・件数)で言えますか?
D. 漏れないか(情報・権限)
- お客様の個人情報や機密を外部 AI に送る範囲を把握し、提供元の規約(学習に使われるか)を確認しましたか? ※確認したかどうかの点検です。個人情報保護法上の扱い(委託・第三者提供・外国にある事業者への提供)の判断は、専門家にご相談ください。
- AI に与えた権限(読める・書ける・送れる範囲)は、業務に必要な最小限ですか? 「とりあえず全部アクセス可」は事故の温床です。
- パスワードや API キーが、指示文や設定ファイルにそのまま書かれていませんか?
- 外部からの入力(メール・問い合わせフォーム)が、AI への「命令」として実行される経路を点検しましたか? 悪意ある文面で AI を操る攻撃(プロンプトインジェクション)は実在します。
- AI の出力が社外に出る前のチェック(宛先・不適切表現・事実誤り)がありますか?
E. 続くか(運用・依存)
- 月々の AI 利用料を把握し、急増した時の通知がありますか? 使われるほど赤字になる設計は時限爆弾です。
- 特定の AI モデル・ベンダーが停止・値上げした時の代替を考えてありますか?
- 担当者が急に1週間不在でも運用できる手順書がありますか?
- ベンダーに構築を任せた場合、検収条件と「何かあった時の責任の線引き」は書面にありますか? ※書面の有無の確認です。契約内容の法的な評価は弁護士にご相談ください。
- この自動化を「いつ・何を見て止めるか」(撤退基準)は決まっていますか? やめ方を決めていない自動化は、壊れたまま動き続けます。
判定
| 合計点 | 判定 | 意味 |
|---|---|---|
| 40〜50点 | A: 良好 | 自己採点の上では、主要な項目を満たしています。効いているかは試験で確かめ、年1回は再点検を |
| 25〜39点 | B: 要改善 | 動いていますが、事故が起きた時に「戻せない・説明できない」恐れがあります |
| 24点以下 | C: 事故予備軍 | 事故は確率の問題です。0点の項目から順に、早めの手当てを |
A(止まれるか)とD(漏れないか)に0点の項目が1つでもあれば、合計点に関わらず、その項目を最優先で対処してください。 この2分類の事故は、起きた瞬間にお客様と信用に直結します。
*本チェックリストは一般的な点検の観点を示すもので、個別の法的助言・税務助言ではありません。高い点数は、事故が起きないことを保証するものではありません。*
この先へ
- 各項目が「決めてある」だけでなく「実際に効いている」かを確かめる方法は、効いているかの測り方にまとめています。
- 第三者による実測をご希望の方は、無料診断(先着3社。3社に達した時点で終了。2026年12月31日まで)をご利用ください。結果を匿名で公開させていただくことが条件です。
- 社内で検討するための資料は、稟議用1枚資料をお使いください。
発行: MOBIUS LLC。AI ガバナンスの研究開発と自社での実運用に基づいています。公開している測定結果は実測データ一覧(英語)でご確認いただけます。