1. 結論
生成AIを業務に組み込むと、
組織の生産性だけでなく、事故の起き方そのものが変わる。
多くの人は、AI導入の話をするとき、
- 業務がどれだけ効率化するか
- 人手がどれだけ減らせるか
- スピードがどれだけ上がるか
という「成果」の話しかしない。
でも本当に変わるのはそこじゃない。
変わるのは、失敗が発生する構造のほうだ。
これまでの組織の事故は、
- 誰かがミスした
- 誰かが確認を忘れた
- 誰かが判断を誤った
という「人間の行為」に紐づいていた。
でもAIを挟むと、事故はこう変質する。
- 誰もミスしていない
- 誰もサボっていない
- でも結果は間違っている
つまり、
責任主体が消えるタイプの事故が増える。
だからAI時代に一番重要なのは、
「どう使うか」じゃない。
どこで人間が責任を引き取る設計にするか。
これを決めずにAIを入れると、
組織は「事故が起きても原因を特定できない構造」に変わる。
2. なぜそう言えるか
生成AIは、正解を保証する装置ではない。
「それっぽい出力を安定して返す装置」だ。
この性質自体は問題じゃない。
問題は、これを業務フローの中に組み込むこと。
従来の業務プロセスはだいたいこうだった。
人が調べる
→ 人が考える
→ 人が判断する
→ 人が実行する
つまり、すべての工程に「人間の意思」があり、
どこかで必ず責任主体が発生していた。
でもAIを挟むとこうなる。
人が投げる
→ AIが出す
→ 人が受け取る
→ そのまま使う
この構造の怖さは、
判断プロセスがブラックボックス化すること。
AIの中で何が起きているか分からない。
でも出力はそれっぽい。
エラーも出ない。
処理も速い。
すると組織の中でこういう状態が生まれる。
- 誰も深く考えていない
- でも業務は回っている
- だから誰も止めない
これは「サボり」じゃない。
設計上、止まらなくなっている。
ここで起きる事故は、
「誰かの判断ミス」ではなく、
判断という工程そのものが消えている事故。
これが、AIを組み込んだ組織特有の新しい事故構造。
3. 実際の例・失敗例
以前、社内でRAG（文書参照機能）を使ったQAボットを作った。
仕様書を読み込ませて、
「質問したら答えてくれるボット」を作る、というよくあるやつ。
動作は完璧だった。
- 回答は自然
- 用語も正しい
- 文章も読みやすい
現場の人間は、
もう仕様書を開かなくなった。
みんなボットに聞く。
問題は、
存在しない仕様についても普通に答えていたこと。
しかもその内容が、
完全なデタラメじゃない。
「ありそう」な間違い。
結果として、
存在しない前提で設計が進み、
後工程で大きな手戻りが発生した。
ここで重要なのは、
誰も悪意を持っていないこと。
- AIはいつも通り出力しただけ
- 現場は便利だから使っただけ
- 上司は進捗が順調だから問題視しなかった
つまりこの事故、
犯人が存在しない。
従来なら、
「仕様書を読み間違えた人」が犯人だった。
でも今回は、
「誰も読み間違えていない」。
ただ、
誰も読んでいなかった。
これがAIを組み込んだときに起きる典型的な事故。
人為ミスではなく、
確認工程そのものが消える事故。
4. 判断軸（ここが一番重要）
この構造を理解してから、
自分はAI導入を考えるとき、
この3つだけを見るようにしている。
- どこまでをAIに任せるか決める
- その答えを「事実」として使っていいか考える
- 間違いに気づく仕組みがあるか見る
ポイントは、
AIの性能じゃない。
組織側の事故設計。
たとえばこう分ける。
アイデア出し
→ 間違っても誰も困らない
→ 事故が起きても実害ゼロ
→ 任せてOK
社内資料の下書き
→ 外に出ない
→ 人間レビューが入る
→ 中リスク
仕様確認・法務・数値
→ 間違えたら会社が死ぬ
→ 後工程に直結
→ 原本確認必須
ここで一番重要なのは3つ目。
「間違いに気づく仕組みがあるか」
これは能力の話じゃない。
組織構造の話。
- 原本に戻れる導線があるか
- 他人レビューが強制されているか
- 定期的な突合工程が設計されているか
これが無いままAIを入れると、
その組織はこうなる。
「事故は起きるが、
誰も“どこで壊れたか”説明できない組織」
これはもう技術の問題じゃなく、
組織としての設計ミス。
5. 読者が次に取る行動（1つだけ）
次にAIを業務に組み込むとき、
この質問を一度だけ入れてほしい。
「これ、間違ってたら、誰が気づく設計になってる？」
ここで名前が出てこなかったら、
そのプロセスはもう危険。
- 気づく人が決まっていない
- 責任主体が曖昧
- でも業務は回る
これは一番ヤバい構造。
AI時代の事故は、
派手に炎上しない。
静かに、綺麗に、論理的に進む。
だからこそ怖い。
止める人がいない事故は、
最初から止まらないように設計されている。
6. まとめ
生成AIを組織に入れるというのは、
単なるツール導入じゃない。
組織の事故構造を作り変える行為。
これまでの事故は、
「誰がミスしたか」で説明できた。
でもAI時代の事故は、
「誰もミスしていないのに壊れる」。
だから必要なのは、
AIリテラシーでもプロンプト力でもない。
必要なのは、
責任が発生する地点を人間側に残す設計。
見るべきなのはこの3つだけ。
- どこまでをAIに任せるか決める
- その答えを「事実」として使っていいか考える
- 間違いに気づく仕組みがあるか見る
ブラックボックスに仕事を渡すのではなく、
ブラックボックスを組織構造の中で監視する側に立つ。
これができない組織は、
AIによって効率化される前に、
原因不明の事故が増える組織になる。
そして一番厄介なのは、
その事故は「誰も悪くない顔」で起きることだ。
コメント