【加藤出版社 #27】自動化の限界——AIエージェント時代における「人間による最終判断」の欠如

導入は3倍——AIエージェントの急拡大と、そこに空いた判断の穴

AIエージェントのビジネスへの導入率は、今年に入って3倍に増加しました。注目すべきは、単なる流行ではなく、測定可能なROIが出現しつつあるという点です。投資に対する成果が数字で示され始めたということは、AIエージェントが実験の対象ではなく、経営の実務に組み込まれた存在になったことを意味します。効果を見た経営者はさらに導入を広げるでしょう。拡大の速度は、このまま上がっていくと見て間違いありません。

しかし、ここで指摘しておきたい。この急拡大の裏で、エンタープライズの準備状況には重大な欠けがあることが指摘されています。欠けているのは、Human-in-the-Loop AI、すなわち人間が判断の輪の中に組み込まれる仕組みです。つまり、AIエージェントを「導入する」ことと、その判断を「引き受ける」ことの間に、穴が空いたままなのです。

この穴の性格を整理しましょう。AIエージェントは与えられた課題に対して自ら手を動かし、作業の速度は人間の比ではありません。だが、その作業がどの判断に基づくのか、その責任を誰が取るのかという問いに、AIエージェント自身は答えられません。答えられない以上、答えるのは人間しかいない。それなのに、人間が判断に関与する設計が整わないまま、導入だけが3倍に進んでいるのが現在の状況です。

ROIが出ていれば問題ない、と考えるでしょうか。確かに、測定できる成果が出ている間は、穴は表面化しにくい。数字が良い限り、誰も判断の在り処を問いません。しかし、ROIが出現しつつある段階はまだ初期であり、成果の波形が安定していない時期です。この時期に判断の体制を作らなければ、穴は拡大とともに広がる一方です。

考えてみれば当然の話です。道具が速くなるほど、扱う人間の判断の重みは増します。導入率が3倍になったということは、人間に課される判断の量も増えたということです。それなのに、その判断を担うための備え、Human-in-the-Loop AIの欠如は、指摘されても埋められていません。

急拡大の数字は華やかに見えます。だが編集長として断言しておきます。この数字の価値は、判断の穴を埋める用意があって初めて発揮される。穴が空いたままの急拡大は、勢いではなくリスクの蓄積です。次節以降で、この穴が現場でどのように姿を現すのかを見ていきます。

挿絵

現場は判断を誰に委ねたのか——自動化が進むほど増える「承認待ち」

自動化とは、本来、判断を止めることではなかった。手順を機械に任せ、人はその先の判断に時間を使う——そういう設計のはずだった。ところが現実の職場を見渡すと、AIエージェントが仕事を遂行するほど増えているのは、自由になった時間ではない。「承認待ち」の列である。

代理で動く主体が増えれば、その動きを誰が受け止めるのかという問題が必ず生じる。エージェントは高速に処理を進めるが、その処理を business 上 Meaningful なものとして確定させる権限を持たない。確定の権限は組織にあり、組織はそれを特定の人間の承認という形でしか渡せない。つまり自動化が速くなればなるほど、承認という隘路が相対的に太く見えてくる。処理は秒で進むのに、承認は人の勤務時間と稟議の経路に縛られる。ボトルネックは消えたのではなく、場所を移しただけだ。

ここで問題になるのが、判断の委譲先が曖昧になっていることだ。「現場で適宜判断してくれ」と言っても、AIエージェントには判断を引き受ける人格がない。引き受けられるのは人間だけであり、エンタープライズの現場では、まさにその Human-in-the-Loop の仕組み——どこで人間が割って入り、何を承認し、何を拒否するかの設計——が欠けていると指摘されている。導入だけが進み、判断の受け皿が未整備のまま放置されている。だから現場は、委ねられたはずの判断を抱え込み、結果として「誰に聞けばいいのか分からない承認待ち」が積み上がる。

技術的な準備ではなく、組織と判断の準備が遅れている、というのが実態に近いのではないか。提案として言えば、まず承認の所在を明示すること——どの判断を誰が引き受けるのかを、導入と同じ速度で設計すること——が欠かせない。判断の穴は、自動化が進むほど深く、広くなる。

挿絵

最終判断は道具に書けない——個人が身につけるべき責任の引き受け方

道具に判断を任せきりにできる時代は来ていません。AIエージェントのビジネス導入率が今年3倍に増加し、測定可能なROIが出現しつつあるいま、むしろ問題は導入の速さと判断の受け皿とのギャップとして顕在化しています。エンタープライズにおけるAgentic AIの準備状況をめぐっては、Human-in-the-Loop AIが欠けている部分だと指摘されています。つまり、技術の準備は進んでいるのに、人間がどこでどう関わり、その結果にどう責任を取るのかという部分が、空いたままになっているのです。

この穴を埋めるのは、システムの仕様書ではありません。最終判断は道具に書けないからです。AIが出した答えに「承認」の判を押す行為そのものが、すでに人間の判断であり、そこには道具が肩代わりできない責任が伴います。導入率が上がるほど、この判を押す瞬間は増えていきます。だからこそ、個人に求められるのは、判断を仰ぐ前の準備だと私は考えます。AIの提案を鵜呑みにせず、前提を確かめる。根拠を問い直す。間違っていたときに自分がどう説明するかを先に想像する。そうした地味な手続きは派手ではありませんが、責任を引き受ける姿勢そのものです。

言い換えれば、責任の引き受け方は、訓練できる技術だということです。日々の業務でAIの回答に自分の判断を重ねる経験を積み重ねることで、人は「最後にかじを取る」立ち位置に耐えられるようになります。提案として申し上げるなら、自分が判断した箇所とAIに任せた箇所を意識的に分けて記録しておくことが、その第一歩になるはずです。振り返れば、どこで判断が甘かったのかが見え、次の判断の精度は確実に上がります。導入が3倍になった世界で足りないのは、もう道具の性能ではありません。最後の一押しを自分の名前で行う覚悟です。

挿絵

クラウドを借りる時代からAIを持つ時代へ——人間が最後にかじを取る体制の設計

クラウドを借りる時代からAIを持つ時代へ——この転換は、単に調達形態が変わるだけの話ではありません。借り物であれば、失敗してもベンダーの責任にできる余地がありました。しかし自らの判断で動くAIを持ち、現場に組み込んだ瞬間から、そのAIが出した答えに最後の判を押すのは誰かという問いが、組織そのものに突きつけられます。

すでに多くの企業で、AIエージェントのビジネスへの導入は急速に広がり、今年は導入率が3倍に増加し、測定可能な成果も出始めています。道具としての効果が数字で見え始めたからこそ、次の課題が鮮明になります。エンタープライズでのAgentic AIの準備状況において、Human-in-the-Loop、つまり人間が途中と最後に関与する仕組みこそが欠けている部分だと指摘されているのです。道具の性能は上がったのに、道具に最終判断を任せてよいかどうかを決める体制が後手に回っている。これが現在の姿です。

ここで必要なのは、人間が最後にかじを取る体制を、あらかじめ設計しておくことだと考えます。どこまでAIに任せ、どの時点で人間が承認し、判断が外れたときに誰が引き受けて軌道修正するのか。この線引きを個々人の裁量に任せるのではなく、組織の仕組みとして明文化しておくことです。承認の起点を名前と顔の伴う特定の担当に置くのか、判断の重要度で段階を分けるのか。具体的な設計は各組織の状況で異なりますが、線引きが存在しないまま導入だけが進む状態は、明らかに準備不足です。

責任は道具には書けません。AIを「持つ」とは、その出力に対して最後に判を押す人間を「持つ」こととセットでなければならない、と私は考えます。借りた道具の結果を眺めていた時代の感覚のままでは、判断の穴は埋まりません。人間が最後に引き受けるという体制の設計こそ、AIを持つ時代の出発点です。

挿絵