AIの最終確認は人で足りるか? — 「人が見る」だけの落とし穴

何が起きたの? — 「人が確認する」への疑問

HBRが11月2日に掲載したのは、「The “Human-in-the-Loop” Fallacy(「人が確認する」の誤り)」という論考です。

筆者はサンギート・ポール・チョーダリー氏です。AIとプラットフォーム戦略について経営層に助言しており、米カリフォルニア大学バークレー校のシニアフェローも務めています。

論考の出発点は、多くの会社が採っている進め方です。AIが担う仕事が増えるにつれ、社員にAIの出力を確認させ、AIが扱えない例外の処理を任せています。

チョーダリー氏は、これでは人の役割がしだいに狭まっていくと見ています。人を確認役に据えるのは負け筋の戦略であり、経営者には別の手が要る、という主張です。

同じ問題は、米ITメディアのSiliconANGLEでも5月31日に取り上げられていました。調査会社Intellyxのジェイソン・ブルームバーグ氏は寄稿で、人の確認に頼るAIの統治は失敗する、と書いています。

なぜ「人が見る」だけでは足りないの?

ブルームバーグ氏は、人の確認が効かなくなる理由をいくつも挙げています。どれも、確認役の能力や熱意の問題ではありません。

稟議書にたとえると分かりやすくなります。承認印が何個並んでいても、中身を読まずに押された判子は安全策になりません。AIの確認役も、同じ形になりやすいのです。

自動化の規模が大きくなると、人の関与は、まれに起きる例外の処理だけに狭まっていく、とも同氏は指摘しています。

仕事や会社はどう変わるの?

規制の側も、「人が見る」の中身に踏み込んでいます。欧州連合(EU)のAI法は第14条で、リスクの高いAIに人による監視を求めています。

• 監視する人が、AIの出力に頼りすぎる傾向(自動化バイアス)を自覚できるようにする
• 場面に応じてAIを使わない判断ができ、出力を無視・覆す・取り消すことができる
• 「停止」ボタンなどで、AIを安全な状態で止められる

顔などで人物を特定するAIについては、さらに厳しい決まりがあります。原則として、2人以上が別々に確かめるまで、その結果をもとに行動や判断をしてはならないとしています。

求められているのは、人がその場にいることではありません。人が止められること、覆せること、過信に気づけることです。対策として考えられる進め方の違いは、次のように整理できます。

ブルームバーグ氏も、承認の段階ではなく最初の段階に人を置くこと、AIの権限を厳密に絞ることを挙げています。

SYNCONの視点 — 確認役より分担表

「最後は人が確認します」は、AI導入の説明でいちばん聞く言葉です。しかし、それだけでは誰が何に責任を持つのかが決まりません。確認役は、責任の置き場所として使われやすくなります。

経営が決めるべきは分担表です。人が判断する仕事、AIに任せる仕事、仕組みで自動的に止める条件を書き分けます。そのうえで、確認役に差し戻しの権限と、確かめるための時間を渡します。

ブルームバーグ氏は、リーン生産の考え方である「自働化(Jidoka)」も対策に挙げています。組織の誰もが、責められる心配なく自動の工程を止められるようにすることです。止めた人を評価する文化があるかどうかが、確認役を名ばかりにしない分かれ目になります。

要点まとめ

• HBRが11月2日、「人が確認する」だけのAI導入は負け筋だとする論考を掲載
• 人は、めったに間違えない自動化ほど信じ込み、見落としやすい
• 確認役がいても、直す権限や時間がなければ形だけの承認になる
• EUのAI法第14条は、AIを止める・覆す・過信に気づく力を人に求める
• 人を置く場所は最後の承認から最初の設計へ。AIの権限は狭く決める
• 経営が決めるのは、人の判断・AIの仕事・自動で止める条件の分担表