【DEEP SYNC】AI が作った「存在しない証人」 — 検証を業務手順に組み込む

米ニューメキシコ州最高裁が、AI が作り出した「存在しない証人」の供述を控訴趣意書に載せた弁護士に、5,000 ドルの制裁金と法廷侮辱の認定を下した。実務 40 年のベテランが、裁判記録の要約を ChatGPT に任せた結果である。責任は道具ではなく提出した人間と、その名前で文書を出した組織に戻る。この原則は、稟議書・提案書・契約書レビューを AI で下書きし始めた企業にそのまま当てはまる。

何が起きたか

舞台は殺人事件の控訴審である。被告人の Oscar Renee Sandoval は、子どもの母親を殺害した罪で有罪となり、終身刑を言い渡された。その控訴を引き受けた私選弁護人 Stephen Aarons が提出した趣意書には、実在しない証人の供述が並んでいた。「銃を撃った人物は濃い色のズボンと白いシャツを着ていた」といった、事件記録のどこにも存在しない描写が含まれていたと報じられている。

裁判所の処分は金銭にとどまらない。制裁金 5,000 ドルは州の依頼者保護基金に充てられ、趣意書は却下されて控訴手続きは最初からやり直しとなった。弁護人は事件から外され、控訴は州の公選弁護人に引き継がれた。さらに州の弁護士懲戒委員会へ調査が付託されている。8 月 21 日の審問で、C. Shannon Bacon 判事は「弁護士が OpenAI のハルシネーションに頼る問題は、毎日のように一面を飾る記事だ」と述べたと伝えられる。Aarons 側は、裁判記録と資料を ChatGPT に渡せば「穴のない要約」が返ってくると思っていた、AI が事実を捏造しうる程度を理解していなかった、と説明している。

なぜ「もっともらしい嘘」が生まれるのか

生成 AI は、渡された文書を検索して該当箇所を引き写す仕組みではない。次に来る語として自然なものを選び続けて文章を作る。だから、要約を頼んだつもりでも、文脈上ありそうな証人名や供述が「補完」されて出てくる。書式も語調も本物と区別がつかないため、読む側は疑う手がかりを持てない。誤りが目立つ壊れ方をするのではなく、正しく見える形で壊れるところが、この技術の扱いにくさである。

問題は一人の不注意に閉じない。法務向けに AI 由来の虚偽引用を追跡している集計では、裁判所が AI の捏造した内容に対応した判断は 2026 年 5 月時点で世界でおよそ 1,490 件、うち米国が 1,000 件を超えるとされる。制裁の水準も上がっており、連邦控訴裁で弁護士 1 人あたり 15,000 ドル、別の訴訟で各 3,000 ドルといった例が報告されている。個人の資質の問題ではなく、確認手順が設計されていない組織で繰り返し起きる事故という見方が妥当だろう。

経営層への影響と日本企業への含意

日本企業の社内文書に置き換えると、輪郭がはっきりする。稟議書の市場規模、提案書の導入実績、契約書レビューの条文番号や判例引用。どれも AI が最も「もっともらしく」補完しやすい種類の情報で、しかも社内の誰も一次資料に当たらないまま決裁印が押されていく。相手先に出た後で誤りが判明すれば、責めを負うのは AI を使った担当者ではなく、その文書に署名した役職者と会社である。

今回の処分で重いのは、制裁金よりも手続きのやり直しだ。趣意書が却下され、依頼者の控訴が振り出しに戻った。企業で同じことが起きれば、失うのは作業時間ではなく、入札の機会であり、契約交渉の主導権であり、取引先からの信用である。AI で短縮した数時間と釣り合う損失ではない。

SYNCON の視点 — 「誰が確かめたか」を文書に残す

再発防止の答えは「AI を使うな」ではない。実務 40 年の弁護士が引っかかった以上、経験や注意深さに頼る対策は機能しないと考えるべきだ。必要なのは、検証を個人の心構えから業務手順に移すことである。具体的には三つ。第一に、外部に出る文書の類型ごとに、AI 下書きを許す範囲と禁じる範囲を決める。第二に、数字・固有名詞・引用・条文番号は、出典 URL か原典のページ番号を添えない限り本文に残さないという規則を置く。第三に、その検証を誰がいつ行ったかを文書自体に記録する。

三つ目が要である。「確認しました」という口頭の報告は、事故が起きたときに何も守らない。逆に、検証者の名前と日付が残っていれば、どこで手順が飛ばされたかが分かり、次の設計に生かせる。AI の導入効果を作業時間の削減だけで測っている限り、この工程は「無駄な手戻り」に見えてしまう。来週の経営会議で問うべきは、AI で何時間短縮できたかではなく、外部に出る文書のうち何割に「誰が出典を確かめたか」の記録が付いているか、ではないか。

要点まとめ

• ニューメキシコ州最高裁が、ChatGPT の捏造した証人と警察官の供述を控訴趣意書に含めた弁護士に 5,000 ドルの制裁金を科し、法廷侮辱を認定した
• 処分は金銭だけでなく、趣意書の却下、控訴手続きのやり直し、事件からの解任、弁護士懲戒委員会への付託に及んだ
• 当該弁護士は実務 40 年。経験年数は AI の捏造を見抜く担保にならない
• 裁判所が AI 由来の虚偽に対応した事例は 2026 年 5 月時点で世界でおよそ 1,490 件、米国だけで 1,000 件超という集計がある
• 稟議書の市場規模、提案書の実績、契約書の条文番号は、AI が最も補完しやすく社内で検算されにくい情報にあたる
• 対策は禁止ではなく手順化。出典の無い数字は本文に残さない、検証者と日付を文書に記録する、という 2 点から始められる

情報ソース:
・Al Jazeera「US lawyer cites fake witnesses in murder case, blames ChatGPT」(2026 年 9 月 11 日)記事
・The Jerusalem Post「New Mexico court fines lawyer for ChatGPT use in murder conviction appeal」(2026 年 9 月 11 日)記事
・Yahoo News「Court Sanctions Lawyer Over ChatGPT-Fabricated Murder Testimony」(2026 年 9 月 11 日)記事
・GC AI「AI Hallucination Legal Cases: A Sanctions Tracker (2026)」記事