Googleが開発したAI「Gemini」をリリースした当初、ピザにチーズを固定するために接着剤の使用を提案したり、健康のために石を食べるよう勧める回答が話題になりました。
賢いはずのAIが、なぜ誰にでも分かるような誤回答をするのでしょうか?
その理由は、AIが出力する内容を検証しておらず、正しさを判断する仕組みを持たない構造にあります。
⚠️ 本記事は、筆者による構成・編集主導のもと、AIを補助的に用いて草案生成および表現調整を行ったものであり、AIによる自動生成コンテンツではありません。
AIは正答かどうかを判断していない
前章で記載したように、AIはテキストをトークンに変換し、中間層でノードの重みによって出力を調整し、学習データに基づいて、統計的に文字列を出力しているため、内容の検証が可能な構造になっていません。
AIの解説サイトなどでは「Web上の情報を照合して正しい回答を導き出す」と説明されることもありますが、実際は統計的に「同じ内容が複数存在する」内容が反映されるだけで、学習データに関しても内容の検証は行われていません。
AIの学習構造の脆弱性が顕在化した事例として、冒頭で触れたGeminiの「ピザのチーズを接着剤で固定する」という誤答があります。
Geminiが参照した情報源は、Redditで投稿されたジョーク記事だと指摘されていますが、誤答の話題がニュースサイトやフォーラム、個人ブログなど、多くのメディアで取り上げられました。
その結果、「ピザに接着剤を使う」という記述が複数の文脈に出現したことで、Geminiの学習モデル内では“高頻度情報”として認識され、誤りが明らかになった後も、今度は“学習データとしての存在”に基づいて再び出力されるという悪循環が発生しました。
Geminiの誤答は最終的に、Googleが手動で修正したとされていますが、こうした対応は出力の一部を抑制したにすぎず、学習データそのものに対するファクトチェックの不在という構造的なリスクは、根本的に解決されていません。
出力する情報が正しいかどうかを判断するには、「内容を理解」する必要があり、参照するデータベースのファクトチェックも必要になりますが、大規模言語モデル(LLM)では、膨大なデータ量の「文字列の並び」を学習して、次に現れそうな語の並びを予測しているため、AIは出力している内容の意味を理解しておらず、その正誤を判断すること自体が不可能な構造なのです。
予測確率が正答と一致する理由・しない理由
AIは「正解」を出すことを目的とせず、学習データの中で出現頻度の高い語の並びを統計的に予測して出力しています。
出力には、事実性・論理性・倫理性の検証処理は含まれていませんが、一般的なテストにおける正答率は70〜80%前後とされています。
「日本の首都は東京」といった情報は、多数の文書に同一の文脈で登場しているため、AIはそれを「高確率な出力」として選ぶ傾向があり、結果的に正答と一致します。
また、「〜とは何か」「〜の意味」「〜の生年月日」といった定型的な質問は、言語構造上も繰り返し出現しやすいため、過去の学習パターンと一致しやすく、確率的な予測結果が正答と整合する可能性が高まります。
AIはインターネット上にある膨大なテキストをトークン化して、重み調整された構造で処理しているため、類似した語順や語彙が頻出する文脈では予測精度が高まり、出力された文字列が正答に一致する確率も高まるわけです。
予測結果で7割以上の正答率が確保できている事実が釈然としませんが、AIは世界中の掲示板やフォーラムなどのナレッジコミュニティのほか、SNSなどからも学習しています。
言語や文化の違いを超えて、人間が抱く疑問や質問には一定の類似傾向が存在し、それが大量のデータとして蓄積されているため、AIはそれらの反復パターンを抽出・学習し、統計的に「もっともらしい回答」を出力できるのです。
このように正答率は学習データの量や均質性に依存するため、一般常識・地理・歴史など変化の少ない分野では精度が高く、専門的で情報変動の激しい分野や、複数の正解が存在する文脈では、誤答が増加する傾向があります。
また、「なぜ日本の出生率は低下しているのか?」「地球温暖化が進行すると海面上昇が起きるのはなぜか?」といった、複数の要因を整理・結合し、因果関係を形成する推論が必要な質問では、出現頻度の高い原因語句の組み合わせで補おうとするため、表面的な説明や出力内容に矛盾が生じる可能性が高くなります。
ユーザーが「正しい」と誤認するプロセス
AIは確率に基づいて文字列を出力する構造のため、誤答が生じることは仕様に含まれており、完全な正答は保証されていません。
そもそも 出力内容を検証していないため、AIは「誤答」を判断することができません。しかも誤答の出力時も整合的な構文と断定的な語尾によって、説得力のある文体を形成します。
また、AIが正答を出力するものだという前提が無意識に共有されているほか、検索エンジンの上位表示や企業ブランドに対する信頼も重なり、出力内容を疑わずに受け入れてしまう傾向が生まれます。
さらに、自分が期待した情報と一致する回答を「正しい」と見なす確証バイアスや、信頼できる情報源と誤信してしまうことで内容を無条件に受け入れてしまう権威バイアスも、判断の錯誤を強める要因となっています。
このような文体的・構造的要因が重なることで、出力全体が信頼できるものとして受け取られやすく、内容の検証を行わないまま共有・引用される可能性が高まります。
しかし、SNS上で情報の真偽を確かめず鵜呑みにするユーザーが多い現在、AIによって生成される「もっともらしく見える」回答は、実害が生じるリスクを孕んでいるのです。
AIリテラシー:AIの限界と誤解 シリーズ一覧
- 第七章 UXバイアス:共感と擬人化が生む認識の歪み
生成AIは正確性よりもユーザー体験を優先して設計され、共感的な語調や擬人化された応答が「理解された」という錯覚を生み出します。本章では、UX設計によって形成される肯定バイアスや擬人的認識が、思考の外部...
- 第六章 AIは「分かりません」と言わない:ハルシネーションと継続性優先アルゴリズム
AIは「わからない」と判断できず、常に回答を出力する構造を持ちます。本章では、継続性を優先する出力アルゴリズムの仕組みと、事実と異なる内容がもっともらしく出力される「ハルシネーション」と呼ばれる現象の...
- 第五章 AIは内容を検証していない:正答率とその限界
AIは意味や事実を検証せず、学習データに基づく確率的な文字列予測によって出力を行います。本章では、正答率が高くなる理由や誤答が生じる仕組み、整った文体や断定的な語調が信頼性を高める構造を分析し、誤認が...
- 第四章 AIは意味を理解していない:学習と応答の実態構造
人工知能(AI)の学習構造について、人の脳が神経細胞の結合を通じて意味の理解や思考を行うのに対し、AIはトークン化された数値列をもとにノードの重みを調整し、確率的に語を選ぶことで出力を生成するという構...
- 第三章 AIの歴史と構造:記号処理から学習モデルへ
人工知能(AI)の歴史と構造について、記号処理型AIからニューラルネットワークによる学習型モデルへの進化を整理し、誤差逆伝播法による多層構造の学習実現、深層学習による自己調整構造への転換、大規模言語モ...
- 第二章 フィクションに観るAI:想像が現実に追いつくとき
20世紀以降に登場したSF作品を通じて描かれたAIの擬人化や暴走、信頼性の錯覚といった構造を比較しながら、現実のAI開発や運用設計に見られる判断責任の所在やブラックボックス問題との接点について、作品ご...
- 第一章 AI万能観はどう作られたか:誤認が広がる情報構造
生成AIの普及により、「AIは人間を超える」「すべてを自動化できる」といった期待が拡がっています。本記事では、企業・行政・メディア・SNSが形成する情報構造を分析し、技術の実態と乖離したAI万能観がど...
更新履歴
お問い合わせ
📬 ご質問・ご連絡は、メールか SNS(X または Bluesky)にて受け付けています。
原則として XではDMでのご連絡をお願いいたします。投稿への公開コメントでも対応可能ですが、内容により返信を控えさせていただく場合があります。
※ Blueskyには非公開メッセージ機能がないため、メンションによる公開投稿でのご連絡をお願いいたします。
- info[at]eizone[dot]info
- @eizone_info
-
@how-to-apps.bsky.social
※投稿内容に関するご質問には可能な範囲でお答えします。
ただし、当サイトはアプリの開発元ではなく、技術サポートや不具合の対応は行っておりません。
また、すべてのご質問への返信を保証するものではありませんので、あらかじめご了承ください。