第三章　AIの歴史と構造 – 記号処理から学習モデルへ

1960年代当時も、パーセプトロンを複数重ねて「多層構造」にすれば、より複雑な問題にも対応できる可能性があることは認識されていました。
しかし、中間層（隠れ層）の「重み」を学習する手法が存在せず、構想はあっても実用には至りませんでした。

その後、1986年にRumelhartらによって誤差逆伝播法（バックプロパゲーション）が提案されたことで、初めて多層構造の学習が可能となり、XORのような非線形問題に対する有効性が実証され、ニューラルネットワーク研究は再び注目を集めます。

ニューラルネットワークは、「入力層」「中間層（隠れ層）」「出力層」という複数のレイヤー（層）と、それぞれの層に配置された多数のノード（演算単位）で構成されています。
ノードは、入力された値に「重み（重要度）」をかけて合計し、その結果に活性化関数（出力するか判断するための数式）を適用して出力を生成する、情報処理の最小単位です。

この構造により入力された情報は中間層のノードによって再構成され、出力層で区別しやすい形に変換されます。
先のXOR問題のように直線では分類できない複雑なパターンも、中間層の処理を通すことで、最終的に正しく分類可能な状態に変換される仕組みが実現されました。

※入力層と出力層は1層ですが、中間層（隠れ層）は1層以上存在する構造をとります。

深層化と自然言語処理の展開

1990年代後半から2000年代にかけて、ニューラルネットワークの構造が単純な多層パーセプトロンから進化し、画像処理分野では「畳み込みニューラルネットワーク（CNN）」、音声や時系列処理では「再帰型ニューラルネットワーク（RNN）」が活用されるようになります。
また、学習を支えるためのベンチマークデータセット（アルゴリズムの性能を客観的に比較・検証するための基盤となる、同一条件下で学習・テストできる共通データ群）や、高速な演算を可能にする GPUの導入といった基盤環境の整備も進み、AIの実用化に向けた足場が築かれていきました。

2010年代には、コンピュータの計算性能向上、大規模データセットの整備、アルゴリズムの最適化が進んだことで、ニューラルネットワークの「多層化（ディープ化）」が現実的に運用可能となります。
これにより、画像や音声といった非構造データに対しても、極めて高い精度で分類・認識・生成が行える深層学習（ディープラーニング）が実用化され、AI技術は急速に社会実装段階へと移行していきます。

自己調整構造への転換 – 特徴量設計から学習主導へ

従来の機械学習では、「どの特徴を使って分類するか」という判断を人間が行い、画像であれば輪郭や明度、音声であれば周波数成分など、判断に用いる特徴量を設計段階で明示的に指定する必要がありました。これを特徴量エンジニアリングと呼び、正確な判断を行うためには人間の専門知識と設計能力が不可欠でした。

1986年に誤差逆伝播法が導入されたことで、「ネットワーク内の重みを誤差に応じて自動調整する仕組み」自体は確立されていましたが、この時点ではネットワークの階層が浅く、抽出する特徴自体は人間が定義する必要がありました。

その後、2010年代に入り、ネットワークの多層化と計算資源の強化が進んだことで、入力された生データからネットワークが自動的に有効な特徴量を抽出し、判断につなげる構造が実用的に機能するようになります。
つまり、「どの特徴を重視すべきか」は、あらかじめ人が設計するのではなく、正解と誤差に基づいてネットワーク自身が自律的に調整する構造に移行しました。

✏️この特徴抽出は、ネットワークが学習過程で正解との誤差をもとに重みを調整する仕組みによって実現されています。
※学習の具体的な仕組みについては次章で詳しく解説します。

人が定義したルールや特徴ではなく、データと誤差をもとにモデル自身が自律的に最適化するという構造は、AI開発における人間の関与の在り方を根本から変えるものでした。
設計や分析のコストが削減される一方、内部で何が起きているかが把握しにくい「ブラックボックス化」が進むという新たな問題も生じるようになります。

このような深層学習の進展は、言語処理分野にも大きな影響を与えました。
従来の言語処理は構文規則や辞書的意味に基づいた処理でしたが、2017年に登場したTransformerモデルは、文脈上の単語の関係性を数値的に処理する「自己注意機構（Self-Attention）」を導入し、大量の文章データから文脈予測能力を獲得する、現在の大規模言語モデル（LLM：Large Language Model）の構造へと進化していきます。