sellwell 
202024年11月、石破首相は国内のAIや半導体産業の支援のために、7年間で10兆円以上の公的支援を実施する方針を示しました。
生成AIと言えば、OpenAIのChatGPTやGoogleのGeminiが有名です。そしてこれらのサービスには、大規模言語モデルと呼ばれるAI技術が活用されています。
今回はAI分野の知識を深めるために、大規模言語モデルの意味や仕組みなどをわかりやすく解説します。
参考：NHK「石破首相 AI 半導体産業に7年間で10兆円以上の公的支援の方針」
Contents
大規模言語モデル（LLM）とは
大規模言語モデルとは、文章の分析に特化したAI技術の言語モデルを大規模化したものです。英語のLarge language Modelsを略して、LLMと呼ばれることもあります。
言語モデルとは、大量のテキストデータをもとに単語の出現確率をモデル化するAI技術です。例えば、「私のペットは」という文章があると、次の言葉に「犬」「猫」「鳥」など、次にどの単語が選ばれやすいかを出現確率から予測します。そして、次の単語の出現確率を出力することで、文章の内容の把握や文章生成などに活用されています。
大規模言語モデルは、言語モデルの以下の3要素を大規模化したものです。
- 計算量：コンピュータが計算する計算量
- データ量：コンピュータに入力するデータ量
- パラメータ量：出現確率を計算するための係数の量
大規模言語モデルは、これらの要素を増やすほど精度が高まるとされています。代表的な生成AIのChatGPTもバージョンアップするごとに、大規模化によって精度向上を実現しています。
ChatGPTのデータ量とパラメータ量の変遷
| バージョン | GPT-1 | GPT-2 | GPT-3 |
| データ量 | 4GB | 40GB | 45TB |
| パラメータ量 | 1.17億 | 15億 | 1,750億 |
参考：StudyAIblog「【最新版】ChatGPTから学ぶGPTの変遷とAIの進化」
ファインチューニングとは
大規模言語モデルを個別の目的に合わせて使用する方法として、ファインチューニングと呼ばれるカスタム方法があります。ファインチューニングとは、既存のAIモデルに、目的に応じた新しい学習データを与えて追加学習させる方法です。
大規模言語モデルとファインチューニングを組み合わせることで、文章生成・チャットボット・画像生成・翻訳など、多種多様なタスクを実現できます。
生成AIとの違い
大規模言語モデルと生成AIは似ていると感じるかもしれませんが、厳密には異なります。大規模言語モデルは、大量のテキストデータで学習することにより文章の分析が可能なAI技術です。このようなAI技術は、画像や音声に特化したモデルもあります。そのため、大規模言語モデルは生成AIの一種と言えます。
大規模言語モデルの仕組み
大規模言語モデルの仕組みを構成する要素は以下の5つです。
1. トークン化
トークン化は、テキストデータを最小単位の言葉に分割することです。例えば、単語や句読点、記号などで分割します。テキストデータをコンピュータで処理するための前準備で、機械学習の精度向上に役立ちます。
2. ベクトル化
テキストデータやトークン化されたデータは定性データです。しかし、コンピュータで定性データを処理するのは容易ではありません。そこで、トークン化したデータを複数の数値で示すベクトル化を行います。例えば、「犬」というトークンは（0.2,0.5,0.4）といった具合です。このようにベクトル化すると、コンピュータで処理がしやすく、トークン間の数値の関係性から文章の感情を読み取ることもできます。
3. ニューラルネットワークによる学習
ニューラルネットワークとは、多層構造により人間の脳の構造を模倣した計算方法です。大規模言語モデルの計算処理の中心的役割を果たします。ニューラルネットワークの精度を高めるには、大量のテキストデータを取り込み、機械学習を実施する必要があります。
4. 次のトークンを予測
ニューラルネットワークの学習を終えると、大規模言語モデルは次のトークンの予測が可能です。先に紹介したように「私のペットは」と入力すると、出現確率から次のトークンは「犬」や「猫」などと予測します。
5. 次のトークンの出現確率を出力
文章や口頭で指示を受けると、次のトークンの出現確率を出力し、出力内容から指示に沿った生成物を作成できます。
大規模言語モデルを活用した生成AIの事例
大規模言語モデルを活用した生成AIの事例は以下の2つです。
- OpenAI：ChatGPT
- Google：Gemini
2つの生成AIについて簡単に紹介します。
OpenAI：ChatGPT
出典：OpenAI
ChatGPTはOpenAIが開発した生成AIです。2022年11月に公開され、爆発的にユーザーが増加しました。サービス開始からわずか2カ月でユーザーが1億人を突破し、2024年5月には23億人に達したとのことです。
ChatGPTの特長は大規模言語モデルにより、自然な会話ができることです。その他にもプログラミングのコード生成や文章の添削などのタスクもできます。
Google：Gemini
出典：Gemini
Gemini（旧Bard）はGoogleが開発した生成AIです。大規模言語モデルを使用したAIチャットボットサービスで、回答が早いことや最新情報を引用できるのが強みです。文章生成や画像生成、プログラミングのコード生成、Googleアプリとの連携などができます。
大規模言語モデルの課題
大規模言語モデルは、利便性に優れたAI技術です。しかし、大規模言語モデルを活用した生成AIには、課題もあります。特に、ここで紹介する2つの課題は把握していないと、トラブルになるケースがあるため注意しましょう。
課題① ハルシネーション
大規模言語モデルの課題はハルシネーションです。ハルシネーションとは、生成した文章の中に事実とは異なる嘘が含まれる現象のことです。「もっともらしい嘘」という意味で、ハルシネーションと呼ばれています。
学習したテキストデータや学習方法などにより引き起こされるとされ、完全にゼロにするのは困難です。このことから、生成AIの生成物を確認せずに公開するのはリスクがあります。
実際に、毎日新聞の報道によると、福岡市の官民連携サイトにおいて、生成AIで作成した記事が実在しない観光名所を紹介しているとして問題になっています。
参考：毎日新聞「「生成AIの知見不足だった」人による確認も不十分 誤情報を記事化」
課題② 著作権侵害の恐れ
大規模言語モデルの課題は、生成物が著作権を侵害する恐れがあることです。学習に使用したテキストデータをそのまま出力する可能性や、既存の著作物と同じ文章が生成される可能性もあるためです。文化庁の「AIと著作権」では、既存の著作物との「類似性」や「依拠性」が認められる場合、著作権侵害になると指摘しています。
AI関連用語を押さえて事業に活用しよう
大規模言語モデルは、ChatGPTやGeminiなどの生成AIに活用されている技術です。大量のテキストデータで学習することで、自然な会話ができます。
日本政府が7年間でAIと半導体分野に10兆円を支援する方針を表明しています。そのため、AI領域は新たなビジネスチャンスとして期待されています。新規事業を検討している経営者様は、AI関連の事業に挑戦してみるのはいかがでしょうか。