LLMの仕組みを図解|文章生成の流れ

Fundamentals-02-30 基礎知識

ChatGPTなどの生成AIに質問すると、自然な文章がすぐ返ってきます。あまりに会話らしいので、「AIは本当に考えているのか」「検索して答えているのか」「学習した文章をそのまま出しているのか」と迷うこともあるかもしれません。

LLMは、入力文をそのまま読んで答えているわけではありません。文章をトークンという小さな単位に分け、数値として処理し、文脈に合う次のトークンを予測しながら返答を作っています。この流れを押さえると、生成AI、LLM、ChatGPTの違いや、Transformer・Attention・パラメータといった用語の位置づけもつかみやすくなります。

この記事では、数式や実装の話に寄りすぎず、入力した文章が返答に変わるまでの流れを順に追っていきます。仕組みがわかると、生成AIの答えをただ「すごい」と受け取るだけでなく、下書きとして使える場面と、根拠を確認したほうがよい場面を分けて考えやすくなります。

【1】LLMとは文章を生成する大規模言語モデル

LLM(大規模言語モデル)とは、大量のテキストデータから言葉のつながりや文脈のパターンを学習し、自然な文章を生成するAIモデルのことです。

ChatGPTなどを通じて身近になった一方で、「生成AI」「LLM」「ChatGPT」は同じ意味で使われることも少なくありません。まずは、LLMが何を指す言葉なのか、関連する用語との違いから見ていきます。

LLMは大量の文章から言葉のパターンを学ぶ

LLMは「Large Language Model」の略称です。大きな特徴は、膨大な文章データをもとに「ある言葉のあとに、どのような言葉が続きやすいか」という傾向を学んでいる点にあります。

LLMは、辞書のように決まった回答を引いているわけではありません。Webサイトの情報をそのまま探して返しているわけでもありません。入力された文脈を手がかりに、次に続く言葉、つまりトークンを予測しながら、その場で文章を組み立てています。

ただし、LLMが人間と同じように意味を完全に理解しているわけではありません。計算によって「自然に続きそうな言葉」を選んでいるため、返答がなめらかでも、内容まで正しいとは限らない点には注意が必要です。

LLMの「大規模」はデータ量・計算量・パラメータ数を指す

LLMが「大規模」と呼ばれるのは、学習に使うデータ量、計算量、そしてパラメータ数が非常に大きいからです。

パラメータとは、AIが次の言葉を予測するときに使う内部の数値です。言葉を選ぶときの重みづけに近いもので、この数値が多いほど、複雑な文脈や細かな表現の違いを扱いやすくなります。

とはいえ、モデルが大きければ常に正しい答えを出すわけではありません。パラメータ数は、複雑な文章を生成する力に関わる指標の一つです。正確性そのものを保証する数字ではありません。

生成AIは文章以外も作る広い概念である

生成AIは、文章だけでなく、画像、音声、動画、プログラムコードなどを新しく作るAIの総称です。LLMは、その中でも「言語」、つまり文章や会話の扱いに特化した生成AIの一種です。

それぞれの関係は、以下のように見るとわかりやすくなります。

用語主な意味扱う対象
生成AI新しいコンテンツを作るAIの総称文章、画像、音声、動画など
LLM言語を扱う大規模なモデルテキスト、会話、要約、翻訳など
ChatGPTLLMを会話用に使いやすくしたサービス質問応答、文章作成、相談など

出典:経済産業省・総務省「AI事業者ガイドライン」、Google Developers「LLM: 大規模言語モデルとは何でしょうか。」、OpenAI「Introducing ChatGPT」

生成AIという広い枠の中に、文章生成を担うLLMがあります。そして、そのLLMを会話形式で使えるようにしたサービスの一つがChatGPTです。ここを分けておくと、AI関連の説明を読んだときにも混乱しにくくなります。

【深掘り記事|A01-01】生成AIの仕組みをやさしく解説|モデルが答えをつくる流れとは?

ChatGPTはLLMを会話向けに調整したサービスである

ChatGPTとLLMは混同されやすい言葉ですが、正確には「サービス」と「その中で使われるモデル」という関係です。LLMという文章生成の仕組みを、ユーザーがチャット形式で扱いやすいように整えたものがChatGPTです。

たとえば、LLMが文章を生成するエンジンだとすると、ChatGPTはそのエンジンを会話で使える形にしたサービスです。質問に答える、条件に合わせて文章を整える、前の会話を踏まえて返す。そうしたやり取りがしやすいように、基盤となるLLMには対話向けの調整が加えられています。

ここまでを見ると、LLMは文章生成の基盤であり、ChatGPTはそれを会話で使いやすくしたサービスだとわかります。

【関連記事|A02】LLMとは?GPTの仕組み・学習データ・使い方までを一気に理解する

【2】LLMの仕組みは入力から出力までの流れでわかる

LLMの仕組みは、専門用語を一つずつ覚えるよりも、入力した文章が返答に変わるまでの流れで見ると理解しやすくなります。

ChatGPTに質問すると、すぐに答えが返ってきます。そのため、どこかから正解を探してきているように見えることがあります。けれども、LLMの基本的な動きは検索ではありません。入力された文章をもとに、返答として自然につながる言葉を予測しながら、文章を作っています。

LLMは検索結果を探さず文章を生成する

LLMの動きは、検索エンジンのように「既存の情報が載っているページを探して表示する」ものではありません。入力された文章、つまり文脈を手がかりに、次に続く言葉を予測しながら、新しい文章を組み立てる仕組みです。

検索エンジンとLLMの役割を比べると、違いが見えやすくなります。

項目検索エンジンLLM
主な役割目的の情報が載ったページを探す文脈に合う文章を新しく生成する
入力への反応関連するWebページや資料を返す回答文や説明文を組み立てる
得意なこと最新情報や事実の所在を示す要約、言い換え、多角的な説明

出典:Google Developers「LLM: 大規模言語モデルとは何でしょうか。」

もちろん、最近のAIサービスにはWeb検索や外部データを参照する機能が組み込まれている場合もあります。ただ、LLM単体の基本は「検索」ではなく「生成」です。

この違いをわかっておくと、AIの返答を使う場面を分けやすくなります。文章の下書きや要約にはそのまま役立つことがあります。一方で、日付、金額、制度、最新ニュースのように事実確認が必要な内容では、別の情報源をあわせて見るほうが安心です。

LLMは入力文を手がかりに返答を組み立てる

LLMにとって、ユーザーが入力した文章、いわゆるプロンプトは、返答を作るための手がかりになります。キーワードだけでなく、依頼の形式、求められている詳しさ、前の会話とのつながりなども処理の対象になります。

たとえば、「LLMについて説明して」と入力した場合、LLMは文脈から次のような要素を読み取ります。

  • 何について答えるべきか
  • どのくらいの詳しさが求められているか
  • 前の会話とどうつながっているか

同じ「LLMについて説明して」でも、「初心者向けに」「短く」「表で」と条件を添えると、返答の形は変わります。LLMは入力文を単なる問いとしてではなく、どの方向に文章を作るかを決める材料として扱っています。

LLMの文章生成は処理・予測・出力で進む

入力された文章が返答として表示されるまでには、大きく分けて「処理」「予測」「出力」の3つの段階があります。

LLMは、人間のように文章をそのまま読んで考えているわけではありません。まず計算しやすい形に変換し、そのうえで文脈に合う次の言葉を選び、最後に文章として表示します。

流れ工程何をしているか
処理トークン化・数値化文章を小さな単位に分け、数字に変換する
処理文脈処理言葉同士の関係性や重みを計算する
予測次トークン予測文脈に合う「次の言葉の候補」を導き出す
出力生成予測された言葉をつなぎ、文章として表示する

出典:Google Developers「LLM: 大規模言語モデルとは何でしょうか。」、Microsoft Learn「トークンについて」

ここで出てくる「トークン化」や「次トークン予測」は、LLMの仕組みを理解するうえで欠かせない言葉です。まずは、返答が一瞬で完成しているように見えても、内部では段階を踏んで文章が作られている、と捉えるとわかりやすくなります。

LLMの図解は全体像の理解を助ける

LLMを学ぼうとすると、トークン、Transformer、Attention、パラメータなど、聞き慣れない言葉が続けて出てきます。単語だけを追うと混乱しやすいですが、入力から出力までの流れに置いて考えると、それぞれの役割がつかみやすくなります。

たとえば、トークンは入力文を細かく分ける段階で出てくる考え方です。TransformerやAttentionは、分けられた言葉同士の関係を処理する技術に関わります。パラメータは、次にどの言葉を選ぶかという判断に関係します。

LLMの図解を見るときは、「この用語は文章生成のどの場面で使われているのか」を意識すると、知識がばらばらになりにくくなります。まずは、入力、処理、予測、出力という流れの中で、それぞれの用語を置いて考えるのがおすすめです。

【3】LLMは文章をトークンと数値に変えて処理する

LLMは、人間のように文章をそのまま読んでいるわけではありません。入力された文章を「トークン」という小さな単位に分け、さらに計算できる「数値」に変換してから処理します。

ChatGPTの返答が自然に見えても、内部では言葉をデータとして扱い、言葉同士の関係を計算しています。ここでは、文章生成の最初の段階にあたる「トークン化」と「数値化」の仕組みを見ていきます。

トークンはLLMが文章を扱う小さな単位

トークンとは、LLMが文章を処理するときに使う小さな単位です。日本語の「単語」に近い考え方ですが、完全に同じではありません。文字そのもの、単語の一部、記号、空白などが、ひとつのトークンとして扱われることがあります。

人間は文章を読むとき、意味のまとまりで受け取ります。一方で、LLMは文章をトークンの並びとして扱います。

人間が読む場合: 「LLMの仕組み」→「LLM / の / 仕組み」と意味で区切る
LLMが扱う場合: 文章を独自のルールに沿って、トークンの集まりとして受け取る

LLMが文章を作るときは、このトークンをひとつずつ選んでつないでいきます。トークンは、LLMにとって言葉を扱うための最小単位だと考えるとわかりやすいです。

トークン化は入力文を処理単位に分ける工程である

トークン化とは、入力された文章を、LLMが扱いやすいトークンへ分ける工程です。ユーザーが文章を入力したあと、最初のほうで行われる処理にあたります。

文章を細かい単位に分けることで、LLMは言葉の断片同士の関係を計算できるようになります。たとえば「生成AI」という言葉も、モデルの仕組みによっては複数のトークンに分けられます。そうすることで、「生成」や「AI」といった言葉が、周囲の文脈とどう結びつくかを扱いやすくなります。

この処理は自動で行われるため、ふだんユーザーが意識する必要はありません。ただ、入力した文章がそのまま理解されているのではなく、内部では扱いやすい部品に分けられている、という点だけは押さえておくとわかりやすいです。

ベクトル化は言葉の意味を数値で扱う工程である

トークンに分けられた文章は、次に「ベクトル化」という工程で数値に変換されます。LLMは文字そのものを計算できないため、トークンを数字の並びとして扱います。

数値に変えることで、言葉同士の近さや関係を計算できるようになります。

「犬」と「猫」は、どちらも動物に関係する言葉なので、数値上の距離が近くなりやすい
「犬」と「冷蔵庫」は、意味のつながりが薄いため、数値上の距離が遠くなりやすい

LLMは、このように数値化された言葉の関係を手がかりにして、文脈を処理します。ただし、数値で関係を扱っていることと、人間のように意味を理解していることは同じではありません。LLMはあくまで、計算によって言葉のつながりを扱っています。

トークンの区切りは人間の単語感覚とずれる

トークンの区切り方は、人間が感じる単語や文節の区切りと違うことがあります。特に日本語は英語のように単語の間に空白がないため、思ったより細かく分けられる場合があります。

このずれは、実際にAIを使う場面では「トークン数制限」として表れます。

文字数とトークン数は異なる: 短い文章でも、漢字、専門用語、記号が多いと、内部でのトークン数が増えることがあります。
処理できる量には上限がある: LLMには一度に扱えるトークン数の上限があります。そのため、文字数ではまだ余裕があるように見えても、トークン数では上限に近づいている場合があります。

LLMは文章をそのまま読んでいるのではなく、トークンに分け、数値に変えてから処理しています。この前提を知っておくと、なぜ長い文章に制限があるのか、言葉の区切り方で出力が変わることがあるのかも理解しやすくなります。

【4】LLMは文脈を見て次のトークンを予測する

LLMの文章生成では、「次にどの言葉が続くと自然か」を予測する処理が中心になります。数値に変換されたトークンをもとに、前後の文脈を見ながら、次に置くトークンを一つずつ選んでいく仕組みです。

人間から見ると、LLMはまとまった文章を一気に書いているように見えます。けれども内部では、言葉を少しずつ選び、そのたびに文脈を更新しながら返答を作っています。

LLMは文脈から次に続くトークンを選ぶ

LLMは、最初から完成した一文を丸ごと作っているわけではありません。次に続くトークンを予測し、それをつなげ、さらに次のトークンを予測する。この繰り返しで文章を生成します。

この仕組みを「次トークン予測」と呼びます。

たとえば、「空が暗くなってきたので」と入力された場合、LLMはこれまでの学習から、後に続きやすい候補を確率的に計算します。

文脈:空が暗くなってきたので……

予測される次のトークン候補:「雨」「傘」「急ぐ」など

ここで「雨」が選ばれると、文脈は「空が暗くなってきたので、雨が……」に変わります。するとLLMは、その新しい文脈をもとに、さらに次のトークンを予測します。

こうして、短い候補の積み重ねが、最終的にはひとつの回答になります。

LLMの次トークン予測はスマホの予測変換とは違う

「次の言葉を予測する」と聞くと、スマートフォンの予測変換を思い浮かべる人も多いかもしれません。たしかに、どちらも入力に続く候補を出す仕組みです。

ただし、LLMとスマホの予測変換では、見ている文脈の広さが大きく違います。

項目スマホの予測変換LLMの次トークン予測
主な目的文字入力を楽にする文章そのものを生成する
見る範囲直前の数文字や単語が中心入力文全体や会話の流れ
出力結果単語や定型句の候補回答、要約、翻訳、文章作成など
文脈の処理限定的複数の条件や指示をまとめて扱う

出典:Google Developers「LLM: 大規模言語モデルとは何でしょうか。」

たとえば、「初心者向けに」「箇条書きで」「専門用語を避けて」といった条件を入れると、LLMはそれらを含めて返答を組み立てます。直前の言葉だけではなく、入力文全体の意図や条件を見ながら次のトークンを選ぶ点が、単純な予測変換との大きな違いです。

Transformerは文脈の関係を見る基盤技術

LLMが長い文脈を扱える背景には、「Transformer(トランスフォーマー)」という技術があります。現在使われている主要なLLMの多くは、このTransformerを土台にしています。

Transformer以前の技術では、文章が長くなるほど、前に出てきた内容とのつながりを保つのが難しいという課題がありました。Transformerは、文章内のトークン同士の関係をまとめて計算し、離れた場所にある言葉のつながりも扱いやすくしました。

たとえば、長い質問の最後に「これを初心者向けに説明して」と書かれていた場合でも、LLMは前半の内容と最後の条件をあわせて処理します。こうした文脈の扱いを支えている代表的な技術がTransformerです。

Attentionは文章内の重要な関係に注目する仕組み

Transformerの中で中心的な役割を持つ仕組みが「Attention(アテンション)」です。Attentionは、入力された文章の中で、どの言葉同士の関係を強く見るべきかを計算します。

人間が文章を読むときも、すべての文字を同じ重さで読んでいるわけではありません。質問の中に「短く」「比較して」「小学生にもわかるように」といった言葉があれば、そこに注意が向きます。

LLMも同じように、Attentionを使って文脈内の重みづけを行います。

入力:「美味しいコーヒーの淹れ方を短く教えて」

LLMが重く見る要素:「コーヒー」「淹れ方」「短く」

この場合、LLMは「コーヒーについて答える」「淹れ方を説明する」「長くしすぎない」といった条件を同時に扱います。Attentionは、文章の中でどの情報を返答に強く反映するかを決める仕組みだと考えるとわかりやすいです。

サンプリングは同じ質問でも回答が変わる理由に関わる

ChatGPTに同じ質問をしても、毎回まったく同じ返答になるとは限りません。少し違う言い回しになったり、説明の順番が変わったりすることがあります。

この違いには、「サンプリング」と呼ばれるトークンの選び方が関係しています。

LLMは、常に確率が一番高いトークンだけを選ぶわけではありません。候補の中から、確率に応じて少し幅を持たせながら選ぶことがあります。

確率1位:「です」(60%)

確率2位:「でしょう」(20%)

確率3位:「と言えます」(10%)

もし毎回1位の候補だけを選び続けると、返答は安定しやすくなります。その一方で、表現が単調になりやすく、同じような文章ばかりになることもあります。

サンプリングによって選び方に少し揺らぎが生まれるため、同じ質問でも返答に違いが出ます。LLMの文章が毎回少しずつ変わるのは、気まぐれに答えているからではなく、候補の中から確率的に言葉を選んでいるためです。

【5】LLMの自然な返答は学習データ・パラメータ・調整で生まれる

LLMが自然な文章を返せるのは、大量の文章を使った学習と、モデル内部のパラメータ、そして対話しやすくするための調整が組み合わさっているからです。

ただし、これは「どこかにある文章を探して貼り付けている」という意味ではありません。LLMは学習した傾向をもとに、入力された文脈に合う言葉をその場で選び、文章としてつなげています。

事前学習は大量の文章から言葉の傾向を学ぶ工程

事前学習とは、LLMが大量のテキストデータを使って、言葉の並び方や文脈の傾向を学ぶ工程です。

この段階でLLMは、「どのような文脈では、どのような言葉が続きやすいか」を広く学んでいきます。たとえば、「空が」という書き出しに対して、「青い」「暗い」「高い」といった言葉が続きやすいと予測できるのは、この学習によるものです。

ここで学んでいるのは、特定の答えそのものではありません。多くの文章に見られる言葉のつながり方や、文脈ごとの出やすい表現です。

【深掘り記事|A02-01】LLMの学習データとは?モデルが世界を理解する方法

パラメータは次のトークンを選ぶ判断の重み

パラメータとは、LLMが次のトークンを予測するときに使う、モデル内部の数値です。学習を通じてこの数値が調整されることで、文脈に合う言葉を選びやすくなります。

パラメータは、文章を保存しておく箱ではありません。どちらかといえば、「この文脈ではどの言葉を選びやすいか」を決める重みづけのようなものです。

パラメータ数が多いモデルほど、複雑な文脈や細かな表現の違いを扱いやすくなります。ただし、パラメータ数が多いからといって、返答が常に正確になるわけではありません。自然な文章を作る力と、事実として正しいかどうかは分けて考える必要があります。

【深掘り記事|A02-02】LLMのパラメータとは?モデルの“賢さ”を左右する数字の意味

微調整はLLMを指示に従いやすくする工程

事前学習を終えただけのLLMは、文章を続ける力は持っています。ただ、そのままではユーザーの質問に答えたり、指定された形式に合わせたりする動きは十分ではありません。

そこで行われるのが、微調整(ファインチューニング)です。微調整によって、LLMは会話や指示に合わせた返答をしやすくなります。

たとえば、次のような動きです。

質問に対して、答えとして返す
「要約して」「表にして」といった依頼に合わせる
不適切な表現を避ける

ここまでの役割をまとめると、以下のようになります。

要素役割文章生成との関係
事前学習大量の文章から言語パターンを学ぶ自然な表現を生み出す基礎
パラメータ予測に使う内部の数値次の言葉を選ぶ精度に関わる
微調整指示や対話の形式に合わせるユーザーの依頼に沿った出力に近づける

出典:Google Developers「LLM: 大規模言語モデルとは何でしょうか。」、OpenAI「Introducing ChatGPT」

LLMは学習データをそのまま貼り付けているわけではない

LLMについてよくある誤解に、「学習した文章を検索して、そのまま貼り付けている」というものがあります。けれども、LLMの基本的な仕組みは検索や引用ではありません。

LLMは、学習データから得た言葉のつながり方をもとに、その場の文脈に合う文章を新しく生成しています。そのため、学習データにそのまま存在しない言い回しや組み合わせの文章も作れます。

この仕組みがあるから、要約や言い換え、文章作成のような柔軟な使い方ができます。一方で、文脈として自然に見える内容を、事実確認が不十分なまま生成してしまうこともあります。

LLMの返答は学習済みの傾向と入力文の文脈で変わる

LLMの返答は、モデルが学習してきた言葉の傾向と、ユーザーが入力した文脈の組み合わせで決まります。

同じモデルを使っていても、入力文に条件を加えると、返答の形は変わります。何を重く見るかが変わるためです。

「初心者向けに」と入力した場合:専門用語を減らし、平易な表現を選びやすくなる
「箇条書きで」と入力した場合:短い文と改行を使った形になりやすくなる
「比較して」と入力した場合:違いが見えるように並べた説明になりやすくなる

LLMは固定された答えを取り出しているのではなく、入力された条件に合わせて言葉を選び直しています。だからこそ、プロンプトの書き方によって、同じテーマでも返答の詳しさや形が変わります。

【6】LLMの仕組みを知るとAIの答えを判断しやすくなる

LLMの仕組みがわかると、AIの返答を「自然だから正しい」と受け止めるのではなく、どこまで使えるかを見分けやすくなります。

LLMは、文脈に合う次のトークンを予測しながら文章を作ります。そのため、読みやすく整った返答の中に、事実と違う内容が混ざることがあります。ここでは、LLMの仕組みを踏まえて、AIの答えをどう扱えばよいのかを見ていきます。

LLMは人間のように意味を完全に理解しているわけではない

LLMは、人間のように言葉の意味や背景にある現実を理解して答えているわけではありません。これまで見てきたように、LLMは膨大な学習データをもとに、文脈に合う次のトークンを確率的に選んでいます。

そのため、返答が自然で、筋が通っているように見えても、それは「文章として自然につながっている」という意味です。内容そのものが正しいと保証されているわけではありません。

たとえば、説明文としてはきれいでも、日付が違っていたり、実在しない資料名が混ざっていたりすることがあります。LLMの文章は読みやすいぶん、間違いに気づきにくい場合があります。

LLMは自然な文章を作れても正しいとは限らない

LLMが得意なのは、文脈に合う自然な文章を作ることです。正しい情報を必ず提示することとは別の能力です。

特に、次のような内容では、返答をそのまま使う前に確認したほうが安心です。

最新の事実:学習データのあとに起きた出来事やニュース
専門的な判断:法律、医療、金融など、判断を誤るとリスクがある情報
固有名詞や数値:日付、金額、出典、資料名、制度名など

一方で、メール文のたたき台、文章の要約、表現の言い換え、考えを並べる作業では、そのまま役立つ場面もあります。

LLMの返答は、完成品というより、確認しながら使う下書きに近いものです。文章として使えるか、事実として確認がいるか。この2つを分けて見ておくことで、LLMをうまく活用することができます。

【深掘り記事|A01-04】生成AIの注意点|誤情報・著作権・プライバシーをどう扱うか?

ハルシネーションは予測で文章を作る仕組みと関係している

ハルシネーションとは、LLMが事実と違う内容を、あたかも正しい情報のように生成してしまう現象です。

これは、単なるミスというより、LLMが予測によって文章を作る仕組みと深く関係しています。LLMは、文脈上つながりやすい言葉を選んで文章を完成させます。その候補が事実と違っていても、文章として自然に見える方向へ進んでしまうことがあります。

特に、専門性が高いテーマ、情報が少ない話題、最新情報が関わる内容では、もっともらしい間違いが混ざりやすくなります。

「それらしい説明」と「事実として正しい説明」は、同じではありません。ここを分けておくと、AIの返答に振り回されにくくなります。

外部情報の参照はLLMの誤情報対策に使われる

最近のAIサービスには、Web検索や特定のデータベースを参照して回答する機能が組み込まれている場合があります。これは、LLMだけでは弱い「最新情報」や「根拠の確認」を補うための仕組みです。

LLM本体は、学習済みの傾向をもとに文章を作ります。一方で、外部参照機能は、Webページや資料などから根拠となる情報を探します。

LLM本体:学習済みのパターンから文章を作る
外部参照:Webページや資料から根拠を探す

ただし、外部情報を参照しているからといって、必ず正しいとは限りません。参照先の内容を読み違えたり、質問と関係の薄い情報を根拠として扱ったりすることもあります。

出典が示されている場合でも、その資料が信頼できるか、回答の内容と本当に対応しているかは、人間が最後に確認する必要があります。

LLMの仕組みを知ると次に学ぶ内容を選びやすくなる

LLMの全体像がわかると、自分が何を深く知りたいのかも選びやすくなります。目的によって、次に学ぶ内容は変わります。

知りたいこと次に学ぶとよい内容
回答の精度を上げたい入力文(プロンプト)の工夫、外部情報の使い方
性能の差を知りたいパラメータ数、モデルごとの特徴比較
技術的な背景を深めたいTransformer、Attention、事前学習の仕組み
安全に使いたいハルシネーション対策、AI倫理、情報の取り扱い

出典:経済産業省・総務省「AI事業者ガイドライン」、Google Developers「LLM: 大規模言語モデルとは何でしょうか。」、IBM「AIハルシネーションとは」

LLMは、文章の下書きや要約、考えを広げる作業では頼れる道具になります。ただ、日付、金額、制度、医療や法律の判断が関わる内容では、返答が自然でも確認は別に必要です。

仕組みを知ることは、AIを疑うためだけのものではありません。任せてよいところと、自分で確かめるところを分けるための手がかりになります。

編集後記

LLMの仕組みを追っていくと、「AIはどれくらい賢いのか」よりも、「どのような手順でこの返答が出てきたのか」に目が向くようになります。

生成AIの返答は、とても自然です。だからAIは答えを知っていて回答としていると思っている人が私の周りの日常会話の中でもほとんどです。

AIの答えを、すべて疑ってかかる必要はありません。メールの下書きや要約、考えを並べる作業では、十分に頼れる場面があります。一方で、日付、金額、制度、医療や法律のように確認が必要な内容では、返答が自然でも、根拠は必ず確認したほうがよいです。

仕組みを知ると、AIとの距離感や感じ方が少し変わります。
任せてよいところと、自分で確かめるところを分けて考えられるようになるからです。

参照・参考サイト

経済産業省・総務省 AI事業者ガイドライン
https://www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/pdf/20260331_1.pdf

Google Developers LLM: 大規模言語モデルとは何でしょうか。
https://developers.google.com/machine-learning/crash-course/llm/transformers?hl=ja

Microsoft Learn トークンについて
https://learn.microsoft.com/ja-jp/dotnet/ai/conceptual/understanding-tokens

arXiv Attention Is All You Need
https://arxiv.org/abs/1706.03762

OpenAI Introducing ChatGPTc
https://openai.com/index/chatgpt/

IBM AIハルシネーションとは
https://www.ibm.com/jp-ja/think/topics/ai-hallucinations

コメント

タイトルとURLをコピーしました