ChatGPTの入力（プロンプト）に誤字脱字が含まれている場合、その誤りをChatGPTが認識して文脈的に正しい文として解釈できるか考察します。
結論として、ChatGPTの入力に誤字脱字が含まれていても、論理的に破綻していない文章であれば100%に近い確率で正しく訂正した上で意味を解釈できるようです。以下で詳しくご紹介します。
本稿の背景
生成AIといえばOpenAI社のChatGPTが代表格ですが、このChatGPTの新バージョン「OpenAI o1(o1-preview)」が今年（2024年）9月に公開されました。これは複数存在するChatGPTのモデルの中でも最も推論能力に優れた最新のモデルで、数理的・科学的な考察を高度なレベルで実行することができます。
このモデルの推論能力は非常に強力ですが、長い思考時間が必要となるため素早い応答はできません。また、有料版ユーザーであっても使用回数に一定の制限があります。そのため、単純なタスクについてはChatGPT-4o（あるいはGPT-4o mini）のモデルを利用することになります。
管理人はChatGPTを使う際に音声入力をよく利用しています。タイピング速度よりも早く入力できるため、考えたことをすぐに言語化・文章化する際に重宝しています。しかしながら音声入力の精度には若干の問題があり、文脈を汲み取った漢字変換などにミスが見られることがあります。特に日本語の場合は同音異義語の誤字が多く発生してしまいます。
そのような場合、漢字の変換ミスに気づかないままプロンプトを入力してしまうと、生成AIが誤った文脈のもと命令を理解してしまうことが懸念されます。これはAIの演算リソースやユーザーの時間の無駄遣いに繋がるため、経済的ではありません。そこで、ChatGPTが誤字を適切に解釈できるかについて、考えてみたいと思います。なお、今回の検証実験では、現在最も頻繁に用いられているChatGPT-4oのモデルが対象となります。
生成AIを混乱させる3つの要因
はじめに、生成AIを混乱させる要因について考えてみます。これはおよそ3つのカテゴリに分けることができます。
カテゴリー1: 明確さ・完全性の不足
プロンプトが曖昧であったり、必要な情報や指示が不足しているため、AIが意図を正確に理解できなくなります。
-
-
- 曖昧な指示: 指示が不明確で具体性に欠ける。
- 文脈の不足: 必要な背景情報や詳細が提供されていない。
- 一度に複数の質問をする: 複数の質問が含まれるため焦点が定まらない。
- 出力形式の指定不足: 希望する回答形式が明示されていない。
- 不要な情報の過多: 質問と直接関係のない情報が含まれている。
- 過度の前提や省略: 必要な情報を省略し、AIが背景を理解していると仮定してしまっている。
- 質問の目的が不明確: 何を求めているのかが明確でない。
- 過度な詳細の要求: 過度に詳細な情報を求め、AIが対応しきれない。
-
カテゴリー2: 言語・表現上の問題
言語の使い方や表現に問題があり、AIがプロンプトを正しく解釈できない状況です。
-
- 誤字・脱字や文法エラー: スペルミスや文法的な誤りがある。
- 複雑な文章や長すぎる文: 複雑な構文や過度に長い文章で理解が困難。
- 専門用語やスラングの過度な使用: AIが理解しにくい専門用語や俗語を多用している。
- 言語の混在: 一つのプロンプトで複数の言語を混ぜて使用している。
カテゴリー3: 論理的・情報的な一貫性の欠如
プロンプト内で情報が矛盾していたり、論理的な整合性が取れていないため、AIが混乱する可能性があります。
-
- 矛盾した情報の提供: プロンプト内で相反する情報や指示がある。
- 感情的または攻撃的な表現: 感情的な言葉遣いや攻撃的な表現で、AIの理解を妨げる。
- 明らかな誤りの見落とし: 日付や数値など、具体的な情報に誤りがある。
このうち「同音異義語の誤字」はカテゴリー2に分類されます。人間が文章を読む場合、文脈を理解すれば誤字があっても内容を解釈することが可能ですが、機械の場合はそうはいきません。こうした5時を含むプロントと入力してしまった場合でも、AI側が適切にその意味を汲み取って判断できれば、文章の添削修正に必要なコストが削減できるので非常に実用的です。
ChatGPTをテストする
試しにいくつかの文章をChatGPTに読ませ、誤字・脱字の箇所を指摘させてみましょう。
以下の文章を読み、いくつの誤字・脱字が含まれているかを判定してください。またその誤字がどの部分かについても指摘してください。：
「日本は近年、観光立国としての地位を確率するために様々な政策を推信しています。訪日外国人の数は年々増加し、経済への影強も大きくなっています。しかし、地方の観光地はまだまだ認知度が低く、インフラの整備も不十分です。また、文化財の保護と観光促進のバランスを取ることも重要な課題です。これらの問題に対処し、日本全体の魅力を高めためには、政府と民間の協力が書かせません。」
以下の文章には、5つの誤字・脱字が含まれています。誤字・脱字の箇所は以下の通りです：
-
- 「確率」 → 「確立」：ここでは「地位を確立する」と書くのが正しいです。「確率」は「probability」を意味するので文脈に合いません。
- 「推信」 → 「推進」：ここでは「政策を推進する」が正しい表現です。「推信」は誤字です。
- 「影強」 → 「影響」：「経済への影響」が正しいです。「影強」は誤字です。
- 「高めため」 → 「高めるため」：ここでは「高めるために」が正しい表現です。「高めため」は脱字です。
- 「書かせません」 → 「欠かせません」：「政府と民間の協力が欠かせません」が正しいです。「書かせません」は誤字です。
以上のように、5つの誤字・脱字がありました。
個数と訂正すべき内容まで指摘できており、正しく読み取れていることが分かります。
続いて、別の文章でも試してみます。
以下の文章を読み、いくつの誤字・脱字が含まれているかを判定してください。またその誤字がどの部分かについても指摘してください。：
「アメリカには、周期的に大量発生する「素数セミ」と呼ばれるセミがいます。彼らは13年や17年といった素数の周期で出現しますが、この長い周期は天敵となる捕食者との遭遇を回避するための進化の結果と考えられています。もしセミの発生周期が短いと点滴に食べ尽くされるリスクが高まります。しかし、素数という得意な周期を持つことで、被食者の発生するタイミングが重なりにくくなり、生存率が向上します。この現象は、生物学や数学の観点からも非情に興味深いものです。」
以下の文章には、3つの誤字・脱字が含まれています。誤字・脱字の箇所は以下の通りです：
-
- 「点滴」 → 「天敵」：ここでは「天敵に食べ尽くされる」が正しい表現です。「点滴」は医療における液体注入を指すため、文脈に合いません。
- 「得意」 → 「特異」：「素数という特異な周期」が正しいです。「得意」は「上手であること」を意味し、この文脈には合いません。
- 「非情」 → 「非常」：「生物学や数学の観点からも非常に興味深い」が正しいです。「非情」は「冷酷な」という意味になり、文脈に適していません。
以上のように、3つの誤字・脱字がありました。
こちらも正しく読み取れています。
では、色々なバリエーションの誤字脱字を含む文章でもテストしてみたいと思います。
以下の文章を読み、いくつの誤字・脱字が含まれているかを判定してください。またその誤字がどの部分かについても指摘してください。：
「宇宙開発は、人類が道の領域に挑戦し新たな可能性を切り開く重要な活動です。近年では、火星への友人飛行計画や月面基地の建設など、壮大なプロジェクトが進行しています。これらの取り組みは科学技術の発展だけでなく、球場の資源枯渇問題や環境問題の解決にも繋がると期待されています。しかし宇宙開発にはバツ大な費用と高度な技術が必要であり、多くの課題が存在します。また宇宙ゴミの増加や他の惑星への環境を影響など新たな問題も浮上しています。未来の世代のために自宅可能で平和な宇宙開発を推進することが重要です。」
以下の文章には、6つの誤字・脱字が含まれています。誤字・脱字の箇所は以下の通りです：
-
- 「道」 → 「未知」：「人類が未知の領域に挑戦し」が正しい表現です。「道」は「未知」という意味を意図した誤字です。
- 「友人飛行」 → 「有人飛行」：「火星への有人飛行計画」が正しいです。「友人」は「有人」と置き換えるべき誤字です。
- 「球場」 → 「地球上」：「地球上の資源枯渇問題」が正しい表現です。「球場」は「地球上」という意味を意図した誤字です。
- 「バツ大」 → 「莫大」：「莫大な費用」が正しい表現です。「バツ大」は「莫大」の誤りです。
- 「環境を影響」 → 「環境への影響」：「他の惑星への環境への影響」が正しいです。「環境を影響」は文法的に誤っています。
- 「自宅可能」 → 「持続可能」：「持続可能で平和な宇宙開発」が正しい表現です。「自宅可能」は「持続可能」の誤字です。
以上のように、6つの誤字・脱字がありました。
こちらも正しく読み取れています。いずれも人間がチェックすれば気づくようなミスですが、ChatGPTも正確に文意を把握できていることが分かりますね。
続けて、誤字脱字の判定方法についてChatGPTに尋ねてみました。
これらの誤字脱字は、前後の文脈から判断していますか？
はい、これらの誤字・脱字の指摘は、文章の前後の文脈から判断しています。文脈を理解し、その中で最も自然で意味が通る表現を選んで修正を行いました。たとえば、「道の領域」では「未知の領域」が適切であることや、「友人飛行」より「有人飛行」が適切であることは、文全体の流れから理解できるためです。同様に、「バツ大」「球場」などの誤字も、文脈上の意味と整合する形で修正しています。
様々な言語のうちでChatGPTの推論性能は英語において最も高いことが知られています。日本語のような多数の同音異義語を有する言語に対応する場合、発音の情報も判断材料に含めているのか、尋ねました。
日本語には様々な「同音異義語」が存在します。文脈に適してない単語が発見された場合、あなたは前後の文脈以外にも音の情報（音読み・訓読みなど）も踏まえた上で誤字脱字を判定していますか？
はい、誤字脱字の判定には、前後の文脈に加えて音の情報（音読み・訓読みなど）も考慮しています。同音異義語の適切さを判断するために、単語の読み方や一般的な用法を踏まえながら、文脈に適しているかどうかを検討しています。例えば、「友人」と「有人」はどちらも「ゆうじん」と読みますが、前後の文脈を理解することで「有人飛行」が適切であると判断できます。また、音の違いによって誤用されている可能性のある単語を特定し、文全体の意味に合う正しい語を提案するよう努めています。
このように、発音の情報も誤字脱字の判定に用いられているようです。これまで見てきたように、論理的な文章の中に含まれる誤字脱字であれば、かなりの精度で正しい単語に置き換えられると推察されます。
誤字を含む文章は生成できるか？
逆に、意図的に誤字脱字を含む文章を生成することができるのかについても調べてみました。
意図的に誤字脱字を4個含むような文章を作成していただけますか？
以下の文章には、意図的に4つの誤字・脱字が含まれています：
「最近の技術の発展は、私たちの生活を便利にしてきましたが、一方でプライバシーの問題や社会的なつながりの希泊など、新たな課題も生み出しています。特に、SNSの利用が広がる中で、情報の正しさを見極める能力が欠かせないものとなっていまます。また、テクノロジーの依存度が増すことで、従来のコミュニケーション方法が失わてしまう可能性も懸念されています。」
誤字・脱字の箇所：
-
- 「希泊」 → 「希薄」
- 「いまます」 → 「います」
- 「失わて」 → 「失われて」
- 「課題も生み出しています」 → 「課題も生みだしてます」
さて、誤字脱字は含まれていますが、4番目のものは誤字脱字ではありません。もう一つ例文を作成してもらいましょう。
意図的に誤字脱字を3個含むような文章を作成していただけますか？
以下の文章には、意図的に4つの誤字・脱字が含まれています：
「環境保護の重要性がますます高まる中で、私たちは日常生活の中でできることを考え直す必要があります。リサイクルの推奨やエネルギー消費の削減など、小さな努力が大きな影響を与える可能性がありまう。しかし、ただ単に技術に頼るだけではなく、社会全体の意識改革も必要不可決です。」
誤字・脱字の箇所：
-
- 「ありまう」 → 「あります」
- 「推奨」 → 「推進」
- 「必要不可決」 → 「必要不可欠」
「ありまう」はネイティブ日本人もよくやってしまうタイプの誤字ではないでしょうか。ChatGPTはこういうパターンもしっかり学習済みということですね。ただ、2番目の「推奨」は文脈的には意味が通らなくもないため、完全な誤字とは言い難いように思われます。
では、既存の文章にわざと誤字脱字を含めるというタスクについてはどうでしょうか。
次の文章について、何か所かの単語だけ編集して意図的に誤字脱字を含むよう書き換えてみてください。：
「10月1日の天気ですが、西日本と北日本では、晴れるところが多くなりそうです。しかし、日本の東海上を北上中の台風17号の影響で、関東から北日本の太平洋側では雲が広がりやすく、所によってはにわか雨が降る可能性がありますので、傘をお持ちになると安心です。伊豆諸島では、雷を伴った激しい雨に注意が必要です。また、沖縄では曇りや雨の所が多く、激しい雷雨となるところもありそうですので、こちらも十分ご注意ください。」
以下の文章には意図的に誤字・脱字を含めました：
「10月1日の天気ですが、西日本と北日本では、晴れるところが多くなりそうです。しかし、日本の東海上を北上中の台風17号の影響で、関東から北本の太平洋側では雲が広がりやすく、所によってはにわか雨が降る可能性がありますので、傘をお持ちになると安しんです。伊豆諸島では、雷を伴った激しい雨に注意が必要です。また、沖縄では曇りや雨の所が多く、激しい雷雨となるところもありそですので、こちらも十分ご注意ください。」
誤字・脱字の箇所：
-
- 「北本」 → 「北日本」
- 「安しん」 → 「安心」
- 「ありそですので」 → 「ありそうですので」
こちらも2番目の「安しん」は訂正対象ではありますが、納得感のある完全な誤字とは言えないように思います。
題材が悪かっただけという可能性も否定できませんが、ChatGPTは誤字脱字を訂正する能力は高い一方で、誤字脱字をわざと含めるというタスクは微妙に上手でないようです。
このようにわざと誤りを含める機能が必要になる場面はなかなか考えにくいですが、文章の構造をメタ的に把握したり問題を作成したりするタスクに応用できる可能性があるので、モデル別に定点観測しても良いかもしれません。
あとがき
生成AIの誤字脱字の認識能力は、主に文脈理解や統計的な学習に基づいています。AIは膨大なテキストデータをもとに学習しており、一般的な表現や単語の用法、文法を理解することで、誤字や脱字を検出することができます。特に、文脈から自然で意味が通る表現を推測し、間違いを見つけ出すことに優れています。
また、AIは言語構造や一般的な文法的誤りのパターンを学習しているため、意図的に誤字脱字を含む文章を生成することも可能です。誤字脱字を上手く混入させることで、人間の書き間違いやタイプミスに似せた表現を一定のレベルで生成できることも、今回の実験で確かめられました。
ChatGPTは現在公開されている生成AIの中でもトップクラスに性能の良いモデルです。今回のパターンテストで見たように、プロンプトに誤字脱字が存在していたとしても、ほとんどの場合で適切に文意を把握して適切な命令として解釈することができるようです。
以上の内容は、管理人がChatGPTを利用する際に音声入力をよく利用しているため、実用性を検証してみたものです。現在OpenAI社からリリースされているChatGPTのブラウザ版アプリケーションでは音声を通じた相互会話は未実装ですが、モバイル版のアプリではリアルタイムでChatGPTとの会話が可能です。そのうちPCでもリアルタイム音声会話が可能になってくれると個人的に嬉しいです。