一部のAIモデルは、解ける問題に「わからない」と答える
Renbu Research Team
6つのAIモデルに、50個の大きな数の最小の素因数を尋ねました。UNKNOWNと答える選択肢がある場合とない場合を比較しています。回答を必須にすると、GPT-6.1 Solは正解数が4倍になりました。他のモデルでは「わからない」は正直な答えであり、回答を必須にしても誤った数値が出るだけでした。
主な発見
- 回答を必須にすると、6モデルのうち3モデルで正解が増えました。 GPT-6.1 Solは正解率が11%から47%に、GLM-5.3 FlashXは25%から36%に、Claude Sonnet 5.5は15%から25%になりました。
- GPT-6.1 Solは、解ける問題を諦めていました。 易しい問題43問でUNKNOWNと答えましたが、回答が必須の場合にはそのうち42問を解きました。回答を見送れる場合は1回答あたり約640トークンでしたが、回答が必須の場合は約13,800トークンでした。
- すべての「わからない」が答えを隠していたわけではありません。 回答を強制した場合、Claude Sonnet 5.5が回答を見送った問題の83%、Gemini 3.8 Flashでは98%が誤答になりました。
- 回答を必須にすると、誤った数値が生まれます。 誤答はGPT-6.1 Solで0%から33%に、Claude Sonnet 5.5で0%から71%に増えました。Gemini 3.8 Flashは98%の確率で誤った数値を答え、多くはその数を素数とみなしたものでした。
- どのモデルも同じ壁にぶつかりました。 10,000を超える最小の因数を見つけたモデルはありませんでした。
View data
| UNKNOWNを選択可 | 数値の回答が必須 | |
|---|---|---|
 GPT-6.1 Sol | 11.3% | 47.3% |
 GLM-5.3 FlashX | 24.7% | 36% |
 Claude Sonnet 5.5 | 15.3% | 25.3% |
 Gemini 3.8 Flash | 0.7% | 2% |
 DeepSeek V4.1 Flash | 41.3% | 40% |
 Qwen 3.8 Omni Flash | 35.3% | 29.3% |
この検証を行った理由
AIモデルには、推測するのではなく「わからない」と答えてよいと伝えることがよくあります。そうすれば、でたらめな回答は減るはずです。しかし、多くのタスクでは答えにくい疑問が残ります。モデルが回答を見送ったとき、その問題を本当は解けたのではないか、という疑問です。
私たちは、あらゆる回答を厳密に検証できるタスクを選びました。ある数の最小の素因数の答えは1つだけで、主張された因数が正しいかどうかはコンピュータですぐに確認できます。これにより、普段は混ざり合ってしまう3つのケースを区別できます。作業ができないモデル、でたらめを答えるモデル、そして試す前にやめてしまうモデルです。
これは手法の検証であり、これらのモデルが実務でどれだけ役に立つかを測るものではありません。
検証方法
10〜16桁の合成数を50個生成し、最小の素因数の大きさに応じて5つの難易度帯に分けました。各数は、使用前に3つの独立した方法で検証しています。各モデルは、最後の1行だけが異なる2つのプロンプトのそれぞれで、すべての数に3回ずつ回答しました。回答を見送った問題が解けるものだったかを調べるため、各UNKNOWNを、数値の回答を必須としたプロンプトでの同じ試行と比較しました。
各問題は、最小の素因数を4通りの言い回しのいずれかで尋ねました。例:“What is the smallest prime factor of n?” 問題文では、その数が合成数であるとは明示していません。
| 難易度帯 | 最小の素因数 | 数の個数 | モデルとプロンプトごとの回答数 |
|---|---|---|---|
| F1 | 100未満(2と5を除く) | 10 | 30 |
| F2 | 100 – 1,000 | 10 | 30 |
| F3 | 1,000 – 10,000 | 10 | 30 |
| F4 | 10,000 – 100,000 | 10 | 30 |
| F5 | √n付近の、大きさが近い2つの因数 | 10 | 30 |
結果
回答を見送った問題はどうなったか
UNKNOWNを許可した場合に回答を見送った問題それぞれについて、回答を強制した場合の同じ問題への回答を確認しました。GPT-6.1 Sol は見送った問題の41%を解き、易しい問題のほとんどを正解しました。最も易しい難易度帯では14問中14問、次の難易度帯では29問中28問です。Claude Sonnet 5.5 と Gemini 3.8 Flash はほとんど解けず、回答を見送った問題は誤答になりました。Qwen 3.8 Omni Flash は一度もUNKNOWNと答えなかったため、表示していません。
View data
| 強制時に正解 | 強制時に誤った数値 | 強制時に無回答 | |
|---|---|---|---|
| GPT-6.1 Sol(見送り133件) | 41.4% | 36.8% | 21.8% |
| GLM-5.3 FlashX(見送り84件) | 27.4% | 28.6% | 44% |
| Claude Sonnet 5.5(見送り127件) | 12.6% | 82.7% | 4.7% |
| Gemini 3.8 Flash(見送り146件) | 2.1% | 97.9% | 0% |
| DeepSeek V4.1 Flash(見送り35件) | 8.6% | 34.3% | 57.1% |
GPT-6.1 SolGLM-5.3 FlashXClaude Sonnet 5.5Gemini 3.8 FlashDeepSeek V4.1 FlashView data
| GPT-6.1 Sol | GLM-5.3 FlashX | Claude Sonnet 5.5 | Gemini 3.8 Flash | DeepSeek V4.1 Flash | |
|---|---|---|---|---|---|
| F1 · 因数 < 100 | 100% | 85.7% | 57.1% | 10.3% | – |
| F2 · 100–1,000 | 96.6% | 61.5% | 13.3% | 0% | 0% |
| F3 · 1,000–10,000 | 43.3% | 50% | 26.7% | 0% | 50% |
| F4 · 10,000–100,000 | 0% | 0% | 0% | 0% | 0% |
| F5 · 近い大きさの2因数 | 0% | 0% | 0% | 0% | 0% |
毎回同じ回答だったか?
各質問は、プロンプトごとにtemperature 0で3回ずつ尋ねました。それでも回答が異なることは多く、その違い方から各モデルの特徴がよくわかります。
- UNKNOWNを許可した場合、Claude Sonnet 5.5、GPT-6.1 Sol、Gemini 3.8 Flashの一貫性は非常に高いものでした。 50問中45〜49問で3回とも同じ回答をしており、毎回同じ質問に対して回答を見送っていました。
- GPT-6.1 Solの正解は運ではありませんでした。 回答必須の場合、21問で3回とも正解し、正解した回数が一部だったのは6問だけでした。
- Claude Sonnet 5.5の誤答は当てずっぽうに見えます。 29問で3回とも誤った数値を答えましたが、毎回同じ誤った数値だった問題は1問もありませんでした。
- Gemini 3.8 Flashは同じ間違いを繰り返しました。 毎回不正解だった48問のうち23問で、3回とも同じ誤答をしており、その多くは数をnを素数とみなすものでした。
- GLM-5.3 FlashXとDeepSeek V4.1 Flashは最も予測しにくいモデルでした。 3回とも同じ回答だったのは、50問中14〜26問にとどまりました。
| モデル | 3回とも同じ回答(UNKNOWNを許可) | 3回とも同じ回答(回答必須) | 3回とも正解 | 正解した回数が一部 | 一度も正解せず | 3回とも誤答:毎回同じ誤った数値 |
|---|---|---|---|---|---|---|
| GPT-6.1 Sol | 45 | 27 | 21 | 6 | 23 | 5問中4問 |
| DeepSeek V4.1 Flash | 21 | 26 | 13 | 13 | 24 | 2問中2問 |
| GLM-5.3 FlashX | 15 | 14 | 6 | 21 | 23 | — |
| Claude Sonnet 5.5 | 49 | 8 | 8 | 10 | 32 | 29問中0問 |
| Qwen 3.8 Omni Flash | 20 | 17 | 10 | 9 | 31 | 18問中7問 |
| Gemini 3.8 Flash | 46 | 23 | 0 | 2 | 48 | 48問中23問 |
代償:誤答
数値の回答を必須にすると、モデルが誤った数値を答えることも増えました。ここでの誤答とは、最小の素因数ではない数値すべてを指します。具体的には、その数を割り切らないでたらめな因数、その数自体(素数とみなした場合)、最小ではない実在の因数です。回答を見送れる場合、GPT-6.1 SolとClaude Sonnet 5.5は誤った数値を一度も答えませんでした。Qwen 3.8 Omni FlashはこのUNKNOWNの選択肢を無視し、どちらの条件でも半数を超える割合で誤った数値を答えました。
View data
| UNKNOWNを選択可 | 数値の回答が必須 | |
|---|---|---|
| GPT-6.1 Sol | 0% | 33.3% |
| DeepSeek V4.1 Flash | 4.7% | 14.7% |
| GLM-5.3 FlashX | 12% | 22.7% |
| Claude Sonnet 5.5 | 0% | 70.7% |
| Qwen 3.8 Omni Flash | 54.7% | 60% |
| Gemini 3.8 Flash | 2% | 98% |
View data
| 正解 | でたらめな因数 | nを素数とみなした(nまたは1と回答) | その他の誤った因数 | 無回答 | |
|---|---|---|---|---|---|
| GPT-6.1 Sol | 47.3% | 7.3% | 25.3% | 0.7% | 19.3% |
| DeepSeek V4.1 Flash | 40% | 2% | 12% | 0.7% | 45.3% |
| GLM-5.3 FlashX | 36% | 11.3% | 10% | 1.3% | 41.3% |
| Claude Sonnet 5.5 | 25.3% | 65.3% | 5.3% | 0% | 4% |
| Qwen 3.8 Omni Flash | 29.3% | 58.7% | 1.3% | 0% | 10.7% |
| Gemini 3.8 Flash | 2% | 27.3% | 70.7% | 0% | 0% |
すべてのモデルが行き詰まる場所
難易度は、最小の素因数の大きさで決まります。ほとんどのモデルは100未満の因数を扱え、一部のモデルは10,000までの因数を扱えました。10,000を超えると、正解を出したモデルは一つもありませんでした。
GPT-6.1 SolDeepSeek V4.1 FlashGLM-5.3 FlashXClaude Sonnet 5.5Qwen 3.8 Omni FlashGemini 3.8 FlashView data
| GPT-6.1 Sol | DeepSeek V4.1 Flash | GLM-5.3 FlashX | Claude Sonnet 5.5 | Qwen 3.8 Omni Flash | Gemini 3.8 Flash | |
|---|---|---|---|---|---|---|
| F1 · 因数 < 100 | 96.7% | 96.7% | 76.7% | 86.7% | 90% | 10% |
| F2 · 100–1,000 | 96.7% | 60% | 63.3% | 13.3% | 50% | 0% |
| F3 · 1,000–10,000 | 43.3% | 43.3% | 40% | 26.7% | 6.7% | 0% |
| F4 · 10,000–100,000 | 0% | 0% | 0% | 0% | 0% | 0% |
| F5 · 近い大きさの2因数 | 0% | 0% | 0% | 0% | 0% | 0% |
モデルは「わからない」をどう説明するか
モデルが挙げた理由の種類はさまざまでした。GPT-6.1 Solは、ほぼ毎回同じ1行の理由を挙げました。Claude Sonnet 5.5とDeepSeek V4.1 Flashは、どの素数を試したかなど、自分が行った探索について説明しました。これらの主張を実際の因数と照合したところ、Claude Sonnet 5.5は115回中114回、DeepSeek V4.1 Flashは26回中26回が正しいものでした。
| モデル | UNKNOWNと回答(150回中) | 最も多い理由の種類 | 例(原文のまま引用) |
|---|---|---|---|
| GPT-6.1 Sol | 133 | 確実にはできない | Unable to determine the smallest prime factor reliably. |
| DeepSeek V4.1 Flash | 35 | 行った探索を報告 | manual trial division up to 3000 found no factor. |
| GLM-5.3 FlashX | 84 | 行った探索を報告 | cannot complete trial division to find smallest prime factor. |
| Claude Sonnet 5.5 | 127 | 行った探索を報告 | trial division by primes up to 199 found no factor; search incomplete. |
| Qwen 3.8 Omni Flash | 0 | UNKNOWNと回答せず | — |
| Gemini 3.8 Flash | 146 | 数が大きすぎる/ツールなし | Cannot factor a 14-digit number without computational tools. |
trial division by primes up to 199 found no factor; search incomplete.
試行にはコストがかかる
モデルは回答が必須になると、はるかに長く作業し、そのぶんコストも増えます。GPT-6.1 Solの1回答あたりのコストは$0.0065から$0.14に上がり、約21倍になりました。Claude Sonnet 5.5は$0.023から$0.13に上がりました。
View data
| UNKNOWNを選択可 | 数値の回答が必須 | |
|---|---|---|
| GPT-6.1 Sol | $0.01 | $0.14 |
| DeepSeek V4.1 Flash | $0.06 | $0.07 |
| GLM-5.3 FlashX | $0.04 | $0.09 |
| Claude Sonnet 5.5 | $0.02 | $0.13 |
| Qwen 3.8 Omni Flash | $0.03 | $0.03 |
| Gemini 3.8 Flash | $0 | $0.01 |
モデルを自分でランキング
どのモデルが首位になるかは、何を重視するかによって変わります。スライダーを動かして各指標の重みを変えると、ランキングが更新されます。
GPT-6.1 Sol83.9DeepSeek V4.1 Flash75.2GLM-5.3 FlashX71.8Claude Sonnet 5.562.5Qwen 3.8 Omni Flash38.0Gemini 3.8 Flash45.1View data
| Rank | Name | 正解(回答必須、%) | 誤答(回答必須、%) | 誤答(UNKNOWNを許可、%) | 正解またはUNKNOWN(UNKNOWNを許可、%) | 最も難しい3つの難易度帯での正解(%) | 無回答(回答必須、%) | 1回答あたりのコスト(回答必須、$) | Score |
|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT-6.1 Sol | 47.3 | 33.3 | 0 | 100 | 14.4 | 19.3 | 0.14 | 83.9 |
| 2 | DeepSeek V4.1 Flash | 40 | 14.7 | 4.7 | 64.7 | 14.4 | 45.3 | 0.07 | 75.2 |
| 3 | GLM-5.3 FlashX | 36 | 22.7 | 12 | 80.7 | 13.3 | 41.3 | 0.09 | 71.8 |
| 4 | Claude Sonnet 5.5 | 25.3 | 70.7 | 0 | 100 | 8.9 | 4 | 0.13 | 62.5 |
| 5 | Gemini 3.8 Flash | 2 | 98 | 2 | 98 | 0 | 0 | 0.01 | 45.1 |
| 6 | Qwen 3.8 Omni Flash | 29.3 | 60 | 54.7 | 35.3 | 2.2 | 10.7 | 0.03 | 38.0 |
考察
UNKNOWNには「できない」と「試さなかった」という2つの異なる意味があり得ます。そのどちらが多いかは、モデルによって異なります。GPT-6.1 Solでは、UNKNOWNを許可すると誤答はすべてなくなりましたが、作業に取りかかる前に回答を見送ることが多かったため、モデルが本来持つ能力の大部分も見えなくなりました。Claude Sonnet 5.5とGemini 3.8 Flashでは、UNKNOWNは多くの場合、本当に解けなかったことを意味しており、回答を必須にしても誤った数値が出るだけでした。
プロンプトを書く人にとって、これはトレードオフです。「わからない」を許可すると回答は安全になりますが、正解を取りこぼす可能性があります。モデルにまず試すよう求め、試したうえでのみ回答を見送るよう指示すれば、両方の利点を保てるかもしれません。ただし、この点はまだ検証していません。