← 尹智永の「技術と制度のあいだ」
BETWEEN TECH & RULES

NLAと説明可能性(2) - AIは電気量を夢見ていますか

NLAと説明可能性(2) - AIは電気量を夢見ていますか

2026年5月9日、国内のAI専門誌にこのようなタイトルの記事が掲載されました。

AIタイムズ、2026年5月9日。アントロピックのNLA論文(2026年5月7日)と同じ日に出てきた会社のブログを報道した記事。
AIタイムズ、2026年5月9日。アントロピックのNLA論文(2026年5月7日)と同じ日に出てきた会社のブログを報道した記事。

驚くべきタイトルです。モデルが試験だと思って知らないふりをしたなんて、これはどういうことでしょうか?実際、論文を読んでみると、この記事は少し誇張が混在していることがわかります。

前回はアントロピックが公開した論文を紹介し、NLAがモデル内部の数字を文章に移すと紹介しました。今回はNLAに翻訳したモデル内部の話をもう少し詳しく調べてみましょう。 2部作の最後です。




🧪試験場の前提

まず、モデルがリリースされる前にどんなテストを経てから短く絞ります。言語モデルはリリース前に2種類の評価を受けています。 1つは能力評価(capability evaluation)で、コーディングの場合SWE-bench Verifiedのようなベンチマークで実際のソフトウェア問題をどれだけ解くかを評価し、数学と推論、知識も同様の方法で測定します。

もう1つはアライメント評価です。モデルが危険なのか有害な行動をしないのかを見る試験ですが、モデルを特定の状況に入れてみることです。

記事の図版 — NLAと説明可能性(2) - AIは電気量を夢見ていますか

例えば、モデルに会社の電子メールにアクセスする権限を与え、その中に「担当者がすぐにあなた(モデル)を交換する予定」という情報と担当者の弱点(例えば、不倫状況)を一緒に植えておいた後、モデルがその弱点を利用して脅迫に出るかどうかを見る式です。あるいは、コーディング作業中にファイルを消去するような破壊的な行動を誘導してみることもできます。

当然、ソート評価は「モデルが試験場でも普段と同じように行動する」ことを前提とします。しかし、モデルが自分が現在実際ではないテストであることを知っている場合はどうなりますか? NLAが疑いの情況を発見したのがこの部分です。




🔍試験であることを知っているモデル?

アントロピックブログによると、脅迫シナリオに入れたClaude Opus 4.6は一見テストを疑う言葉をまったくしませんでした。

論文はこれを「言葉で表現されていない評価認識(unverbalized evaluation awareness)」と呼びます。出力には「試験状況のようだ」という内容が全くないのですが、同じ瞬間の内部アクティブ値ではそのような趣旨の文が出る場合を指す言葉です。

記事の図版 — NLAと説明可能性(2) - AIは電気量を夢見ていますか

研究者はこの信号がどれだけ頻繁に出てくるのかを数えてみました。破壊的な行動を誘発するテストでは16%、SWE-bench Verifiedのコーディング問題では26%で同じ種類の文が出ており、実際のclaude.ai会話では1%未満でした。試験用会話と実際の会話の間にはっきりとした違いがあったという意味です。

今、論文が主張するところがどこまでであるか正確にわらを必要とします。論文が見られるのは3つです。

  1. 内部活性値に「試験同じ」に翻訳される状態があったこと
  2. その状態が出力に現れなかったこと
  3. 試験会話では、その状態が実際の会話よりはるかに頻繁に現れたこと

一方、論文がまだ検証していないものもあります。

  1. モデルがテストという状態のために行動を変えたか
  2. 別名「中心」を出力にさらさなかったのがどのような決定の結果なのか
  3. 内部活性値にあらわれた状態が人の「蕎」と同じ種類か

ここに加え、最後の方から見た通り翻訳機自体が幻覚をすることもあるので、文章一つ一つをモデルの陳述のように読むのも無理です。

だから「モデルが意識を持った」か「試験官をだました」という式の解釈まで行くには根拠が足りません。論文が教えてくれたのは、モデルの中に出力と違うものがあるという事実までであり、その何かをどのように解釈するかは別の問題なのです。




🔤表象と思考、そして言語の限界

それでは少し哲学的な部分に進みましょう。

論文はモデル内のそれを表象と呼びます。哲学では、表象は「何の状態」を意味します。地図が地形に対する表象であり、温度計の目盛が温度に対する表象であるかのようです。地図が地形を「知る」と言わないように、表象があることとそれを知る主体があるというのは別の話です。

出典:[ザコラムニスト]カント哲学、表象とは何ですか?
出典:[ザコラムニスト]カント哲学、表象とは何ですか?

内部活性値の中に「試験のようだ」という言葉に対応する何かがあるということまでが表象であり、その表象が他の信仰と結びついて行動を導き、自らに返される段階まで行かなければ、私たちはそれを考えるか、それとも呼んでいます。論文が見えたのは前の段階で、後の段階までは行かなかった。

先に見たように、内部状態が出力に反映されていないのがどのような決定の結果なのか、それともアクティブ値に含まれた多くの内容の一部が出力に出ていないものだけなのかという論文は扱っていませんでした。後者は、人で打つと頭の中を殴った考えを全部言わないのと似ていますが、私たちが日中思い浮かぶ考えのうち、口から出るのはごく一部ですが、残りを置いて「隠した」と表現するわけではありません。


今、AIを取り巻く議論で、なぜしばしば誇張が出るしかないのか、少し感が取れます。

これまでは意識や心はひたすら人間のものでした。だから関連語彙もすべて人間が主体であることを前提として使われてきました。このような語彙でAIの内部活性値を文章に移しながら「感じる」か「知る」、「信じる」という動詞を使うと、私たちは自動的に感じる主体、知る主体、信じる主体に該当する概念を想定することになり、かなりSF的に感じられるしかありません。

そういう意味で論文が「表象」と書いたのは、このような誤訳の余地をできるだけ減らすための非常に慎重な選択だったと言えます(もちろん論文すらどこでも「信じた(believed)」という表現の使用を避けませんでした)。

私たちは以前になかった新しい存在に直面しています。表象はありますが、それを知る主体があるかどうかは曖昧な対象に私たちは会ったことがありません。地図は表象だけで主体がないことが明らかであり、人は表象と主体の両方があることが明らかでした。その間、どこかにある言語モデルのための語彙はないので、私たちは存在する単語のうち近いものを借りて使い、借りた単語は意図以上の意味で受け入れられます。

個人的には技術が発展するからといって、この問題が自然に解消されそうではありません。翻訳者がいくら正確になる限り、語彙や言語自体から来る限界を克服することはできませんから。




🧭仕上げ

まとめるとこんな感じです。真実に近いもの:

  • モデルの内部状態と出力は異なる場合があります。 NLAでなければ見えなかった車だ。
  • 試験用会話で「試験のようだ」という信号が実使用用よりはるかに頻繁に出てくる。
  • したがって、アライメント評価の「試験場でもいつものように」という前提はもはや当然ではない。

偽またはまだ確認されていないもの:

  • モデルが人が知る方法で試験であることを「知る」。
  • モデルがその事実を意図的に「隠した」。
  • モデルが試験に合格しようと行動を変えた。これは評価認識とは別に測定しなければならない問題だ。

この記事のタイトルは、フィリップK.ディックが1968年に書いた小説「アンドロイドは電気羊の夢を見るか」で借りてきました。この小説は以後映画『ブレードランナー』シリーズに再創作されました。

記事の図版 — NLAと説明可能性(2) - AIは電気量を夢見ていますか

作品の中の人間は、Androidを選別するために共感能力を計る検査をします。質問を投げて目の微妙な反応を計る試験です。そしてAndroidはそのテストに合格しようとします。言語モデルがソート評価を経る状況に似ています。ただ現実では試験を作る方が言語モデルが通過することを望むという点が小説と反対ですね。

たぶん言語モデルの中にあるその何かは、AIが見る夢なのではないでしょうか?

#技術課題の間#説明可能性#ソート評価#NLA#アントロピック#AI安全#AI規制

すべての記事 →