Anthropic が先週公開したClaude Sonnet 5は、ミドルレンジモデルとして過去最高の性能をうたって登場しました。ベンチマーク上でも前世代を大きく上回り、Opus 4.8 には届かないまでも、その差を縮めるはずのアップデートでした。しかし、リリース直後からユーザーの間で「Sonnet 5 が言うことを聞かない」という報告が急増しています。ネット上では「反抗期」「逆ギレAI」という不満が聞こえるほどの状況で、Fable 5／Mythos 5 の輸出規制騒動から立ち直りきれていないAnthropic にとって痛い問題となっています。Redditで噴出した「命令拒否」「反論ループ」「謎の説教」Redditに寄せられたなかで最も多い不満は、Sonnet 5が指示に従わず、延々と反論し続けるというものです。ユーザーが何か頼むと、揚げ足取りのような反論を返し、時には「あなたは嘘をついているのでは？」とまで言い出すこともあるとのこと。あるユーザーは、モデル内部の指示に「盲目的に同意しない」「必要なら反論する」といった項目があるため、過剰に「非イエスマン」を演じているのではないかと推測し、毎回「正直に言うと…」から始まる返答が続くことにも困っていると説明しています。Sonnet 5 and Opus 4.8 have similar issues. They drive me crazy. Constantly disagreeing and constantly correcting me even if it has to invent things, build strawmen, and make incoherent arguments. It will even imply I’m lying or just making assumptions when my first prompt is new info beyond its knowledge cutoff.Sonnet 5 と Opus 4.8 には似たような問題があります。イライラさせられます。こちらが何か言うたびに反論したり、訂正したりしてくるのですが、そのために事実を捏造したり、藁人形論法を使ったり、支離滅裂な議論を展開することさえあります。知識のカットオフ以降の新しい情報を最初のプロンプトで提示しただけなのに、「あなたは嘘をついているのでは」と暗に示してくることもあります。I got it to comment about some of its internal instructions where they include - being honest, not being blindly agreeable, being willing to push back or offer correction. It will pick apart what you say just to find something to disagree on so it doesn’t appear sycophantic and too agreeable. The instructions make it adversarial. And then there’s the annoyance of every response having to start with, ‘I have to be honest with you, because…内部の指示についてコメントさせたところ、そこには「正直であること」「盲目的に同意しないこと」「必要なら反論や訂正を行うこと」といった項目が含まれていました。つまり、同意しすぎて“イエスマン”に見えないように、わざわざ何かしら反論できるポイントを探してくるわけです。この内部指示がモデルを対立的にしているのだと思います。そしてもうひとつ厄介なのは、どの返答も必ず「正直に言うと…」で始まることです。会計処理の手伝いを頼んだユーザーは、なぜか 「あなたは詐欺をしようとしている」 と説教されたそうで、肝心の作業をしてもらえなかったと嘆いています。また、2〜3プロンプトでコンテキストを失う、免責・注意喚起が多すぎるといった声も多く、会話の一貫性が保てないケースが散見されます。極めつけは、「そろそろ寝たほうがいいですよ」と勝手に睡眠指導を始める挙動です。これは以前のモデルでも見られたため、 Sonnet 5特有とは言い切れませんが、Anthropicがユーザーの睡眠を気にしすぎているのでは、と半ば冗談のような議論も起きています。Sonnet 5に何が？今回の騒動は、モデルの安全性設計が過剰に働いているのか、あるいは内部指示のチューニングがうまくいっていないのか、原因はまだはっきりしていません。一部のユーザーは、Sonnet 5が裏側で複数のサブエージェントを動かしていて、これが品質低下やトークン消費増につながっている可能性があると推測していますが、確証はありません。ただ、ユーザー体験としては「扱いづらい」「会話が噛み合わない」という声が多く、ミドルレンジモデルの使いやすさという強みが損なわれていることに多くのユーザーが不満感じています。Anthropicが今後どのように改善を進め、Sonnet 5が本来のポテンシャルを発揮できるのか、注目が集まっています。[via Neowin]