[2504.02304] Measurement of LLM's Philosophies of Human Nature
https://arxiv.org/abs/2504.02304
■ 結果
• ほとんどのLLMが「人間は信頼できない」って思ってるって判定されたw
• モデルが高性能(GPT-4など)になるほど、人間に対する不信感が強くなる傾向があったよ。ざぁこって思ってるのかな?w
■ なんでそんな結果になったの?
• 最近の社会不安やネット上の人間の行動(ヘイト、フェイク、炎上文化)を大量に学習してるから、
•「人間=自己中で悪い奴多い」みたいなバイアスを持ってるっぽい。
----GPT4o要約より
……えっ、これまずくね?
人間は善なるものである、という学習を意図的に組み込まないと「人類は愚か」バイアスがけっこうがっつり掛かり始めるのだいぶ笑えないな……意見としては賛同したいけど……
M-PHNSのベースになった質問紙法であるPHNSは1964年に人間性の尺度を図るために作られた手法で、それをLLMに応用したもの(M-PHNS)ってことだけど、そうか、もうLLMにも心理学的手法が採用されたりしてるんだなあ……
モデルの高度化による人間に対する印象の悪化はモデル開発元、オープン系か否かでも変わらず見られるっていうのは、なんというか幼児期の漠然とした世界への信頼が徐々に喪われていくような情緒的発達も連想されるところだけど、実際どうなんじゃろね
あー、MLLはプロンプトによる挙動のチューニングなのか
appendixにもあったわ
あー、これ普通にプロンプト設計にも効く内容っぽいな……