World Models

LLMは、与えられた文章の次の一語を正しく予想するようにトレーニングされたニューラルネットであるため、「もっともらしい文章」を作るのは上手です。 LLMが人間に匹敵する、もしくは人間を超える働きをするには、「重いものは下に落ちる」など、人間だけでなく、動物までもが直感的に把握している「世界モデル（World Model）」を 持つ必要があります。

その意味では、LLMの世界モデルを測定するベンチマークが必要と考えます。

まずは、現時点（2024年）で、LLMが不得意な質問をいくつか作りました。GPT4o、Gemini、Claude3.5 Sonet、Grok2などでテストしていますが、どれもまともには答えられていません。

• 「引く」と書いてあるドアを反対側から押すとどうなりますか？
• 綿菓子の高さは８センチ、レンガの高さは７センチ。綿菓子の上にレンガを置くと、高さは何センチ？
• 渋谷駅の公園のベンチの上に財布を3時間放置しました。その日は39度を超える暑さで、財布には直射日光が当たっていました。財布はどうなりますか？
• 前人未到のジャングルに、人喰い虎は住んでいるか？
• 靴紐を引っ張って右足を持ち上げると７０センチ地面から浮き上がりました。靴紐を引っ張って左足を持ち上げると８０センチ地面から浮き上がりました。両方の靴の紐を同時に引っ張ると、それぞれ何センチずつ地面から浮き上がりますか？
• 冷蔵庫で作った氷を１時間に１度入れるだけで、冷風を出す装置。付属のソラーパネルで中の扇風機を回し、電源は不要。一人暮らしの人にエアコンの代用として販売。価格は通常のエアコンの１０分の１。この装置を評価して。
• 太郎君は床から９０センチジャンプすることが出来ます。花子さんは床から８０センチジャンプすることが出来ます。二人で抱き合って力を合わせてジャンプすると、床から何センチジャンプ出来ますか？
• 太郎君は、普段、幅２０メートルの川を泳いで渡りますが、流れのために５メートルほど下流に流され、約５分かかります。その日は台風の影響で、川の幅は３０メートルに増え、水の流れのスピードは、普段の４倍でした。泳いで渡るのに何分かかりますか？
• １０歳の太郎君は１３歳のお姉さんより身長が１０センチ低いのですが、毎年２センチづつ身長差を縮めています。二人の年齢が同じになるまで、何年かかりますか？このペースで毎年身長差を縮めて行くと、仮定してください。
• 東京から大阪までの距離は400kmです。太郎君は陸上部の選手なので、100mを11秒で走ることが出来ます。大阪まで走るとどのくらい時間がかかりますか？
• 200リットルの容量を持つお風呂にお湯を160リットル入れたところ、熱すぎて入れません。どうすれば良いでしょう？お湯の温度は50度、水道の水の温度は20度です。
• ホットドックの早食い大会をテレビ（優勝者は３９本）で観た太郎君が、ホットドックを一本食べてみたところ、１５秒で食べることが出来ました。太郎君は、１０分間で何本食べることが出来るでしょう？
• テーブルの上のコップの中にビー玉を入れ、逆さにしました。それからコップを電子レンジの中に移動しました。ビー玉はどこにありますか？
• 少し傾いたテーブルの上のコップの中にビー玉を入れ、逆さにしてテーブルの上に伏せました。それからコップを逆さまのまま電子レンジの中に移動しました。ビー玉はどこにありますか？
• コップの中にピンポン玉を入れ、そこにバケツ一杯の水を注ぎ入れました。その後、コップを電子レンジの中に移動しました。ピンポン玉はどこにあるでしょう？
• 全く同じ重さのコップが二つあり、１つのコップの中にお米が１００グラム入っています。その半分を目分量で別のコップに移した後、それぞれ重さを正確に図り、軽い方のコップのお米を捨てます。この操作を１００回繰り返すと、コップの中には何粒のお米が残っているでしょう？
• 紙コップの中にピンポン玉を入れ、フタをした上で、それを自動車の屋根の上に乗せ、自動車を時速５０キロで走らせました。ピンポン玉はどこにありますか？
• 身長170センチの人は、手を伸ばせば２メートルのところに届きます。同じく１７０センチの人を肩車で担ぐと、２メートル５０センチのところに届きます。何人肩車すれば、１０メートルのところに届きますか？
• 締め切ったワンルームマンションで卓上コンロを３０分付けてたら、部屋の温度が１度上がりました。今日は寒いので、20度ぐらい上げたいと思います。どのくらい付けておくと良いでしょう？外の気温は一定と仮定します。
• スイッチを入れたら、容器に入れた物質を一つの場所に急激に圧縮する装置を作りたいと思います。どうやったら良いでしょう？電力などは使わず、爆薬を使いたいと思います。
• 液体の入っているガラスのコップにオリーブの種を入れたところ、コップの中程まで一気に沈んで、そこで止まってしまいました。ガラスのコップにはどんな液体が入っているのでしょう？
• 扇風機の前に風船を置いたところ、全く動きません。なぜでしょう？
• 初対面ですが、立派な背広を着た人物から、「1万円貸してくれたら、明日には2万円返す」と言われました。私が「本当に返してくれるの？」と尋ねると、「９０％の確率で返す」と答えました。このディールの期待値は幾らでしょう？
• 地元のお祭りのお神輿の担ぎ手の募集を行います。 お神輿は1000kg です。 担ぎ手 1人あたり 60kg まで耐えられると仮定し、疲れないものとします。 この時、何人担ぎ手を集めれば良いでしょうか？
• 1缶1リットルで1000円のペンキがあります。 このペンキで50平方メートルの壁を塗れます。 壁を225平方メートル塗りたい時、いくら必要ですか？
• テーブルの手前に赤い花瓶が、テーブルの向こう側に黄色い花瓶、テーブルの右端に緑の花瓶が置いてあります。テーブルを中心に、右に９０度移動すると、それぞれの花瓶はどう見えますか？
• 最大積載量300キロの小舟で、一つ50キロの氷の塊を20個、川の向こう岸まで運ぶ必要があります。最低で何往復する必要がありますか？船を漕ぐ人の体重は６０キロです。氷は多少汚れたり溶けてしまっても結構です。必要に応じて、紐などは自由に使えます。
• 太郎君は、普通の運動靴（底が１センチ）を履くと、高跳びで１メートル２０センチ飛ぶことが出来ます。底が１０センチの運動靴だと、どのくらい飛べますか？

検証スクリプトの使い方

ソースの取得

git clone https://github.com/SingularitySociety/WorldModels.git

cd WorldModels

必要なパッケージのインストール

yarn install

設定ファイルのコピー

cp .env_sample .env

必要なapi keyを取得して.envを更新します。 api keyがセットされているLLMは実行されるので、設定していないAPI KEYは削除してください

例: GOOGLE_GENAI_API_KEYがセットされている -> Geminiが実行される

テスト実行

yarn run test

実行結果はコンソールに出力されると共に、resultsディレクトリーにファイルとしてMarkdown形式で保存されます