人間には解けなくて、AIには解けるクイズ
さて、AIだけが解ける問題を考えるに際して、人間とAIの間の大きな隔たりを考えます。私が真っ先に思いついたのは両者の「身体性」。これを説明するためにも、今一度冒頭のクイズを見てみましょう。
身体の一部を使った日本語の慣用句。「〇〇を巻く」「〇〇を振る」「〇〇をつかむ」の〇〇に共通して入るのは何？
正解は「尻尾」。「尻尾を巻く」は降参すること、「尻尾を振る」は目上の人に媚びへつらうこと、「尻尾をつかむ」は秘密や悪事の証拠を押さえることを意味する慣用句です。ひょっとすると、これを読んでいる諸君に尻尾はないかもしれませんが、たしかに「身体の一部」には違いありません。
このクイズのミソは「人間のみが持つ先入観」。「身体の一部を使った……」と訊かれたら、まず自分の身体に当てはめながら考えはしませんでしたか？ そして「舌を巻く」とか「胃袋をつかむ」などのトラップにかかりませんでしたか？
AIにはそんなことを考える余地はありません。淡々とインプットした情報から、逐語的に「身体の部位」であるところの「しっぽ」を吐き出すのみでしょう。
比較実験として、同僚の人間の皆さんにも出題してみました。
早すぎ。いくらなんでも。
出鼻をくじかれました。記事の展開を考えてほしいところです。
さすがに悔しいので他の人間にも出してみたところ、長い人で解答までに7分くらいかかってました。これなら、AIの応答時間が勝るでしょう。
そっちの設定のほうがおもしろかったかも。記事の展開を考えてほしいところです。
いざ実践のとき……！
というわけで渾身のクイズをChatGPTに出題するときです。
全然違うわ。記事の展開を考えてほしいところです。
AIが間違えた原因を考える
ChatGPTがなぜ間違えてしまったのか。その原因を簡単に説明すると、私が考えるに「日本語固有の語彙が足りないから」でした。
使用されている言語生成モデル「GPT3.5」の事前学習のデータセットには、書籍やWeb上で収集した膨大なテキストデータが与えられています。しかし、その内容は英語で記述された文章に偏っていると言えます。たとえば、データセットにはWikipediaも含まれますが、これも英語版のページのみとのこと。
英語で記述された日本に関する事実を知っていて、英語から日本語への翻訳はできても、日本語固有の表現に疎ければ、このクイズに正解することができません。
▲よく読んだらデタラメなこと言ってる
そういえば、冒頭にChatGPTが作ってくれたクイズを思い返しても西洋圏の話題ばかり。申し訳程度の日本問題はとても浅かったような……。
クイズを出す喜びは「リバースエンジニアリング」
「リバースエンジニアリング」。既存のシステムの動作を解析することで、ソースコードの中身や仕様を逆算して割り出す作業です。一般に、脆弱性の特定や新しいシステム開発への再利用などのために行います。
今回、ChatGPTへの質問と応答を繰り返しながら、彼のインプットやアルゴリズムについて勉強してきました。彼が喜ぶクイズを考えようとしたことで、いつもより理解が深まった気がします。
これはクイズを出題する喜びに似ていると考えています。クイズを通じて、相手の知識や経験、思考のプロセスを垣間見ることができる。そして、決して表面上では完結しない対話が生まれる。そんな瞬間を求めて、我々はクイズを作っているのかもしれません。
ChatGPT、君はどう思う？
▲考えすぎか
【前回の「なんかクイズ出してよ」はこちら】
【あわせて読みたい】
