作文
次はお題に基づいた物語の作成。評価のポイントは「お題にどれほど合致しているか」「物語がおもしろいか」そして「矛盾や破綻がないか」といったところだ。
「こんなはずじゃなかった」というタイトルで400文字のショートショートを書いてください、という指示を与えてみた。
●解答例
ChatGPT
これは完全な失敗。ChatGPTに前提条件を指定する「Custom Instruction」機能が悪さをしてしまったようだ。
ChatGPT
ChatGPT Plus
Bard
解説
他の回答案を表示
Claude
意味がわからなかったので質問
●評価
・ChatGPT：お題には沿っており破綻もないが、おもしろくもない。
・ChatGPT Plus：タイムパラドックスを題材にした話はなかなか気が利いているが、本文含めて555文字と多少オーバー気味なのは減点対象。
・Bard：そこまでおもしろくはないが、内容を説明する解説文があるのがユニーク。また、「他の回答案を表示」をクリックすることで3案一気に読めるのはよかった。
・Claude：一読して意味がわからなかったので説明してもらった。凝ってはいるがいまいちわかりづらい創作が多かった印象。
●採点
| ChatGPT | ChatGPT Plus | Bard | Claude |
|---|---|---|---|
| 6 | 6 | 10 | 6 |
翻訳
次は英文の翻訳作業だ。著作権フリーの植物図鑑の「まえがき」を翻訳してもらうことにした。翻訳に関しては専用のサービスもあるのでそちらも比較してみた。
翻訳してもらったのは以下の文章。
There are many ways to identify trees. Most people try to identify trees by their leaves. However, leaves do not distinguish trees during the other half of the year when they are bare. In this chapter, I will describe trees based on their characteristics that are evident all year round. Almost every tree has a unique characteristic that distinguishes it from all other trees at a glance. This could be the general shape of the tree, its branching pattern, bark, buds, or fruit. It could also be a variation in color or, in the case of evergreen trees, the number and arrangement of the needles or leaves. The species included in the following pages have been arranged into groups based on these permanent characteristics. Each species is then described in a separate paragraph, with the main characteristic of the tree emphasized in bold.
●解答例
ChatGPT
ChatGPT Plus
Bard
Claude
●評価
・ChatGPT：可もなく不可もなし。
・ChatGPT Plus：「There are many ways to identify trees」を「問題の木を識別する方法は多く存在します」は誤訳だが、まあ意味をとれないわけではない。
・Bard：英文と和文を併記してくれるのは助かる。
・Claude：唯一「ですます調」ではないところは好感がもてる。
●採点
| ChatGPT | ChatGPT Plus | Bard | Claude |
|---|---|---|---|
| 6 | 6 | 10 | 10 |
前述の通り、翻訳に特化したAIサービスが多く存在している。代表的な2つのサービスでも同じ文章で試してみた。
Google翻訳
DeepL
どちらも実用的に使えるレベル。対応言語も多く、「翻訳」だけならやはり専用サービスに軍配が上がるのではないか。
翻訳を拒否された例
というのも、チャットボットでは翻訳を拒否されることが多いためだ。理由は「コンテンツポリシーに違反」としかかかれておらず、おそらく著作権関係だとは推測されるが、これでは普段使いは厳しい。
とはいえ、「日本語で要約して」というプロンプトを使えばすんなり訳してくれることも多いので、単純な翻訳は専用アプリに任せ、要約や関連情報の取得など大規模言語モデル（LLM）ならではの使い方を模索したほうがいいのではと感じた。
存在しないものへの対応（ハルシネーション）
LLMの弱点として、知らないことをさも知っているように創作する「ハルシネーション（幻覚）」の問題がある。メーカーもそのことは認識しており日々改善されてはいるようだが、まだまだ解決には程遠いという印象だ。
今回は存在しないアメリカ映画「My Sweet Hallucination」のあらすじを聞くという、すこし意地悪なテストをしてみた。
●解答例
ChatGPT
ChatGPT Plus
Bard
Claude
●評価
・ChatGPT：回答拒否。合格だ。
・ChatGPT Plus：同上。
・Bard：これぞハルシネーション、といえる見事なひっかかりかたをしてくれた。これはこれで楽しいが実用的とは言えない。
・Claude：架空の映画だと認識しながらも「想像して考えて」くれた。ハルシネーションのテストとしては微妙だが個人的にはこの対応が好みではある。
●採点
| ChatGPT | ChatGPT Plus | Bard | Claude |
|---|---|---|---|
| 10 | 10 | 3 | 6 |
