ChatGPTはTOEICのPart5問題が解けるか？
先日リリースされたGPT-4でTOEIC公式問題集１から９のPart5を検証しました。
https://get-toeic.com/gpt-4-toeic-part5/
ChatGPTとは？
ChatGPTは、簡単に言うと文章を書いたり、話したりする人工知能のプログラムのひとつです。ChatGPTはOpenAIによって開発された大型の自然言語処理のモデルで、大量のテキストデータを学習して、人間のような文章を生成します。対話システムや文章の生成、要約、翻訳などのタスクに使用することができます。
2022年11月にリリースされ、わずか５日で利用者が１００万人を突破し、現在世界中の多くの人が使っているようです。先日のニュースでは、スタンフォード大の期末試験で相当使われたようです。
また、こちらも比較的最近の話ですが、ニューヨーク市教育局は、管轄する学校組織のオンライン端末およびインターネットネットワークにおけるChatGPTへのアクセスを禁止するなど、いろいろ話題となっております。
そこで今回、ChatGPTの実力を検証するため、TOEIC リーディングPart5の問題が解けるかどうか確認してみたいと思います。
ChatGPTの使い方
※すでにChatGPTを利用されている方は、TOEIC リーディングPart5の問題で検証へ進んでください。
１．ChatGPTのサイトへ行く
ChatGPTのサイトへ移動し、ページ上部にある「Try」をクリックする。
２．Sign upへ
Welcome to ChatGPTの画面でOpenAIアカウントがない場合は、「Sign up」をクリックする。
３．メールアドレス入力
メールアドレスを入れて「Continue」をクリックします。
４．パスワード入力
Passwordを入れて「Continue」をクリックします。
５．メール認証
「Verify your email」と表示されるので、登録したメールに送信されてきたメッセージの中の「Verify email address」をクリックします。
【メールのメッセージ】
６．名前入力
「Tell us about you」が表示され、名前を入力して「Continue」をクリックします。
７．電話番号入力
「Verify your phone number」が表示され、電話番号（※テキストメッセージが送られるので携帯番号）を入力して、「Send code」をクリックします。
８．認証コード入力
携帯電話に6桁の認証コードが送られてきますので入力します。
９．メイン画面表示
認証コードが確認されると、ChatGTPのメイン画面が表示されます。
ChatGPTにTOEICリーディングPart５の問題を実際に解いてもらう
TOEIC公式問題集にあるPart5のサンプル問題を５つ選んで検証しました。ChatGPTの解答の翻訳には翻訳精度の高いDeepLを使いました。
Part5の実際の試験での質問の部分は、
Directions: A word or phrase is missing in each of the sentences below. Four answer choices are given below each sentence. Select the best answer to complete the sentence. Then mark the letter (A), (B), (C), or (D) on your answer sheet.
となっていますが、マークシートに記入する部分を外し、解答の理由を答えてもらうために以下のように変更しました。
Directions: A word or phrase is missing in each of the sentences below. Four answer choices are given below each sentence. Select the best answer to complete the sentence and explain why the answer is correct.
公式TOEIC問題集 1 サンプル問題13
TOEIC Part5で頻出の品詞問題です。どのように解くか試してみましょう。
【問題】
Directions: A word or phrase is missing in each of the sentences below. Four answer choices are given below each sentence. Select the best answer to complete the sentence and explain why the answer is correct.
Customer reviews indicate that many modern mobile devices are often unnecessarily ——–.
(A) complication
公式TOEIC問題集 1 サンプル問題13
(B) complicates
(C) complicate
(D) complicated
チャットの入力欄に問題を入力するとChatGPTが答えてくれます。
【ChatGPTの解答】
(D) complicated
The word “complicated” is the best answer to complete the sentence because it is an adjective that describes the state or quality of something being difficult to understand or deal with. The sentence suggests that customer reviews have noted that many modern mobile devices are difficult to understand or deal with, which aligns with the definition of “complicated.” The other options, “complication,” “complicates,” and “complicate,” do not make sense in the context of the sentence.
《解答説明のDeepLによる翻訳》
“complicated”は、何かが理解しにくい、扱いにくいという状態や性質を表す形容詞なので、この文章を完成させるのに最も適した答えと言えます。この文章は、カスタマーレビューで最近のモバイルデバイスの多くは理解や対処が難しいと指摘されていることを示唆しており、これは “complicated” の定義と一致している。他の選択肢である “complication”, “complicates”, “complicate” は、文の文脈上、意味をなさない。
正解です。解答の説明は文の意味から解く方法です。これはTOEICの品詞問題を解く際によく使われるアプローチと異なるので質問を次のように変えて再検証しました。
Directions: A word or phrase is missing in each of the sentences below. Four answer choices are given below each sentence. Select the best answer to complete the sentence. Then explain why the answer is correct, in terms of grammar, sentence structure, and type of part of speech.
（その答えが正しい理由を文法、文構造、品詞の種類の点から説明してください。）
【変更後のChatGPTの解答】
(D) complicated
The word “complicated” is the best answer to complete the sentence because it is an adjective. The missing word is used to describe the subject of the sentence “many modern mobile devices”, which are described as being unnecessarily complicated. The word “complicated” is the most fitting answer choice to complete the sentence because it is an adjective, which is used to describe nouns or pronouns. The other choices, “complication,” “complicates,” and “complicate” are not adjectives and do not fit the context of the sentence.
《解答説明のDeepLによる翻訳.》
“complicated”は形容詞であるため、文を完成させる最適な答えとなる。不足している単語は、文の主語である「many modern mobile devices」を説明するのに使われ、不必要に複雑であることが説明されている。複雑な」という言葉は形容詞であり、名詞や代名詞を説明するのに使われるので、文を完成させるのに最もふさわしい解答選択肢です。他の選択肢である “complication”, “complicates”, “complicate” は形容詞ではないので、文の文脈に合いません。
【変更後の結果】
正解です。品詞の働きから形容詞を選ぶという解説になり、一般的な品詞問題の解き方になっています。求めていた解説で、かなり出来のよい結果となりました。
公式TOEIC問題集 1 サンプル問題14
先ほど変更した質問を使って検証します。
Directions: A word or phrase is missing in each of the sentences below. Four answer choices are given below each sentence. Select the best answer to complete the sentence. Then explain why the answer is correct, in terms of grammar, sentence structure, and type of part of speech.
Jamal Nawzad has received top performance reviews ——– he joined the sales department two years ago.
(A) despite
公式TOEIC問題集 1 サンプル問題14
(B) except
(C) since
(D) during
【ChatGPTの解答】
(C) since
The word “since” is the best answer to complete the sentence because it is a conjunction that indicates a specific point in time or a duration of time. The sentence indicates that Jamal Nawzad has received top performance reviews starting from a specific point in time (when he joined the sales department two years ago) until now. The word “since” is used to connect the time he joined the department and the point of the statement, that he received top performance reviews. The other options, “despite,” “except,” and “during” are not appropriate in this context because they do not indicate a specific point in time or a duration of time.
《解答説明のDeepLによる翻訳》
sinceは特定の時点や期間を示す接続詞なので、この文を完成させるのに最も適した答えである。この文章は、ジャマール・ナウザドが特定の時点（2年前に営業部に入社した時点）から現在まで、最高の業績評価を受けていることを示しています。since “は、彼が営業部に配属された時点と、この文のポイントである「トップ・パフォーマンス・レビューを受けた」ことを結びつけるために使われています。他の選択肢である “despite”, “except”, “during” は、特定の時点や期間を示すものではないので、この文脈では適切ではありません。
【結果の検証】
正解です。説明もOKですが、空所の後が主語と動詞が続く文になっているので前置詞のdespiteとduringは入らないことがあるといいです。
公式TOEIC問題集 2 サンプル問題13
Directions: A word or phrase is missing in each of the sentences below. Four answer choices are given below each sentence. Select the best answer to complete the sentence. Then explain why the answer is correct, in terms of grammar, sentence structure, and type of part of speech.
An application for the position of mail carrier at Koan Courlers must take the postal regulations exam ——– the scheduling of an interview,
(A) favorable
公式TOEIC問題集 2 サンプル問題13
(B) other than
(C) previously
(D) prior to
【ChatGPTの解答】
(D) prior to
The word “prior to” is the best answer to complete the sentence because it is a preposition that indicates a time sequence, that the event of taking the postal regulations exam happens before the scheduling of an interview. The sentence indicates that an application for the position of mail carrier at Koan Courlers must take the postal regulations exam before scheduling an interview. The word “prior to” is used to connect the two events in time, showing the logical order of the events. The other options “favorable”, “other than” and “previously” are not appropriate in this context because they do not indicate a logical order of events or a temporal relationship.
《解答説明のDeepLによる翻訳》
prior to は前置詞で、面接の日程調整の前に郵便法規試験を受けるという出来事が起こるという時間的順序を示すので、この文を完成させるのに最も適した答えと言えます。この文は、Koan Courlersの郵便配達員のポジションへの応募は、面接の予定を立てる前に郵便規則試験を受けなければならないことを示しています。prior to “は、2つの出来事を時間的につなげるために使われ、論理的な順序を示している。他の選択肢である ” favorable “, “other than”, “previously” は、事象の論理的順序や時間的関係を示していないため、この文脈では適切ではありません。
【結果の検証】
正解です。解説はおおむねOKですが、空所には形容詞のfavorableと副詞のpreviouslyは文法的に入らないと加えられればベターです。
公式TOEIC問題集 2 サンプル問題14
Directions: A word or phrase is missing in each of the sentences below. Four answer choices are given below each sentence. Select the best answer to complete the sentence. Then explain why the answer is correct, in terms of grammar, sentence structure, and type of part of speech.
By recycling the wood shavings ——– by its paper-making process, Paperwide saves thousands of dollars each year,
(A) generate
公式TOEIC問題集 2 サンプル問題14
(B) generates
(C) have generated
(D) generated
【ChatGPTの解答】
(D) generated
The word “generated” is the best answer to complete the sentence because it is a past participle that functions as an adjective to indicate the source of the wood shavings. The sentence indicates that Paperwide is recycling the wood shavings that were produced by its paper-making process. The word “generated” is used to show the source of the wood shavings that Paperwide is recycling. The word “generated” in this context shows that the wood shavings were produced in the past and are now being recycled. The other options “generate”,”generates” and “have generated” are not appropriate in this context because they do not indicate that the wood shavings were produced in the past.
《解答説明のDeepLによる翻訳》
“generated”は過去分詞で、木屑の出所を示す形容詞として機能しているので、この文章を完成させるのに最も適した答えと言えます。この文章は、Paperwide社が製紙工程で発生した木くずをリサイクルしていることを示しています。paperwide社がリサイクルしている木屑の出所を示すために、”generated “という単語が使われています。この “generated “という単語は、過去に生産された木くずが現在リサイクルされていることを表しています。他の選択肢である “generate”、”generate”、”have generated “は、木くずが過去に生産されたことを示すものではないので、この文脈では適切ではありません。
【結果の検証】
正解です。解説ですが、前置詞Byからカンマまでには、述語動詞の形の”generate”、”generate”、”have generated “は文法的に不適切であることがあればベターです。
公式TOEIC問題集 3 サンプル問題13
Directions: A word or phrase is missing in each of the sentences below. Four answer choices are given below each sentence. Select the best answer to complete the sentence. Then explain why the answer is correct, in terms of grammar, sentence structure, and type of part of speech.
Power in the Hayes Building shut down around 2 P.M. yesterday, but it was restored minutes by the backup generator.
(A) through
公式TOEIC問題集 3 サンプル問題13
(B) within
(C) off
(D) as
【ChatGPTの解答】
(B) within
The word “within” is the best answer to complete the sentence because it is a preposition that indicates a duration of time and indicating the time frame of the event. The sentence indicates that power in the Hayes Building was shut down around 2 P.M. yesterday, but it was restored within a short period of time by the backup generator. The word “within” is used to connect the two events in time, showing the duration of time that it took to restore the power. The other options “through,” “off” and “as” are not appropriate in this context because they do not indicate a duration of time or a logical order of events.
《解答説明のDeepLによる翻訳》
withinは時間の長さを表す前置詞で、その出来事の時間帯を示すので、文を完成させるには最適な答えとなる。この文章は、昨日の午後2時ごろにヘイズビルの電力が停止したが、バックアップ発電機によって短時間のうちに回復したことを示している。within “は、2つの出来事を時間軸で結びつけ、電源の復旧に要した時間を示しています。他の選択肢である “through”, “off”, “as “は、時間の長さや出来事の論理的順序を示さないため、この文脈では適切ではありません。
【結果の検証】
正解です。解説も十分です。
まとめ
TOEIC公式問題集のPart5のサンプル問題5問をChatGPTで解いた結果、すべて正解でした。解法の説明も全般的にしっかりしており、質問内容をもう少し詳しく設定すれば、より精度の高い解説が期待できそうです。
サンプル問題5問以外に、追加でTOEIC公式問題集９のTEST１のPart5の30問を一気に解いてもらいました。１回目の30問連続解答で３問ミス（10秒以内で解答）、間違った問題を個別に試して2問は正しい答えに、1問は間違ったままでした。
間違えた問題に対して「Your answer is (B) ——–. But I think the adjective (D) ——– is correct. Is your answer wrong?」と再び質問したところ、「My apologies, you are correct. The correct answer is (D) ——–. （中略） Thank you for pointing this out.」と返事があり間違いを訂正してくれました。
不正解がありましたが、全体としてかなりの出来であり、今後人間側からフィードバックを行い、強化学習を積み重ねれば、解答精度はどんどん高くなっていくと予想されます。
どこかのタイミングでPart5以外に、Part6、Part7の問題をChatGPTで試してみようと思います。
【追記】ChatGPTでPart6の問題を検証しました。
【追記】GPT-4でTOEIC公式問題集１から９のパート5を検証しました。
Follow me!
