1716820261
2024-05-27 14:20:01
参加者が評価した回答の質。クレジット: CHI コンピューティング システムにおけるヒューマン ファクターに関する会議の議事録 (2024)。DOI: 10.1145/3613904.3642596
パーデュー大学のコンピュータ科学者チームは、人気の法学修士課程であるChatGPTがコンピュータプログラミングの質問に回答する際に非常に不正確であることを発見した。 紙 この研究は、CHI Conference on Human Factors in Computing Systems の Proceedings の一部として公開されており、同グループは、StackOverflow の Web サイトから質問を抽出して ChatGPT に提示し、応答の精度を測定した方法について説明しています。
研究チームはまた、コンピューティングシステムにおける人間工学に関する会議（CHI 2024）が5月11日から16日まで開催されます。
ChatGPT やその他の LLM は最近よくニュースになっています。このようなアプリは一般公開されて以来、非常に人気が高まっています。残念ながら、このようなアプリが提供する回答の多くには、役立つ情報の宝庫が含まれている一方で、不正確な点も数多くあります。さらに残念なことに、アプリが間違った回答を出している場合、それが必ずしも明らかではありません。
この新しい研究で、パーデュー大学のチームは、多くのプログラミング 学生 プログラミング課題のコードを書くだけでなく、プログラミングに関連する質問に答えるために LLM を使い始めている学生もいます。たとえば、学生は ChatGPT に「バブル ソートとマージ ソートの違いは何ですか?」と質問したり、もっと一般的には「再帰とは何ですか?」と質問したりできます。
こうした質問に LLM がどの程度正確に答えられるかを調べるため、研究チームはそのうちの 1 つ、ChatGPT に注力しました。アプリのテストに使用する質問を見つけるために、研究者は StackOverflow Web サイトで無料で入手できる質問を使用しました。これは、プログラマーが自分の関心分野の他の人と協力することでプログラミングについてさらに学ぶことができるように構築されたサイトです。サイトの一部では、ユーザーが質問を投稿し、答えを知っている他の人が回答します。
研究チームは、サイトにある 517 の質問を使用し、ChatGPT が正しい回答を返す頻度を測定しました。残念ながら、その割合はわずか 52% でした。また、回答は、人間の専門家に同じ質問をした場合よりも冗長になる傾向があることもわかりました。
驚くべきことに、研究チームは、ユーザー調査の参加者が ChatGPT の回答を 35% 好むことを発見しました。また、研究者は、ChatGPT の回答を読んでいる同じユーザーが、間違いに気付かないことが非常に多いことも発見しました。つまり、間違った回答を見逃す割合が 39% でした。
詳しくは：
Samia Kabir 他「Stack Overflow は時代遅れか? Stack Overflow の質問に対する ChatGPT 回答の特性に関する実証的研究」、コンピューティング システムにおける人間工学に関する CHI カンファレンスの議事録 (2024)。 翻訳: 10.1145/3613904.3642596
© 2024 サイエンスXネットワーク
引用: 科学者らは、ChatGPT がコンピュータープログラミングの質問に答える際に不正確であることを発見 (2024 年 5 月 27 日) 2024 年 5 月 27 日に https://techxplore.com/news/2024-05-scientists-chatgpt-inaccurate.html から取得
この文書は著作権の対象です。個人的な学習や研究を目的とした公正な取り扱いを除き、書面による許可なしに複製することはできません。コンテンツは情報提供のみを目的として提供されています。
#科学者はChatGPT #がコンピュータープログラミングの質問に答える際に不正確であることを発見