ChatGPT に代わりに書いてもらいましょう。ChatGPT に代わりに読んでもらうのではなく

導入

AI エクスペリエンスを専門とするプロダクト マネージャーとして、業界のイノベーションと変化について最新情報を把握することは常に優先事項です。これを実現するために、私は Spotify や YouTube などのリソースを頻繁に利用して、貴重な洞察を得ています。ただし、これらのプラットフォーム上の情報はクリエイターによってフィルタリングされることが多く、知識の普及が遅れる原因となっています。より迅速に正確な情報にアクセスするために、私は個人や組織が発表した調査、研究論文、記事に目を向けています。

しかし、これらの文書は通常 80 ～ 100 ページと長く、高度な専門用語で書かれているため、最初から最後まで包括的に処理するのは困難です。これに対処するために、私はよく ChatGPT に頼っています。PDF をアップロードするかリンクを共有することで、モデルに要点を要約したり、特定のクエリに対する回答を抽出したりするように指示します。最初は、これは効率的なソリューションのように見えました。しかし、時間が経つにつれて、矛盾に気づき始めました。要約の多くは不完全であるか、論文の要約やタイトルと一致していないように感じました。モデルを使用すればするほど、これらの矛盾が明らかになりました。

これにより、さらに深く調査するようになりました。いくつかのケースでは、特に著者がそのトピックについて言及していることがわかっている場合、ChatGPT に研究で特定の回答を見つけるように依頼しました。それにもかかわらず、モデルは不正確または過度に一般化された応答を提供しました。あるとき、特定の要約の引用を要求しました。ChatGPT は 1 つ提供しましたが、それは私のクエリとはまったく関係のないものでした。プロンプトを繰り返し、アプローチを調整しても、大きな改善は得られませんでした。最終的に、私は自分で記事を読んで、著者が質問に詳細に対処していないことを確認しました。つまり、正確な回答を提供できないということです。

この経験は転機となりました。ChatGPT は密度の高い情報のナビゲートには役立ちますが、資料を自分で読んで分析するという重要なプロセスに取って代わることはできないと気づきました。これらの問題の根本を理解しようと決意し、モデルの結果をどのように改善できるかを探るために研究に没頭しました。この調査中に、Matteo Wong の Atlantic の記事「 生成AIはソースを引用できない」では、生成 AI が信頼性の高い引用を提供する上で直面する課題が強調されています。ウォン氏の調査結果は、私自身の経験と深く共鳴しました。

現在、ChatGPT を効果的に使用する方法についてのヒントや、特定の結果を達成するための具体的なプロンプトを推奨する記事や投稿が数多くあります。しかし、これらのガイドのほとんどは、推奨する結果の正確性を評価していません。私は自分の経験と発見を共有することで、他の人が ChatGPT をより効果的に使用できるようにしたいと考えています。その限界を理解し、それに応じて適応することは、その可能性を最大限に引き出すために不可欠です。私の目標は、課題を浮き彫りにするだけでなく、他の人が ChatGPT に批判的にアプローチし、欠点を認識しながら最良の結果を確実に得られるようにすることです。

研究分野

私の研究では、最も大きな課題であると考えられるいくつかの重要な分野に焦点を当てました。

1. 正確で最新の情報を取得する: ChatGPT に特定の問題を調査し、複数のソースを分析するように促します。

2. オフラインとオンラインの検索応答の比較:すべてのユーザーが利用できるようになった Open AI の Web 対応検索機能の影響を評価します。

3. より良い要約と引用のためのプロンプトの強化:プロンプトを繰り返し改良して、より正確な結果を実現します。

   
   

さまざまな分野にわたる結果の評価は、次の基準に基づいて行われます。

• 良好:クエリの質問に基づいて、モデルがタスクを効果的に実行し、高品質の応答を提供する能力を示していることを示します。
• 許容可能:モデルの結果は高品質ではないものの、迅速な最適化によって改善できることを示します。
• 悪い:モデルが常に正しい出力を生成できない場合を指します。

正確で最新の情報を入手する

今日では、多くの業界の専門家が、ポッドキャスト、YouTube 動画、特に LinkedIn を通じて、Spotify などのプラットフォームで重要な洞察や将来を見据えた見解を共有しています。これらのプラットフォームは、タイムリーで画期的な情報の中心地となっています。私たちは、長年信じられてきた信念がますます疑問視され、修正される時代に生きており、これらの啓示の最初の場は多くの場合、ソーシャル メディア プラットフォームです。情報が Google の検索結果の上位に表示されるまでのプロセスは、広く受け入れられている「真実」として認識されることが多く、数か月から数年かかることがあります。効果的な SEO 最適化により、このタイムラインは通常、 約90～180日業界によって異なります。SEO戦略がなければ、 Googleのアルゴリズム情報の関連性を評価し、優先順位を付ける。

情報普及の遅れは、大きなギャップを生み出します。たとえば、最近の研究では、全体的な健康とフィットネスには、ウェイトリフティングが有酸素運動よりも効果的であるという説得力のある証拠が示されています。ニューサウスウェールズ大学の2021年の研究これは、増え続ける証拠の一例にすぎません。しかし、今日このトピックについて Google に問い合わせた場合、上位の結果はおそらく、時代遅れの研究に頼った有酸素運動を推奨し続けるでしょう。この遅れは、従来の検索エンジンが、Spotify や YouTube などのプラットフォームの専門家が共有する最先端の洞察に追いつけないことが多いことを示しています。業界の専門家は何年もの間、このような研究について議論してきましたが、その内容は音声メディアやニッチなコミュニティを通じて共有されることが多いため、広く読まれる記事や Google のアルゴリズムに必ずしも採用されるわけではありません。

この認識から、重要な疑問が生まれます。つまり、どんなトピックについても、最新かつ破壊的な洞察にどうアクセスすればよいのか？最新の知見を活用して従来の考え方に挑戦し、さまざまな視点を探り、たった 1 つのクエリで専門家になるにはどうすればよいのか？このような状況で、私は ChatGPT に注目し、最新の知識を集約して統合する上で Google 検索よりも優位に立てるかどうかを探りました。

ChatGPTは、幅広いウェブページ、ブログ、YouTube のトランスクリプトなどの公開されているソースは、大きな可能性を秘めています。YouTube などのプラットフォームのビデオ コンテンツを処理し、その資料に基づいて要約や回答を引用付きで生成することもできます。ただし、注目すべき制限があります。たとえば、ChatGPT は、特定の業界のリアルタイムの重要な情報の豊富なソースである Spotify や LinkedIn などのプラットフォームに直接アクセスできません。ユーザーが提供するテキスト、音声、またはビデオ サンプルを分析することはできますが、このコンテンツを見つけて提供することは依然として手動のプロセスです。

これらの制約は、ChatGPT の長所と短所の両方を浮き彫りにしています。広く利用可能な情報を統合するプロセスを効率化できる一方で、ユーザーがその範囲外にあるプラットフォームからのコンテンツを積極的にキュレートする必要があります。つまり、ChatGPT の機能を最大限に活用するには、ユーザーが最新かつ最も関連性の高い資料を独自に探し出す努力をする必要があります。

オンライン検索とオフライン検索の検証

研究の次の段階では、ChatGPT の新しいオンライン Web 検索機能を検証し、特に質問応答機能に焦点を当ててオフライン機能と比較しました。このステップは特に困難でした。モデルが回答をどのように取得するか、オンライン検索を有効にすると本当に回答の質が向上するかどうかを理解したかったからです。私は、正確で関連性の高い情報を提供する能力をテストするために設計された一連のクエリを ChatGPT に実行することでこれに取り組みました。

最初は、オンライン検索を有効にして実験しました。私はパターンに気づきました。ChatGPT は通常、Google 検索結果で上位にランクされているか、YouTube から提供された単一のソースに依存して応答を構築していました。このアプローチは有用な情報を生み出すこともありましたが、モデルは質に疑問のある追加ソースを提供することがよくありました。これらの補足ソースはトピックに部分的に対応していましたが、クエリに対する包括的または正確な回答を提供できませんでした。本質的に、オンライン検索を有効にしたモデルの応答は、Google 検索結果の最初のページで見つかるような回答のタイプを反映していました。

最も印象的な例の1つは、私がChatGPTを一般的な面接の質問でテストしたときに現れました。「5年後のあなたはどうなっていると思いますか？」オンライン検索を有効にすると、ChatGPTは、ランキングの高いウェブページ、応募者に対して、キャリアの成長、上級職への昇進、チームを率いることを中心に回答を組み立てるようアドバイスしています。このアドバイスは正しいように見えるかもしれませんが、実際には、ほとんどの採用マネージャーや人事担当者が理想的と考えるものではありません。このような回答は、手元の職務に焦点を当てているのではなく、過度に野心的または自己中心的であるように受け取られる可能性があります。さらに詳しく調査するために、質問を言い換えて繰り返し、ChatGPT に理由を説明してもらいました。私の努力にもかかわらず、回答はほとんど変わらず、同じ視点を強化するために追加のソースが引用されました。

イライラしながらも興味があったので、オンライン検索を無効にして、オフライン モードで同じ質問がどのように処理されるかを調べることにしました。驚いたことに、回答はまったく異なり、はるかに正確でした。ChatGPT は、応募する役割を習得し、その役割で優れた成果を上げ、チーム全体をサポートすることを中心としたアプローチを提案しました。このアドバイスは、採用担当者が推奨するものと一致しており、当面の役割へのコミットメントを示しながら長期的な価値を示唆しています。さらに興味深いことに、モデルは関連性のある具体的な記事を引用しました。「 「5年後の自分はどうなっていると思いますか？」に対する10の回答例'。これはまさに私が見つけたいと思っていた、ニュアンスに富んだ実用的なアドバイスでした。

2 つのモードの対比は、興味深く、また示唆に富むものでした。オンライン検索では、上位ランクのソースを優先しているようで、それが潜在的なバイアスをもたらし、回答の深さを制限していました。対照的に、オフライン検索は、より広範なデータセットから情報を引き出すようで、よりバランスが取れ、現実世界の期待に沿った洞察を提供していました。私の仮説は、オフライン モードは事前トレーニング済みのデータに依存し、より幅広いソースからの情報を統合するのに対し、オンライン モードは、少数の目立つ結果に焦点を絞り、品質とニュアンスを犠牲にする可能性があるということです。

より良い要約と引用のためのプロンプトの強化

私の研究の 3 番目の領域は、プロンプトを改良し、それを繰り返して ChatGPT が応答を再考するように導くことに集中しました。この調査の目的は、戦略的なプロンプトによってモデルの回答が進化または改善できるかどうかを検証することでした。私の焦点は、質問への回答、ドキュメントの要約、正確な引用の確保の 3 つでした。

このプロセスを通じて、ChatGPT は検索ベースのクエリの推論と反復的な改良に優れていることがわかりました。モデルが特定の応答を提供した理由を尋ね、追加のプロンプトをフォローアップすることで、モデルは限界を特定し、最初の応答が間違っていた場合に回答を再構成する能力を示しました。この反復的な対話により、ある程度の改善が可能になりましたが、変化の程度はクエリの複雑さに大きく依存しました。

文書の要約では、構造化されたプロンプトが許容できる結果をもたらしました。望ましい構造と主要な焦点領域を明示的に概説することで、ChatGPT がより良い要約を作成するように導くことができました。ただし、明確な指示があっても、モデルは研究や記事の核となる価値を捉えるのに苦労することがよくありました。代わりに、表面的なテーマや複数の無関係なポイントを強調する傾向があり、必ずしも主要な利点や重要な洞察を反映していませんでした。さらに、ChatGPT は著者の議論の根拠となる推論や証拠を特定できないことが多く、要約の深さと正確性が低下していました。

この研究で最も困難だったのは、引用の精度を向上させることでした。プロンプトの改良と推論ベースのクエリを繰り返したにもかかわらず、一貫して正しい引用や関連性のある引用を得ることができませんでした。モデルが引用を提供したとしても、クエリの文脈とは無関係であったり、文書の不正確な解釈から引用されていることが多かったのです。私の仮説は、ChatGPTが肯定的または肯定的な応答を生成する傾向があるため、 固有の偏見モデルは、具体的な裏付け情報の有無にかかわらず、答えを提供しようとします。

このバイアスは、単純な「はい」または「いいえ」では解決できないクエリに対応するときに特に顕著です。モデルの生成的な性質により、結果が修正され、応答の全体的な品質に影響することがよくあります。ChatGPT はコンテンツをかなり適切に要約できますが、微妙な議論をバイナリ レンズで解釈することが多く、複雑な情報が単純化されすぎて、誤解を招く可能性があります。

まとめ

結論として、ChatGPT は生産性を大幅に向上させ、貴重な時間を節約できる強力なツールです。ただし、その有効性は、どのように、どのような目的で利用されるかに大きく依存します。この記事では、情報検索に固有のバイアスよりも、応答性と関連性において従来の検索エンジンを上回る最新の高品質データにアクセスするモデルの能力に焦点を当てています。その強みにもかかわらず、ChatGPT は、業界での専門知識を迅速に確立できる出力を提供するにはほど遠いままです。私の見解では、主な制限は、リアルタイムで多様な視点を得るための重要な情報源である LinkedIn や Spotify などのプラットフォームにアクセスできないことにあります。さらに、このモデルは応答を 2 進法の「はい」または「いいえ」のフレームワークに単純化する傾向があるため、微妙で多次元的な洞察を提供する能力が制限されます。

ChatGPT は、初期の調査タスクに優れており、特定のクエリの高レベルの柱を効果的に概説します。ただし、詳細な情報を処理するタスクでは、主要な結果を抽出して統合するのに苦労します。この記事で説明した手法を使用して読み取り機能を改善しましたが、いくつかの課題に遭遇し、最終的には必要なレベルの精度を達成できませんでした。この不足は、ユーザーがドメインの専門知識を欠いている場合、偏った回答や古い回答を無意識のうちに受け入れる可能性があるため、特に問題になります。

専門的な観点から言うと、私は主に執筆作業に ChatGPT を頼りにしており、そこで ChatGPT は真価を発揮します。テキストを洗練されたプロフェッショナルな形式に書き直すこのモデルの能力は、特に英語を母国語としない人にとっては画期的なものです。しかし、情報の統合と分析に関しては、このモデルに対する私の信頼は薄れてしまいます。私は現在、主に ChatGPT を使用して新しい分野を探索する際に高レベルの詳細を概説していますが、最も正確で包括的な理解を確実にするために、自分でコンテンツを読んで分析することにもっと時間を費やすことを好みます。これらの長所と限界を認識することで、ユーザーは ChatGPT の潜在能力をより有効に活用し、その弱点を軽減することができます。