Позвольте ChatGPT писать за вас, не позволяйте ChatGPT читать за вас

Введение

Как менеджер по продукту, специализирующийся на опыте ИИ, быть в курсе инноваций и изменений в отрасли — постоянный приоритет. Чтобы достичь этого, я часто взаимодействую с такими ресурсами, как Spotify и YouTube, которые предоставляют ценную информацию. Однако информация на этих платформах часто фильтруется создателями, что приводит к задержкам в распространении знаний. Для более быстрого доступа к точной информации я обращаюсь к исследованиям, исследовательским работам и статьям, опубликованным отдельными лицами и организациями.

Однако эти документы обычно длинные, от 80 до 100 страниц, и написаны на очень техническом языке, что затрудняет их комплексную обработку от начала до конца. Чтобы ориентироваться в этом, я часто полагаюсь на ChatGPT. Загружая PDF или делясь ссылкой, я побуждаю модель суммировать ключевые моменты или извлекать ответы на конкретные запросы. Поначалу это казалось эффективным решением. Однако со временем я начал замечать несоответствия. Многие из резюме казались неполными или не соответствующими аннотации или названию статьи. Чем больше я использовал модель, тем более очевидными становились эти несоответствия.

Это побудило к более глубокому исследованию. В нескольких случаях я просил ChatGPT найти конкретный ответ в исследовании, особенно когда я знал, что автор затрагивал эту тему. Несмотря на это, модель давала неточные или слишком обобщенные ответы. Однажды я запросил ссылку на конкретное резюме. ChatGPT предоставил ее, но она была совершенно нерелевантной моему запросу. Повторение подсказок и корректировка моего подхода не дали существенных улучшений. В конце концов, я сам прочитал статью и подтвердил, что автор не рассматривал вопрос подробно, а значит, точного ответа дать было нельзя.

Этот опыт стал поворотным моментом. Я понял, что хотя ChatGPT может помочь в навигации по плотной информации, он не может заменить критический процесс чтения и анализа материала самостоятельно. Решив понять корень этих проблем, я углубился в исследования, чтобы выяснить, как можно улучшить результаты модели. Во время этого исследования я наткнулся на статью Маттео Вонга в Atlantic: « Генеративный ИИ не может ссылаться на свои источники », в котором подчеркиваются проблемы, с которыми сталкивается генеративный ИИ при предоставлении надежных цитат. Выводы Вонга глубоко перекликаются с моим собственным опытом.

В настоящее время бесчисленное множество статей и постов предлагают советы о том, как эффективно использовать ChatGPT, рекомендуя конкретные подсказки для достижения определенных результатов. Однако большинство этих руководств не оценивают точность результатов, которые они пропагандируют. Делясь своим опытом и выводами, я стремлюсь помочь другим использовать ChatGPT более эффективно. Понимание его ограничений и соответствующая адаптация имеют решающее значение для максимального раскрытия его потенциала. Моя цель — не просто подчеркнуть проблемы, но и дать другим возможность критически подходить к ChatGPT, гарантируя, что они получат наилучшие результаты, осознавая при этом его недостатки.

Области исследований

В своем исследовании я сосредоточился на нескольких ключевых областях, которые, по моему мнению, представляют наибольшие проблемы.

1. Получение точной и актуальной информации: побуждение ChatGPT к исследованию конкретных проблем и анализу нескольких источников.

2. Сравнение результатов поиска в офлайн- и онлайн-режиме: оценка влияния функции веб-поиска Open AI, которая теперь доступна всем пользователям.

3. Улучшение подсказок для более точных резюме и цитат: постоянное совершенствование подсказок для достижения более точных результатов.

   
   

Оценка результатов по различным направлениям будет основываться на следующих критериях:

• Хорошо: Означает, что на основании вопроса-запроса модель демонстрирует способность эффективно выполнять задачу и предоставлять высококачественный ответ.
• Приемлемый: означает, что, хотя результаты модели не отличаются высоким качеством, их можно улучшить с помощью оперативной оптимизации.
• Плохо: относится к случаям, когда модель постоянно не выдает правильные результаты.

Получение точной и актуальной информации

В настоящее время многие эксперты отрасли делятся критическими идеями и перспективными взглядами на таких платформах, как Spotify, через подкасты, видео на YouTube и особенно на LinkedIn. Эти платформы стали центрами своевременной, часто новаторской информации. Мы живем в эпоху, когда устоявшиеся убеждения все чаще подвергаются сомнению и пересматриваются, и первыми площадками для этих откровений часто становятся платформы социальных сетей. Процесс попадания информации в верхние результаты поиска в Google, где она часто воспринимается как общепризнанная «истина», может занять несколько месяцев или даже лет. Благодаря эффективной оптимизации SEO этот срок обычно можно сократить до приблизительно от 90 до 180 дней , в зависимости от отрасли. При отсутствии SEO-стратегий может потребоваться значительно больше времени для Алгоритм Google для оценки и определения приоритетности релевантности информации.

Эта задержка в распространении информации создает значительный разрыв. Например, недавние исследования предоставили убедительные доказательства того, что тяжелая атлетика более эффективна, чем кардио для общего здоровья и физической формы. Исследование 2021 года от Университета Нового Южного Уэльса — это всего лишь один пример этого растущего массива доказательств. Однако если бы вы запросили Google по этой теме сегодня, главные результаты, скорее всего, продолжили бы поддерживать кардио, полагаясь на устаревшие исследования. Это отставание иллюстрирует, как традиционные поисковые системы часто не успевают за передовыми идеями, которыми делятся эксперты на таких платформах, как Spotify и YouTube. Профессионалы отрасли обсуждают такие исследования годами, но поскольку их контент часто распространяется через устные СМИ или нишевые сообщества, он не всегда попадает в широко читаемые статьи или алгоритм Google.

Это осознание приводит к важному вопросу: как можно получить доступ к самым современным и прорывным идеям по любой теме? Как можно использовать последние открытия, чтобы бросить вызов традиционному мышлению, исследовать различные точки зрения и стать экспертом с помощью всего лишь одного запроса? В этом контексте я обратился к ChatGPT, чтобы изучить, может ли он обеспечить преимущество перед Google Search в агрегации и синтезе последних знаний.

ChatGPT, использующий широкий спектр общедоступные источники, такие как веб-страницы, блоги и транскрипты YouTube , предлагает значительный потенциал. Он может даже обрабатывать видеоконтент с таких платформ, как YouTube, и генерировать резюме или ответы на основе этого материала, дополненные цитатами. Однако у него есть заметные ограничения. Например, ChatGPT не имеет прямого доступа к таким платформам, как Spotify или LinkedIn, которые являются богатыми источниками важной информации в реальном времени в определенных отраслях. Хотя он может анализировать текстовые, аудио- или видеообразцы, предоставленные пользователем, поиск и предоставление этого контента остается ручным процессом.

Эти ограничения подчеркивают как сильные, так и слабые стороны ChatGPT. Хотя он может оптимизировать процесс синтеза широкодоступной информации, он требует от пользователей инициативного отбора контента с платформ, которые находятся вне его досягаемости. Это означает, что для полного использования возможностей ChatGPT пользователи должны дополнять его собственными усилиями по поиску новейших и наиболее релевантных материалов.

Проверка онлайн- и офлайн-поиска

Следующий этап моего исследования включал проверку новой функции онлайн-поиска ChatGPT и сравнение ее с офлайн-функциональностью, уделяя особое внимание возможностям вопросов и ответов. Этот шаг был особенно сложным, поскольку я хотел понять, как модель получает ответы и действительно ли включение онлайн-поиска повышает качество ответов. Я подошел к этому, задав ChatGPT ряд запросов, разработанных для проверки его способности предоставлять точную и релевантную информацию.

Сначала я экспериментировал с включенным онлайн-поиском. Я заметил закономерность: ChatGPT обычно полагался на один источник, часто высоко ранжированный в результатах поиска Google или взятый с YouTube, для построения своего ответа. Хотя этот подход иногда давал полезную информацию, модель часто предоставляла дополнительные источники сомнительного качества. Эти дополнительные источники частично затрагивали тему, но не могли дать исчерпывающего или точного ответа на запрос. По сути, ответ модели с включенным онлайн-поиском отражал тип ответа, который можно было найти на первой странице результатов поиска Google.

Один из самых ярких примеров возник, когда я тестировал ChatGPT с помощью распространенного вопроса на собеседовании: «Где вы видите себя через пять лет?» При включенном онлайн-поиске ChatGPT выдал ответ, полученный из высоко оцененная веб-страница , советуя кандидату сформулировать свой ответ вокруг карьерного роста, продвижения на руководящие должности и руководства командами. Хотя этот совет может показаться правильным, на самом деле это не то, что большинство менеджеров по найму или специалистов по кадрам считают идеальным. Такие ответы могут показаться чрезмерно амбициозными или эгоистичными, а не сосредоточенными на текущей роли. Чтобы глубже разобраться, я перефразировал и повторил свой запрос, побудив ChatGPT объяснить его обоснование. Несмотря на мои усилия, ответы остались в основном неизменными, и для подкрепления той же точки зрения были приведены дополнительные источники.

Разочарованный, но любопытный, я решил отключить онлайн-поиск и изучить, как офлайн-режим справится с тем же вопросом. К моему удивлению, ответ был совершенно другим и гораздо более точным. ChatGPT предложил подход, сосредоточенный на освоении роли, на которую претендует кандидат, достижении в ней успеха и поддержке более широкой команды. Этот совет соответствует тому, что рекомендуют специалисты по найму, поскольку он демонстрирует приверженность текущей роли, намекая на долгосрочную ценность. Еще более интригующе, что модель ссылалась на соответствующую и конкретную статью: « 10 примеров ответов на вопрос «Где вы видите себя через 5 лет?» '. Это был именно тот тип тонкого и практичного совета, который я надеялся найти.

Контраст между двумя режимами был одновременно захватывающим и показательным. Онлайн-поиск, по-видимому, отдавал приоритет высокоранговым источникам, что вносило потенциальную предвзятость и ограничивало глубину ответов. Напротив, офлайн-поиск, по-видимому, черпал информацию из более широкого набора данных, предлагая более сбалансированные и соответствующие реальным ожиданиям идеи. Моя гипотеза заключается в том, что офлайн-режим, опираясь на предварительно обученные данные, синтезирует информацию из более широкого диапазона источников, тогда как онлайн-режим сужает фокус до нескольких заметных результатов, потенциально жертвуя качеством и нюансами.

Улучшение подсказок для лучших резюме и цитат

Третья область моего исследования была сосредоточена на уточнении подсказок и их итерации, чтобы направить ChatGPT к переосмыслению своих ответов. Это исследование было направлено на проверку того, могут ли ответы модели развиваться или улучшаться с помощью стратегических подсказок. Я сосредоточился на трех аспектах: вопрос-ответ, резюмирование документов и обеспечение точных цитат.

В ходе этого процесса я обнаружил, что ChatGPT преуспевает в рассуждениях и итеративном уточнении для поисковых запросов. Задавая вопросы, почему модель дала определенный ответ, и выдавая дополнительные подсказки, он продемонстрировал способность определять свои ограничения и переформулировать свои ответы в случае, если первоначальный ответ был неверным. Этот итеративный диалог позволил внести некоторые улучшения, но степень изменений сильно зависела от сложности запроса.

Для реферирования документов структурированные подсказки показали приемлемые результаты. Явно изложив желаемую структуру и ключевые области фокусировки, я мог направлять ChatGPT для предоставления лучших рефератов. Однако даже с четкими инструкциями модель часто с трудом улавливала основную ценность исследования или статьи. Вместо этого она имела тенденцию выделять поверхностные темы или несколько не связанных между собой моментов, которые не всегда отражали основные преимущества или ключевые идеи. Кроме того, ChatGPT часто не мог определить рассуждения или доказательства, лежащие в основе аргументов авторов, что уменьшало глубину и точность его рефератов.

Самым сложным аспектом этого исследования было улучшение точности цитирования. Несмотря на многократное быстрое уточнение и запросы на основе рассуждений, мне не удавалось последовательно добиваться правильных или релевантных цитат. Даже когда модель предоставляла цитаты, они часто не соответствовали контексту запроса или были получены из неточных интерпретаций документа. Моя гипотеза заключается в том, что тенденция ChatGPT генерировать утвердительные или позитивные ответы создает врожденная предвзятость , где модель пытается дать ответ независимо от наличия конкретной подтверждающей информации.

Эта предвзятость особенно очевидна при рассмотрении запросов, которые не могут быть решены простым «да» или «нет». Генеративная природа модели часто изменяет результат таким образом, что это влияет на общее качество ее ответа. Хотя ChatGPT может достаточно хорошо суммировать контент, он часто интерпретирует нюансированные аргументы через бинарную призму, что чрезмерно упрощает сложную информацию и может привести к искажению.

Краткое содержание

В заключение, ChatGPT — мощный инструмент, который может значительно повысить производительность и сэкономить драгоценное время. Однако его эффективность во многом зависит от того, как он используется и для каких целей. В этой статье мы меньше внимания уделили предвзятости, присущей поиску информации, и больше — способности модели получать доступ к самым последним высококачественным данным, которые превосходят традиционные поисковые системы по отзывчивости и релевантности. Несмотря на свои сильные стороны, ChatGPT по-прежнему далек от предоставления результатов, которые могли бы быстро создать экспертность в отрасли. На мой взгляд, основное ограничение заключается в отсутствии доступа к таким платформам, как LinkedIn и Spotify, которые являются критически важными источниками для получения разнообразных точек зрения в режиме реального времени. Кроме того, тенденция модели упрощать ответы до бинарных фреймворков «да или нет» ограничивает ее способность предоставлять нюансированные, многомерные идеи.

ChatGPT отлично справляется с начальными исследовательскими задачами, эффективно излагая высокоуровневые столпы заданного запроса. Однако он испытывает трудности с извлечением и синтезом ключевых результатов при обработке подробной информации. Применяя методы, обсуждаемые в этой статье, для улучшения его возможностей чтения, я столкнулся с несколькими проблемами и в конечном итоге не смог достичь желаемого уровня точности. Этот недостаток становится особенно проблематичным, когда пользователи не обладают экспертными знаниями в данной области, поскольку они могут неосознанно принимать предвзятые или устаревшие ответы.

С профессиональной точки зрения я полагаюсь на ChatGPT в первую очередь для письменных задач, где он действительно блистает. Способность модели переписывать текст в отточенный профессиональный формат — это переломный момент, особенно для неносителей английского языка. Однако, когда дело доходит до синтеза и анализа информации, мое доверие к модели уменьшается. Теперь я в основном использую ChatGPT для описания высокоуровневых деталей при изучении новой области, но предпочитаю больше времени уделять чтению и анализу контента самостоятельно, чтобы обеспечить наиболее точное и полное понимание. Осознавая эти сильные и слабые стороны, пользователи могут лучше использовать потенциал ChatGPT, одновременно смягчая его слабые стороны.