Nechte ChatGPT psát za vás, nenechte ChatGPT číst za vás

Zavedení

Jako produktový manažer specializující se na zkušenosti s umělou inteligencí je neustálou prioritou mít aktuální informace o inovacích a změnách v oboru. Abych toho dosáhl, často využívám zdroje jako Spotify a YouTube, které poskytují cenné informace. Informace na těchto platformách jsou však často filtrovány přes tvůrce, což vede ke zpoždění v šíření znalostí. Pro rychlejší přístup k přesným informacím se obracím na studie, výzkumné práce a články publikované jednotlivci a organizacemi.

Tyto dokumenty jsou však obvykle dlouhé 80 až 100 stran a jsou psány vysoce odborným jazykem, takže je náročné je komplexně zpracovat od začátku do konce. Při navigaci se často spoléhám na ChatGPT. Nahráním PDF nebo sdílením odkazu vyzvem model, aby shrnul klíčové body nebo extrahoval odpovědi na konkrétní dotazy. Zpočátku to vypadalo jako efektivní řešení. Postupem času jsem si však začal všímat nesrovnalostí. Mnohá shrnutí se zdála neúplná nebo nesouvisející s abstraktem nebo názvem příspěvku. Čím více jsem model používal, tím byly tyto nesrovnalosti zjevnější.

To vedlo k hlubšímu vyšetřování. V několika případech jsem požádal ChatGPT, aby ve studii našel konkrétní odpověď, zvláště když jsem věděl, že se autor tématu věnoval. Navzdory tomu model poskytoval nepřesné nebo příliš zobecněné odpovědi. Při jedné příležitosti jsem požádal o citaci konkrétního shrnutí. ChatGPT jeden poskytl, ale pro můj dotaz byl zcela irelevantní. Opakované výzvy a úprava mého přístupu nepřinesla žádná významná zlepšení. Nakonec jsem si článek přečetl sám a potvrdil jsem, že se autor otázce podrobně nevěnoval, což znamená, že neexistuje žádná přesná odpověď.

Tato zkušenost byla zlomová. Uvědomil jsem si, že zatímco ChatGPT může pomoci při navigaci v hustých informacích, nemůže nahradit kritický proces čtení a analýzy materiálu sám. S odhodláním porozumět kořenům těchto problémů jsem se ponořil do výzkumu, abych prozkoumal, jak by se daly výsledky modelu zlepšit. Během tohoto průzkumu jsem narazil na článek Mattea Wonga o Atlantiku, “ Generativní AI nemůže citovat své zdroje “, která zdůraznila problémy, kterým generativní umělá inteligence čelí při poskytování spolehlivých citací. Wongova zjištění hluboce rezonovala s mými vlastními zkušenostmi.

V současné době nespočet článků a příspěvků nabízí tipy, jak efektivně používat ChatGPT, doporučující konkrétní výzvy k dosažení určitých výsledků. Většina těchto průvodců však nedokáže vyhodnotit přesnost výsledků, které obhajují. Sdílením svých zkušeností a zjištění se snažím pomoci ostatním používat ChatGPT efektivněji. Pochopení jeho omezení a odpovídající přizpůsobení je zásadní pro maximalizaci jeho potenciálu. Mým cílem není jen upozornit na výzvy, ale také zmocnit ostatní, aby přistupovali k ChatGPT kriticky a zajistili, že dostanou ty nejlepší výsledky a zároveň si budou vědomi jeho nedostatků.

Oblasti výzkumu

Ve svém výzkumu jsem se zaměřil na několik klíčových oblastí, které považuji za největší výzvy.

1. Získání přesných a aktuálních informací: Vyzvat ChatGPT k prozkoumání konkrétních problémů a analýze více zdrojů.

2. Porovnání reakcí offline a online vyhledávání: Vyhodnocení dopadu webové vyhledávací funkce Open AI, která je nyní dostupná všem uživatelům.

3. Vylepšení výzev pro lepší shrnutí a citace: Opakované vylepšování výzev k dosažení přesnějších výsledků.

   
   

Hodnocení výsledků v různých oblastech bude založeno na následujících kritériích:

• Dobrý: Označuje, že na základě dotazu model prokazuje schopnost efektivně plnit úkol a poskytovat vysoce kvalitní odpověď.
• Přijatelné: Označuje, že ačkoli výsledky modelu nemají vysokou kvalitu, lze je zlepšit rychlou optimalizací.
• Špatný: Týká se případů, kdy model trvale neprodukuje správné výstupy.

Získávání přesných a aktuálních informací

V současné době mnoho odborníků z oboru sdílí kritické poznatky a výhledové perspektivy na platformách, jako je Spotify, prostřednictvím podcastů, videí na YouTube a zejména LinkedIn. Tyto platformy se staly centry pro aktuální, často převratné informace. Žijeme v době, kdy jsou zažitá přesvědčení stále více zpochybňována a revidována, a prvními místy pro tato odhalení jsou často platformy sociálních médií. Proces, kdy se informace dostanou mezi nejlepší výsledky vyhledávání na Googlu, kde jsou často vnímány jako široce přijímaná „pravda“, může trvat několik měsíců nebo dokonce let. Prostřednictvím efektivní SEO optimalizace lze tuto časovou osu obvykle zkrátit na přibližně 90 až 180 dní , v závislosti na odvětví. Při absenci SEO strategií to může trvat podstatně déle Algoritmus Google posoudit a upřednostnit relevanci informací.

Toto zpoždění v šíření informací vytváří významnou mezeru. Například nedávné studie poskytly přesvědčivé důkazy, že vzpírání je pro celkové zdraví a kondici účinnější než kardio. Studie z roku 2021 z University of New South Wales je jen jedním příkladem tohoto rostoucího množství důkazů. Pokud byste se však dnes zeptali Googlu na toto téma, nejlepší výsledky by pravděpodobně nadále podporovaly kardio, a to na základě zastaralých studií. Toto zpoždění ilustruje, jak tradiční vyhledávače často nedokážou držet krok se špičkovými poznatky sdílenými odborníky na platformách jako Spotify a YouTube. Odborníci z oboru o takových studiích diskutují už léta, ale protože je jejich obsah často sdílen prostřednictvím mluvených médií nebo specializovaných komunit, ne vždy se dostane do široce čtených článků nebo do algoritmu Google.

Toto uvědomění vede ke kritické otázce: jak lze získat přístup k nejaktuálnějším a nejrušivějším pohledům na jakékoli téma? Jak lze využít nejnovější poznatky ke zpochybnění konvenčního myšlení, prozkoumat různé perspektivy a stát se odborníkem s jediným dotazem? V této souvislosti jsem se obrátil na ChatGPT, abych prozkoumal, zda by mohl poskytnout výhodu oproti Vyhledávání Google při agregaci a syntéze nejnovějších znalostí.

ChatGPT, využívající širokou škálu veřejně dostupné zdroje, jako jsou webové stránky, blogy a přepisy z YouTube , nabízí značný potenciál. Dokáže dokonce zpracovat videoobsah z platforem jako YouTube a na základě tohoto materiálu generovat souhrny nebo odpovědi, doplněné citacemi. Má však značná omezení. ChatGPT například nemá přímý přístup k platformám jako Spotify nebo LinkedIn, které jsou bohatými zdroji kritických informací v reálném čase v konkrétních odvětvích. I když může analyzovat vzorky textu, zvuku nebo videa poskytnuté uživatelem, nalezení a dodání tohoto obsahu zůstává ručním procesem.

Tato omezení zdůrazňují silné i slabé stránky ChatGPT. I když může zefektivnit proces syntézy široce dostupných informací, vyžaduje, aby uživatelé byli proaktivní při správě obsahu z platforem, které jsou mimo jeho dosah. To znamená, že k plnému využití schopností ChatGPT jej uživatelé musí doplnit vlastním úsilím o získání nejnovějších a nejrelevantnějších materiálů.

Ověřování online vs. offline vyhledávání

Další fáze mého výzkumu zahrnovala ověření nové funkce online vyhledávání na webu ChatGPT a její porovnání s její offline funkcí, se zvláštním zaměřením na schopnosti odpovídat na otázky. Tento krok byl obzvláště náročný, protože jsem chtěl pochopit, jak model získává své odpovědi a zda povolení online vyhledávání skutečně zvýšilo kvalitu odpovědí. Přistoupil jsem k tomu tak, že jsem ChatGPT vyzval k sérii dotazů navržených tak, aby otestovaly jeho schopnost poskytovat přesné a relevantní informace.

Zpočátku jsem experimentoval s povoleným online vyhledáváním. Všiml jsem si vzorce: ChatGPT by se při vytváření odpovědi obvykle spoléhal na jediný zdroj, často vysoce hodnocený ve výsledcích vyhledávání Google nebo pocházející z YouTube. I když tento přístup někdy přinesl užitečné informace, model často poskytoval další zdroje pochybné kvality. Tyto doplňkové zdroje by se tématu částečně věnovaly, ale nenabízely vyčerpávající nebo přesnou odpověď na dotaz. Odpověď modelu s povoleným online vyhledáváním v podstatě odrážela typ odpovědi, kterou lze najít na první stránce výsledků vyhledávání Google.

Jeden z nejvýraznějších příkladů vznikl, když jsem testoval ChatGPT běžnou otázkou v rozhovoru: "Kde se vidíš za pět let?" S povoleným online vyhledáváním poskytl ChatGPT odpověď pocházející z a vysoce hodnocená webová stránka , radí žadateli, aby svou odpověď zarámoval kolem kariérního růstu, postupu do vyšších pozic a vedení týmů. I když se tato rada může zdát správná, ve skutečnosti to není to, co většina náborových manažerů nebo personalistů považuje za ideální. Takové odpovědi se mohou jevit jako příliš ambiciózní nebo sebestředné, spíše než zaměřené na danou roli. Abych to prozkoumal hlouběji, přeformuloval jsem a zopakoval svůj dotaz a přiměl ChatGPT, aby vysvětlil své důvody. Navzdory mému úsilí zůstaly odpovědi z velké části nezměněny, s dalšími zdroji citovanými pro posílení stejného pohledu.

Frustrovaný, ale zvědavý jsem se rozhodl zakázat online vyhledávání a prozkoumat, jak by offline režim zvládl stejnou otázku. K mému překvapení byla odpověď úplně jiná a mnohem přesnější. ChatGPT navrhl přístup zaměřený na zvládnutí role, o kterou se žádá, vyniknutí v ní a podporu širšího týmu. Tato rada je v souladu s tím, co doporučují náboroví odborníci, protože demonstruje závazek k okamžité roli a zároveň naznačuje dlouhodobou hodnotu. Ještě zajímavější je, že model citoval relevantní a konkrétní článek: „ 10 vzorových odpovědí na otázku „Kde se vidíš za 5 let? '. To byl přesně ten typ jemných a praktických rad, které jsem doufal, že odhalím.

Kontrast mezi těmito dvěma režimy byl fascinující i odhalující. Zdá se, že online vyhledávání upřednostňuje zdroje s nejvyšším hodnocením, což představuje potenciální zkreslení a omezuje hloubku odpovědí. Na rozdíl od toho se zdálo, že offline vyhledávání čerpalo z širšího souboru dat a nabízelo statistiky, které byly vyváženější a v souladu s reálnými očekáváními. Moje hypotéza je, že offline režim, který se opírá o předem připravená data, syntetizuje informace z širšího spektra zdrojů, zatímco online režim zužuje své zaměření na hrstku prominentních výsledků, což potenciálně obětuje kvalitu a nuance.

Vylepšení výzev pro lepší shrnutí a citace

Třetí oblast mého výzkumu se soustředila na vylepšování výzev a jejich opakování, aby ChatGPT vedl k přehodnocení svých reakcí. Cílem tohoto průzkumu bylo ověřit, zda by se odpovědi modelu mohly vyvíjet nebo zlepšovat pomocí strategických podnětů. Zaměřil jsem se na tři věci: odpovědi na otázky, sumarizace dokumentů a zajištění přesných citací.

Prostřednictvím tohoto procesu jsem zjistil, že ChatGPT vyniká v uvažování a iterativním zpřesňování pro dotazy založené na vyhledávání. Tím, že se zeptal, proč model poskytl konkrétní odpověď, a navázal na další výzvy, prokázal schopnost identifikovat svá omezení a přeformulovat své odpovědi v případě, že původní odpověď byla nesprávná. Tento iterativní dialog umožnil určité zlepšení, ale rozsah změn silně závisel na složitosti dotazu.

U sumarizace dokumentů se strukturované výzvy ukázaly jako přijatelné výsledky. Výslovným nastíněním požadované struktury a klíčových oblastí zaměření jsem mohl vést ChatGPT k poskytování lepších shrnutí. I přes jasné instrukce se však model často snažil zachytit základní hodnotu studie nebo článku. Místo toho měla tendenci zdůrazňovat povrchová témata nebo více nesouvisejících bodů, které ne vždy odrážely primární výhody nebo klíčové poznatky. ChatGPT navíc často nedokázal identifikovat zdůvodnění nebo důkazy podporující argumenty autorů, což snižovalo hloubku a přesnost jeho shrnutí.

Nejnáročnějším aspektem tohoto výzkumu bylo zlepšení přesnosti citací. Navzdory opakovaným rychlým upřesňováním a dotazům založeným na uvažování jsem nemohl trvale dosáhnout správných nebo relevantních citací. I když model poskytoval citace, byly často irelevantní pro kontext dotazu nebo pocházely z nepřesných interpretací dokumentu. Moje hypotéza je, že tendence ChatGPT generovat kladné nebo kladné odpovědi vytváří inherentní zaujatost , kde se model pokouší poskytnout odpověď bez ohledu na dostupnost konkrétních podpůrných informací.

Tato zaujatost je zvláště patrná při řešení dotazů, které nelze vyřešit jednoduchým „ano“ nebo „ne“. Generativní povaha modelu často pozměňuje výsledek způsobem, který ovlivňuje celkovou kvalitu jeho reakce. Zatímco ChatGPT dokáže shrnout obsah přiměřeně dobře, často interpretuje jemné argumenty pomocí binární čočky, což příliš zjednodušuje složité informace a může vést ke zkreslení.

Shrnutí

Závěrem, ChatGPT je mocný nástroj, který může výrazně zvýšit produktivitu a ušetřit drahocenný čas. Jeho účinnost však do značné míry závisí na tom, jak je využíván a pro jaké účely. Tento článek se soustředil méně na předsudky spojené s vyhledáváním informací a více na schopnost modelu získat přístup k nejnovějším, vysoce kvalitním datům, která překonávají tradiční vyhledávače co do odezvy a relevance. Navzdory svým silným stránkám má ChatGPT daleko od poskytování výstupů, které by mohly rychle vytvořit odbornost v odvětví. Podle mého názoru spočívá primární omezení v jeho nedostatečném přístupu k platformám jako LinkedIn a Spotify, které jsou kritickými zdroji pro různé perspektivy v reálném čase. Navíc tendence modelu zjednodušovat odpovědi do binárních rámců ano nebo ne omezuje jeho schopnost poskytovat jemné, vícerozměrné náhledy.

ChatGPT vyniká v počátečních výzkumných úkolech a efektivně nastiňuje hlavní pilíře daného dotazu. Má však problém extrahovat a syntetizovat klíčové výsledky, když má za úkol zpracovávat podrobné informace. Při používání technik popsaných v tomto článku ke zlepšení jeho schopností čtení jsem se setkal s několika problémy a nakonec jsem nedosáhl požadované úrovně přesnosti. Tento nedostatek se stává zvláště problematickým, když uživatelé nemají odborné znalosti v oblasti domény, protože mohou nevědomky přijímat zaujaté nebo zastaralé odpovědi.

Z profesionálního hlediska se na ChatGPT spoléhám především při psaní úkolů, kde opravdu září. Schopnost modelu přepisovat text do leštěného, profesionálního formátu je změna hry, zejména pro nerodilé mluvčí angličtiny. Nicméně, pokud jde o syntézu a analýzu informací, moje důvěra v model klesá. ChatGPT nyní používám především k nastínění podrobností na vysoké úrovni při zkoumání nové oblasti, ale raději investuji více času do čtení a analýzy obsahu, abych zajistil co nejpřesnější a nejkomplexnější porozumění. Rozpoznáním těchto silných stránek a omezení mohou uživatelé lépe využít potenciál ChatGPT a zároveň zmírnit jeho slabé stránky.