Laat ChatGPT voor u schrijven, laat ChatGPT niet voor u lezen

Invoering

Als productmanager die gespecialiseerd is in AI-ervaringen, is het een constante prioriteit om op de hoogte te blijven van innovaties en veranderingen in de sector. Om dit te bereiken, maak ik regelmatig gebruik van bronnen als Spotify en YouTube, die waardevolle inzichten bieden. De informatie op deze platforms wordt echter vaak gefilterd door makers, wat leidt tot vertragingen in de verspreiding van kennis. Voor meer directe toegang tot nauwkeurige informatie, wend ik mij tot studies, onderzoekspapers en artikelen die zijn gepubliceerd door individuen en organisaties.

Deze documenten zijn echter meestal lang, 80 tot 100 pagina's lang en geschreven in zeer technische taal, waardoor het een uitdaging is om ze van begin tot eind uitgebreid te verwerken. Om hier doorheen te navigeren, vertrouw ik vaak op ChatGPT. Door een PDF te uploaden of een link te delen, vraag ik het model om de belangrijkste punten samen te vatten of antwoorden op specifieke vragen te extraheren. In eerste instantie leek dit een efficiënte oplossing. Na verloop van tijd begon ik echter inconsistenties op te merken. Veel van de samenvattingen voelden onvolledig of niet in overeenstemming met de samenvatting of titel van het artikel. Hoe meer ik het model gebruikte, hoe duidelijker deze discrepanties werden.

Dit leidde tot een diepgaander onderzoek. In verschillende gevallen vroeg ik ChatGPT om een specifiek antwoord in een studie te vinden, vooral als ik wist dat de auteur het onderwerp had behandeld. Desondanks gaf het model onjuiste of te algemene antwoorden. Op een keer vroeg ik om een citaat voor een specifieke samenvatting. ChatGPT gaf er een, maar die was totaal irrelevant voor mijn vraag. Het herhalen van prompts en het aanpassen van mijn aanpak leverde geen significante verbeteringen op. Uiteindelijk las ik het artikel zelf en bevestigde dat de auteur de vraag niet in detail had behandeld, wat betekent dat er geen nauwkeurig antwoord was om te geven.

Deze ervaring was een keerpunt. Ik realiseerde me dat ChatGPT weliswaar kon helpen bij het navigeren door dichte informatie, maar dat het het kritische proces van het zelf lezen en analyseren van het materiaal niet kon vervangen. Vastbesloten om de kern van deze problemen te begrijpen, dook ik in onderzoek om te onderzoeken hoe de resultaten van het model verbeterd konden worden. Tijdens deze verkenning kwam ik het artikel van Matteo Wong in The Atlantic tegen, " Generatieve AI kan zijn bronnen niet citeren ”, waarin de uitdagingen werden benadrukt waarmee generatieve AI te maken krijgt bij het verstrekken van betrouwbare citaten. Wongs bevindingen resoneerden sterk met mijn eigen ervaringen.

Momenteel bieden talloze artikelen en berichten tips over hoe ChatGPT effectief te gebruiken, en bevelen ze specifieke prompts aan om bepaalde resultaten te behalen. De meeste van deze gidsen slagen er echter niet in om de nauwkeurigheid van de resultaten die ze voorstaan te evalueren. Door mijn ervaringen en bevindingen te delen, wil ik anderen helpen ChatGPT effectiever te gebruiken. Het begrijpen van de beperkingen en je dienovereenkomstig aanpassen is cruciaal om het potentieel ervan te maximaliseren. Mijn doel is niet alleen om de uitdagingen te benadrukken, maar ook om anderen in staat te stellen ChatGPT kritisch te benaderen, zodat ze de beste resultaten behalen en zich tegelijkertijd bewust blijven van de tekortkomingen.

Onderzoeksgebieden

Tijdens mijn onderzoek heb ik mij gericht op een aantal belangrijke gebieden die volgens mij de grootste uitdagingen vormen.

1. Het verkrijgen van nauwkeurige, actuele informatie: ChatGPT aanzetten om specifieke problemen te onderzoeken en meerdere bronnen te analyseren.

2. Vergelijking van offline en online zoekresultaten: evaluatie van de impact van de webgebaseerde zoekfunctie van Open AI, die nu voor alle gebruikers beschikbaar is.

3. Verbeterde prompts voor betere samenvattingen en citaten: prompts iteratief verfijnen om nauwkeurigere resultaten te verkrijgen.

   
   

De evaluatie van de resultaten op verschillende gebieden zal gebaseerd zijn op de volgende criteria:

• Goed: Geeft aan dat het model, op basis van de queryvraag, aantoont dat het de taak effectief kan uitvoeren en een kwalitatief hoogstaand antwoord kan geven.
• Acceptabel: Geeft aan dat de resultaten van het model weliswaar niet van hoge kwaliteit zijn, maar dat ze verbeterd kunnen worden door snelle optimalisatie.
• Slecht: verwijst naar gevallen waarin het model consequent geen correcte uitkomsten produceert.

Het verkrijgen van nauwkeurige, actuele informatie

Tegenwoordig delen veel experts uit de industrie kritische inzichten en toekomstgerichte perspectieven op platforms zoals Spotify via podcasts, YouTube-video's en vooral LinkedIn. Deze platforms zijn hubs geworden voor actuele, vaak baanbrekende informatie. We leven in een tijdperk waarin langgekoesterde overtuigingen steeds meer worden uitgedaagd en herzien, en de eerste plekken voor deze onthullingen zijn vaak socialemediaplatforms. Het proces waarbij informatie de topzoekresultaten op Google bereikt, waar het vaak wordt gezien als een algemeen aanvaarde "waarheid", kan enkele maanden of zelfs jaren duren. Door effectieve SEO-optimalisatie kan deze tijdlijn doorgaans worden teruggebracht tot ongeveer 90 tot 180 dagen , afhankelijk van de branche. Bij gebrek aan SEO-strategieën kan het aanzienlijk langer duren voordat Het algoritme van Google om de relevantie van de informatie te beoordelen en te prioriteren.

Deze vertraging in de verspreiding van informatie creëert een significante kloof. Zo hebben recente studies overtuigend bewijs geleverd dat gewichtheffen effectiever is dan cardio voor de algehele gezondheid en conditie. De studie uit 2021 van de University of New South Wales is slechts één voorbeeld van dit groeiende bewijsmateriaal. Als u Google echter vandaag de dag over dit onderwerp zou raadplegen, zouden de topresultaten waarschijnlijk cardio blijven aanbevelen, waarbij ze vertrouwen op verouderde onderzoeken. Deze vertraging illustreert hoe traditionele zoekmachines vaak niet gelijke tred houden met de geavanceerde inzichten die experts delen op platforms als Spotify en YouTube. Professionals uit de industrie bespreken dergelijke onderzoeken al jaren, maar omdat hun content vaak wordt gedeeld via gesproken media of nichegemeenschappen, komt het niet altijd terecht in veelgelezen artikelen of het algoritme van Google.

Deze realisatie leidt tot een kritische vraag: hoe kun je toegang krijgen tot de meest actuele en baanbrekende inzichten over een onderwerp? Hoe kun je de nieuwste bevindingen gebruiken om conventioneel denken uit te dagen, verschillende perspectieven te verkennen en een expert te worden met slechts één query? In deze context wendde ik me tot ChatGPT om te onderzoeken of het een voordeel kon bieden ten opzichte van Google Search bij het aggregeren en synthetiseren van de nieuwste kennis.

ChatGPT, met behulp van een breed scala aan openbare bronnen zoals webpagina's, blogs en YouTube-transcripties , biedt een aanzienlijk potentieel. Het kan zelfs videocontent van platforms als YouTube verwerken en samenvattingen of antwoorden genereren op basis van dat materiaal, compleet met citaten. Het heeft echter opmerkelijke beperkingen. ChatGPT heeft bijvoorbeeld geen directe toegang tot platforms als Spotify of LinkedIn, die rijke bronnen zijn van realtime, kritische informatie in specifieke branches. Hoewel het tekst-, audio- of videofragmenten kan analyseren die door de gebruiker worden verstrekt, blijft het vinden en leveren van deze content een handmatig proces.

Deze beperkingen benadrukken zowel de sterke als de zwakke punten van ChatGPT. Hoewel het het proces van het synthetiseren van algemeen beschikbare informatie kan stroomlijnen, vereist het dat gebruikers proactief zijn in het cureren van content van platforms die buiten het bereik vallen. Dit betekent dat om de mogelijkheden van ChatGPT volledig te benutten, gebruikers het moeten aanvullen met hun eigen inspanningen om de nieuwste en meest relevante materialen te verkrijgen.

Validatie van online versus offline zoeken

De volgende fase van mijn onderzoek omvatte het valideren van ChatGPT's nieuwe online webzoekfunctie en het vergelijken ervan met de offline functionaliteit, met een specifieke focus op vraag-antwoordmogelijkheden. Deze stap was bijzonder uitdagend, omdat ik wilde begrijpen hoe het model zijn antwoorden haalt en of het inschakelen van online zoeken de kwaliteit van de antwoorden echt verbeterde. Ik benaderde dit door ChatGPT te vragen om een reeks query's die waren ontworpen om het vermogen te testen om nauwkeurige en relevante informatie te leveren.

In eerste instantie experimenteerde ik met de online zoekopdracht ingeschakeld. Ik zag een patroon: ChatGPT vertrouwde doorgaans op één bron, vaak hoog gerangschikt in de zoekresultaten van Google of afkomstig van YouTube, om zijn antwoord te construeren. Hoewel deze aanpak soms nuttige informatie opleverde, bood het model vaak aanvullende bronnen van twijfelachtige kwaliteit. Deze aanvullende bronnen zouden het onderwerp gedeeltelijk behandelen, maar geen uitgebreid of nauwkeurig antwoord op de vraag bieden. In essentie weerspiegelde de reactie van het model met online zoekopdracht ingeschakeld het type antwoord dat je op de eerste pagina van de zoekresultaten van Google zou kunnen vinden.

Een van de meest opvallende voorbeelden kwam naar voren toen ik ChatGPT testte met een veelvoorkomende interviewvraag: "Waar zie je jezelf over vijf jaar?" Met online zoeken ingeschakeld, leverde ChatGPT een antwoord op dat afkomstig was van een webpagina met een hoge ranking , waarbij de sollicitant werd geadviseerd om zijn antwoord te baseren op carrièregroei, doorgroei naar senior functies en het leiden van teams. Hoewel dit advies correct lijkt, is het in feite niet wat de meeste hiring managers of HR-professionals ideaal vinden. Zulke antwoorden kunnen overkomen als overdreven ambitieus of egocentrisch, in plaats van gericht op de betreffende functie. Om dieper te onderzoeken, heb ik mijn vraag geherformuleerd en herhaald, wat ChatGPT ertoe aanzette om zijn redenering uit te leggen. Ondanks mijn inspanningen bleven de antwoorden grotendeels ongewijzigd, met aanvullende bronnen die werden aangehaald om hetzelfde perspectief te versterken.

Gefrustreerd maar nieuwsgierig besloot ik de online zoekfunctie uit te schakelen en te onderzoeken hoe de offline modus dezelfde vraag zou behandelen. Tot mijn verbazing was het antwoord totaal anders en veel nauwkeuriger. ChatGPT stelde een aanpak voor die gericht was op het onder de knie krijgen van de functie waarvoor werd gesolliciteerd, het uitblinken in de functie en het ondersteunen van het bredere team. Dit advies komt overeen met wat hiring professionals aanbevelen, omdat het een toewijding aan de directe functie laat zien en tegelijkertijd hint op langetermijnwaarde. Nog intrigerender was dat het model een relevant en specifiek artikel citeerde: " 10 voorbeeldantwoorden op de vraag 'Waar zie je jezelf over 5 jaar?' '. Dit was precies het soort genuanceerde en praktische adviezen waarop ik had gehoopt.

Het contrast tussen de twee modi was zowel fascinerend als onthullend. De online zoekopdracht leek prioriteit te geven aan de hoogst gerangschikte bronnen, wat een mogelijke vertekening introduceerde en de diepte van de antwoorden beperkte. Daarentegen leek de offline zoekopdracht te putten uit een bredere dataset, wat inzichten bood die evenwichtiger waren en beter aansloten bij de verwachtingen in de echte wereld. Mijn hypothese is dat de offline modus, die vertrouwt op vooraf getrainde data, informatie synthetiseert uit een breder scala aan bronnen, terwijl de online modus zich beperkt tot een handvol prominente resultaten, wat mogelijk ten koste gaat van kwaliteit en nuance.

Verbeterde prompts voor betere samenvattingen en citaten

Het derde gebied van mijn onderzoek draaide om het verfijnen van prompts en het itereren ervan om ChatGPT te begeleiden bij het heroverwegen van zijn antwoorden. Deze verkenning was bedoeld om te valideren of de antwoorden van het model konden evolueren of verbeteren met strategische prompting. Mijn focus was drieledig: vraagbeantwoording, samenvatting van documenten en het verzekeren van nauwkeurige citaten.

Door dit proces ontdekte ik dat ChatGPT uitblinkt in redeneren en iteratieve verfijning voor zoekopdrachten. Door te vragen waarom het model een specifiek antwoord gaf en door te volgen met aanvullende prompts, toonde het een vermogen om zijn beperkingen te identificeren en zijn antwoorden te herformuleren voor het geval het eerste antwoord onjuist was. Deze iteratieve dialoog zorgde voor enige verbetering, maar de mate van verandering was sterk afhankelijk van de complexiteit van de query.

Voor het samenvatten van documenten bleek gestructureerde prompting acceptabele resultaten te geven. Door de gewenste structuur en belangrijkste aandachtsgebieden expliciet te schetsen, kon ik ChatGPT begeleiden om betere samenvattingen te leveren. Echter, zelfs met duidelijke instructies, had het model vaak moeite om de kernwaarde van een studie of artikel vast te leggen. In plaats daarvan neigde het ernaar om oppervlakkige thema's of meerdere niet-gerelateerde punten te benadrukken, die niet altijd de primaire voordelen of belangrijkste inzichten weerspiegelden. Bovendien slaagde ChatGPT er vaak niet in om de redenering of het bewijs te identificeren die ten grondslag lagen aan de argumenten van een auteur, wat de diepgang en nauwkeurigheid van zijn samenvattingen verminderde.

Het meest uitdagende aspect van dit onderzoek was het verbeteren van de nauwkeurigheid van citaten. Ondanks herhaalde prompte verfijning en op redenering gebaseerde vragen, kon ik niet consistent correcte of relevante citaten verkrijgen. Zelfs wanneer het model citaten gaf, waren ze vaak irrelevant voor de context van de vraag of afkomstig van onjuiste interpretaties van het document. Mijn hypothese is dat ChatGPT's neiging om bevestigende of positieve antwoorden te genereren een inherente vooringenomenheid , waarbij het model probeert een antwoord te geven, ongeacht de beschikbaarheid van concrete ondersteunende informatie.

Deze bias is vooral duidelijk bij het beantwoorden van vragen die niet met een eenvoudig "ja" of "nee" kunnen worden opgelost. De generatieve aard van het model wijzigt de uitkomst vaak op een manier die de algehele kwaliteit van het antwoord beïnvloedt. Hoewel ChatGPT content redelijk goed kan samenvatten, interpreteert het vaak genuanceerde argumenten door een binaire lens, wat complexe informatie te simplificeert en kan leiden tot verkeerde voorstelling van zaken.

Samenvatting

Concluderend is ChatGPT een krachtige tool die de productiviteit aanzienlijk kan verbeteren en kostbare tijd kan besparen. De effectiviteit ervan hangt echter sterk af van hoe het wordt gebruikt en voor welke doeleinden. Dit artikel heeft zich minder gericht op de vooroordelen die inherent zijn aan het ophalen van informatie en meer op het vermogen van het model om toegang te krijgen tot de meest recente, hoogwaardige gegevens die traditionele zoekmachines overtreffen in responsiviteit en relevantie. Ondanks zijn sterke punten, blijft ChatGPT ver verwijderd van het leveren van outputs die snel expertise in een branche kunnen vestigen. Naar mijn mening ligt de primaire beperking in het gebrek aan toegang tot platforms zoals LinkedIn en Spotify, die cruciale bronnen zijn voor realtime, diverse perspectieven. Bovendien beperkt de neiging van het model om antwoorden te vereenvoudigen tot binaire ja-of-nee-frameworks het vermogen om genuanceerde, multidimensionale inzichten te bieden.

ChatGPT excelleert in initiële onderzoekstaken, waarbij het effectief de pijlers van een bepaalde query op hoog niveau schetst. Het worstelt echter met het extraheren en synthetiseren van belangrijke uitkomsten wanneer het de taak krijgt om gedetailleerde informatie te verwerken. Bij het gebruiken van de technieken die in dit artikel worden besproken om de leesmogelijkheden te verbeteren, kwam ik verschillende uitdagingen tegen en uiteindelijk slaagde ik er niet in om het gewenste nauwkeurigheidsniveau te bereiken. Dit tekort wordt met name problematisch wanneer gebruikers geen domeinexpertise hebben, omdat ze onbewust bevooroordeelde of verouderde antwoorden kunnen accepteren.

Vanuit een professioneel perspectief vertrouw ik voornamelijk op ChatGPT voor schrijftaken, waar het echt schittert. Het vermogen van het model om tekst te herschrijven in een gepolijst, professioneel formaat is een game-changer, met name voor niet-moedertaalsprekers van het Engels. Als het echter aankomt op informatiesynthese en -analyse, neemt mijn vertrouwen in het model af. Ik gebruik ChatGPT nu voornamelijk om details op hoog niveau te schetsen bij het verkennen van een nieuw gebied, maar ik investeer liever meer tijd in het lezen en analyseren van content om het meest nauwkeurige en uitgebreide begrip te garanderen. Door deze sterke en zwakke punten te erkennen, kunnen gebruikers het potentieel van ChatGPT beter benutten en tegelijkertijd de zwakke punten ervan verminderen.