Deixe o ChatGPT escrever para você, não deixe o ChatGPT ler para você

Introdução

Como gerente de produto especializado em experiências de IA, manter-se atualizado com as inovações e mudanças do setor é uma prioridade constante. Para conseguir isso, frequentemente interajo com recursos como Spotify e YouTube, que fornecem insights valiosos. No entanto, as informações nessas plataformas são frequentemente filtradas por criadores, levando a atrasos na disseminação do conhecimento. Para acesso mais imediato a informações precisas, recorro a estudos, artigos de pesquisa e artigos publicados por indivíduos e organizações.

No entanto, esses documentos geralmente são longos, de 80 a 100 páginas, e escritos em linguagem altamente técnica, o que torna desafiador processá-los de forma abrangente do início ao fim. Para navegar por isso, costumo confiar no ChatGPT. Ao carregar um PDF ou compartilhar um link, solicito ao modelo que resuma os pontos-chave ou extraia respostas para consultas específicas. Inicialmente, isso pareceu uma solução eficiente. No entanto, com o tempo, comecei a notar inconsistências. Muitos dos resumos pareciam incompletos ou desalinhados com o resumo ou título do artigo. Quanto mais eu usava o modelo, mais aparentes essas discrepâncias se tornavam.

Isso levou a uma investigação mais profunda. Em vários casos, pedi ao ChatGPT para localizar uma resposta específica em um estudo, principalmente quando eu sabia que o autor havia abordado o tópico. Apesar disso, o modelo forneceu respostas imprecisas ou excessivamente generalizadas. Em uma ocasião, solicitei uma citação para um resumo específico. O ChatGPT forneceu uma, mas era completamente irrelevante para minha consulta. Reiterar prompts e ajustar minha abordagem não produziu melhorias significativas. Por fim, li o artigo e confirmei que o autor não havia abordado a questão em detalhes, o que significa que não havia uma resposta precisa para fornecer.

Essa experiência foi um ponto de virada. Percebi que, embora o ChatGPT pudesse ajudar a navegar por informações densas, ele não poderia substituir o processo crítico de ler e analisar o material por mim mesmo. Determinado a entender a raiz desses problemas, mergulhei na pesquisa para explorar como os resultados do modelo poderiam ser melhorados. Durante essa exploração, me deparei com o artigo de Matteo Wong na Atlantic, “ A IA generativa não pode citar suas fontes ”, que destacou os desafios que a IA generativa enfrenta para fornecer citações confiáveis. As descobertas de Wong ressoaram profundamente com minhas próprias experiências.

Atualmente, inúmeros artigos e postagens oferecem dicas sobre como usar o ChatGPT de forma eficaz, recomendando prompts específicos para atingir determinados resultados. No entanto, a maioria desses guias falha em avaliar a precisão dos resultados que defendem. Ao compartilhar minhas experiências e descobertas, pretendo ajudar outras pessoas a usar o ChatGPT de forma mais eficaz. Entender suas limitações e se adaptar adequadamente é crucial para maximizar seu potencial. Meu objetivo não é apenas destacar os desafios, mas capacitar outras pessoas a abordar o ChatGPT de forma crítica, garantindo que obtenham os melhores resultados, ao mesmo tempo em que permanecem cientes de suas deficiências.

Áreas de Pesquisa

Na minha pesquisa, concentrei-me em diversas áreas-chave que acredito apresentarem os maiores desafios.

1. Obtenção de informações precisas e atualizadas: solicitando ao ChatGPT que explore problemas específicos e analise diversas fontes.

2. Comparando respostas de pesquisa offline e online: avaliando o impacto do recurso de pesquisa habilitado para web da Open AI, agora disponível para todos os usuários.

3. Aprimorando prompts para melhores resumos e citações: refinando prompts iterativamente para obter resultados mais precisos.

   
   

A avaliação dos resultados nas diferentes áreas será baseada nos seguintes critérios:

• Bom: indica que, com base na pergunta da consulta, o modelo demonstra a capacidade de cumprir a tarefa com eficácia e fornecer uma resposta de alta qualidade.
• Aceitável: indica que, embora os resultados do modelo não sejam de alta qualidade, eles podem ser melhorados por meio de otimização rápida.
• Ruim: refere-se a casos em que o modelo falha consistentemente em produzir saídas corretas.

Obtendo informações precisas e atualizadas

Hoje em dia, muitos especialistas do setor compartilham insights críticos e perspectivas de futuro em plataformas como o Spotify por meio de podcasts, vídeos do YouTube e, especialmente, do LinkedIn. Essas plataformas se tornaram centros de informações oportunas e, muitas vezes, inovadoras. Vivemos em uma era em que crenças antigas são cada vez mais desafiadas e revisadas, e os primeiros locais para essas revelações são, muitas vezes, plataformas de mídia social. O processo de informações que chegam aos principais resultados de pesquisa no Google, onde geralmente são percebidas como uma "verdade" amplamente aceita, pode levar vários meses ou até anos. Por meio da otimização eficaz de SEO, esse cronograma pode normalmente ser reduzido para aproximadamente 90 a 180 dias , dependendo do setor. Na ausência de estratégias de SEO, pode levar muito mais tempo para Algoritmo do Google para avaliar e priorizar a relevância das informações.

Esse atraso na disseminação de informações cria uma lacuna significativa. Por exemplo, estudos recentes forneceram evidências convincentes de que o levantamento de peso é mais eficaz do que o cardio para a saúde e o condicionamento físico em geral. O estudo de 2021 da Universidade de New South Wales é apenas um exemplo desse crescente corpo de evidências. No entanto, se você consultasse o Google sobre esse tópico hoje, os principais resultados provavelmente continuariam a endossar o cardio, contando com estudos desatualizados. Esse atraso ilustra como os mecanismos de busca tradicionais muitas vezes não conseguem acompanhar os insights de ponta compartilhados por especialistas em plataformas como Spotify e YouTube. Profissionais da indústria têm discutido esses estudos há anos, mas como seu conteúdo é frequentemente compartilhado por meio de mídia falada ou comunidades de nicho, ele nem sempre aparece em artigos amplamente lidos ou no algoritmo do Google.

Essa percepção leva a uma questão crítica: como alguém pode acessar os insights mais atualizados e disruptivos sobre qualquer tópico? Como alguém pode alavancar as últimas descobertas para desafiar o pensamento convencional, explorar diferentes perspectivas e se tornar um especialista com apenas uma única consulta? Nesse contexto, recorri ao ChatGPT para explorar se ele poderia fornecer uma vantagem sobre o Google Search na agregação e síntese do conhecimento mais recente.

ChatGPT, usando uma vasta gama de fontes disponíveis publicamente, como páginas da web, blogs e transcrições do YouTube , oferece um potencial significativo. Ele pode até mesmo processar conteúdo de vídeo de plataformas como o YouTube e gerar resumos ou respostas com base nesse material, completo com citações. No entanto, ele tem limitações notáveis. Por exemplo, o ChatGPT não tem acesso direto a plataformas como Spotify ou LinkedIn, que são fontes ricas de informações críticas em tempo real em setores específicos. Embora ele possa analisar amostras de texto, áudio ou vídeo fornecidas pelo usuário, encontrar e fornecer esse conteúdo continua sendo um processo manual.

Essas restrições destacam tanto os pontos fortes quanto os fracos do ChatGPT. Embora ele possa simplificar o processo de sintetizar informações amplamente disponíveis, ele exige que os usuários sejam proativos na curadoria de conteúdo de plataformas que estão fora de seu alcance. Isso significa que, para aproveitar totalmente os recursos do ChatGPT, os usuários devem complementá-lo com seus próprios esforços para obter os materiais mais recentes e relevantes.

Validando a pesquisa online vs. offline

A próxima fase da minha pesquisa envolveu a validação do novo recurso de pesquisa on-line do ChatGPT e sua comparação com sua funcionalidade off-line, com foco específico em recursos de resposta a perguntas. Esta etapa foi particularmente desafiadora, pois eu queria entender como o modelo obtém suas respostas e se habilitar a pesquisa on-line realmente melhorava a qualidade das respostas. Abordei isso solicitando ao ChatGPT uma série de consultas projetadas para testar sua capacidade de fornecer informações precisas e relevantes.

Inicialmente, experimentei com a pesquisa on-line habilitada. Percebi um padrão: o ChatGPT normalmente dependia de uma única fonte, geralmente bem classificada nos resultados de pesquisa do Google ou proveniente do YouTube, para construir sua resposta. Embora essa abordagem às vezes produzisse informações úteis, o modelo frequentemente fornecia fontes adicionais de qualidade questionável. Essas fontes suplementares abordariam parcialmente o tópico, mas não ofereceriam uma resposta abrangente ou precisa à consulta. Em essência, a resposta do modelo com a pesquisa on-line habilitada refletia o tipo de resposta que alguém poderia encontrar na primeira página dos resultados de pesquisa do Google.

Um dos exemplos mais marcantes surgiu quando testei o ChatGPT com uma pergunta comum de entrevista: "Onde você se vê em cinco anos?" Com a pesquisa online habilitada, o ChatGPT forneceu uma resposta originada de um página da web altamente classificada , aconselhando o candidato a enquadrar sua resposta em torno do crescimento na carreira, progressão para cargos seniores e liderança de equipes. Embora esse conselho possa parecer correto, na verdade não é o que a maioria dos gerentes de contratação ou profissionais de RH consideram ideal. Essas respostas podem parecer excessivamente ambiciosas ou egocêntricas, em vez de focadas na função em questão. Para investigar mais profundamente, reformulei e reiterei minha pergunta, levando o ChatGPT a explicar seu raciocínio. Apesar dos meus esforços, as respostas permaneceram praticamente inalteradas, com fontes adicionais citadas para reforçar a mesma perspectiva.

Frustrado, mas curioso, decidi desabilitar a busca online e explorar como o modo offline lidaria com a mesma questão. Para minha surpresa, a resposta foi totalmente diferente e muito mais precisa. O ChatGPT propôs uma abordagem centrada em dominar a função para a qual estava se candidatando, se destacar nela e dar suporte à equipe mais ampla. Esse conselho está alinhado com o que os profissionais de contratação recomendam, pois demonstra um comprometimento com a função imediata, ao mesmo tempo em que sugere valor a longo prazo. Ainda mais intrigante, o modelo citou um artigo relevante e específico: “ 10 exemplos de respostas para 'Onde você se vê em 5 anos?' '. Esse era exatamente o tipo de conselho prático e detalhado que eu esperava descobrir.

O contraste entre os dois modos foi fascinante e revelador. A busca online pareceu priorizar fontes de alto nível, o que introduziu um viés potencial e limitou a profundidade das respostas. Em contraste, a busca offline pareceu extrair de um conjunto de dados mais amplo, oferecendo insights que eram mais equilibrados e alinhados com as expectativas do mundo real. Minha hipótese é que o modo offline, contando com dados pré-treinados, sintetiza informações de uma gama mais ampla de fontes, enquanto o modo online estreita seu foco para um punhado de resultados proeminentes, potencialmente sacrificando qualidade e nuance.

Melhorando os prompts para melhores resumos e citações

A terceira área da minha pesquisa centrou-se em refinar prompts e iterar sobre eles para orientar o ChatGPT a repensar suas respostas. Esta exploração teve como objetivo validar se as respostas do modelo poderiam evoluir ou melhorar com prompts estratégicos. Meu foco era triplo: responder a perguntas, sumarizar documentos e garantir citações precisas.

Por meio desse processo, descobri que o ChatGPT se destaca no raciocínio e no refinamento iterativo para consultas baseadas em pesquisa. Ao perguntar por que o modelo forneceu uma resposta específica e acompanhar com prompts adicionais, ele demonstrou uma capacidade de identificar suas limitações e reformular suas respostas caso a resposta inicial estivesse incorreta. Esse diálogo iterativo permitiu alguma melhoria, mas a extensão da mudança dependia muito da complexidade da consulta.

Para resumo de documentos, o prompting estruturado provou resultados aceitáveis. Ao delinear explicitamente a estrutura desejada e as principais áreas de foco, eu poderia orientar o ChatGPT a entregar melhores resumos. No entanto, mesmo com instruções claras, o modelo frequentemente lutava para capturar o valor central de um estudo ou artigo. Em vez disso, ele tendia a destacar temas superficiais ou vários pontos não relacionados, o que nem sempre refletia os benefícios primários ou os principais insights. Além disso, o ChatGPT frequentemente falhava em identificar o raciocínio ou a evidência que sustentava os argumentos de um autor, o que diminuía a profundidade e a precisão de seus resumos.

O aspecto mais desafiador desta pesquisa foi melhorar a precisão das citações. Apesar do refinamento rápido repetido e das consultas baseadas em raciocínio, não consegui obter consistentemente citações corretas ou relevantes. Mesmo quando o modelo forneceu citações, elas eram frequentemente irrelevantes para o contexto da consulta ou originadas de interpretações imprecisas do documento. Minha hipótese é que a tendência do ChatGPT de gerar respostas afirmativas ou positivas cria uma preconceito inerente , onde o modelo tenta fornecer uma resposta independentemente da disponibilidade de informações concretas de apoio.

Esse viés é particularmente evidente ao abordar consultas que não podem ser resolvidas com um simples "sim" ou "não". A natureza generativa do modelo frequentemente altera o resultado de uma forma que afeta a qualidade geral de sua resposta. Embora o ChatGPT possa resumir o conteúdo razoavelmente bem, ele frequentemente interpreta argumentos matizados por meio de uma lente binária, o que simplifica demais informações complexas e pode levar a deturpações.

Resumo

Concluindo, o ChatGPT é uma ferramenta poderosa que pode aumentar significativamente a produtividade e economizar tempo valioso. No entanto, sua eficácia depende muito de como é utilizado e para quais propósitos. Este artigo se concentrou menos nos vieses inerentes à recuperação de informações e mais na capacidade do modelo de acessar os dados mais recentes e de alta qualidade que superam os mecanismos de busca tradicionais em capacidade de resposta e relevância. Apesar de seus pontos fortes, o ChatGPT continua longe de fornecer resultados que poderiam estabelecer rapidamente a expertise em um setor. Na minha opinião, a principal limitação está na falta de acesso a plataformas como LinkedIn e Spotify, que são fontes críticas para perspectivas diversas em tempo real. Além disso, a tendência do modelo de simplificar as respostas em estruturas binárias de sim ou não restringe sua capacidade de fornecer insights multidimensionais e diferenciados.

O ChatGPT se destaca em tarefas de pesquisa iniciais, delineando efetivamente pilares de alto nível de uma determinada consulta. No entanto, ele tem dificuldade para extrair e sintetizar resultados-chave quando encarregado de processar informações detalhadas. Ao empregar as técnicas discutidas neste artigo para melhorar suas capacidades de leitura, encontrei vários desafios e, por fim, não consegui atingir o nível desejado de precisão. Essa deficiência se torna particularmente problemática quando os usuários não têm conhecimento do domínio, pois podem, sem saber, aceitar respostas tendenciosas ou desatualizadas.

De uma perspectiva profissional, confio no ChatGPT principalmente para tarefas de escrita, onde ele realmente brilha. A capacidade do modelo de reescrever texto em um formato profissional e polido é uma virada de jogo, especialmente para falantes não nativos de inglês. No entanto, quando se trata de síntese e análise de informações, minha confiança no modelo diminui. Agora, uso principalmente o ChatGPT para delinear detalhes de alto nível ao explorar uma nova área, mas prefiro investir mais tempo na leitura e análise de conteúdo para garantir o entendimento mais preciso e abrangente. Ao reconhecer esses pontos fortes e limitações, os usuários podem aproveitar melhor o potencial do ChatGPT enquanto atenuam suas fraquezas.