Deje que ChatGPT escriba por usted, no deje que ChatGPT lea por usted

Introducción

Como gerente de producto especializado en experiencias de IA, mantenerme actualizado con las innovaciones y los cambios de la industria es una prioridad constante. Para lograrlo, interactúo con frecuencia con recursos como Spotify y YouTube, que brindan información valiosa. Sin embargo, la información en estas plataformas suele filtrarse a través de los creadores, lo que genera demoras en la difusión del conocimiento. Para tener un acceso más inmediato a información precisa, recurro a estudios, artículos de investigación y artículos publicados por personas y organizaciones.

Sin embargo, estos documentos suelen tener una extensión de 80 a 100 páginas y están escritos en un lenguaje muy técnico, lo que dificulta su procesamiento integral de principio a fin. Para ello, suelo recurrir a ChatGPT. Al cargar un PDF o compartir un enlace, le pido al modelo que resuma los puntos clave o extraiga respuestas a consultas específicas. Al principio, esto parecía una solución eficiente. Sin embargo, con el tiempo, comencé a notar inconsistencias. Muchos de los resúmenes parecían incompletos o no se correspondían con el resumen o el título del artículo. Cuanto más utilizaba el modelo, más evidentes se volvían estas discrepancias.

Esto motivó una investigación más profunda. En varios casos, le pedí a ChatGPT que localizara una respuesta específica en un estudio, en particular cuando sabía que el autor había abordado el tema. A pesar de esto, el modelo proporcionó respuestas inexactas o demasiado generalizadas. En una ocasión, solicité una cita para un resumen específico. ChatGPT me proporcionó una, pero era completamente irrelevante para mi consulta. Reiterar las indicaciones y ajustar mi enfoque no produjo mejoras significativas. Finalmente, leí el artículo yo mismo y confirmé que el autor no había abordado la pregunta en detalle, lo que significa que no había una respuesta precisa que proporcionar.

Esta experiencia fue un punto de inflexión. Me di cuenta de que, si bien ChatGPT podía ayudar a navegar por información densa, no podía reemplazar el proceso crítico de leer y analizar el material por mí mismo. Decidido a comprender la raíz de estos problemas, me sumergí en la investigación para explorar cómo se podían mejorar los resultados del modelo. Durante esta exploración, me encontré con el artículo de Matteo Wong en Atlantic, “ La IA generativa no puede citar sus fuentes ”, que destacó los desafíos que enfrenta la IA generativa para proporcionar citas confiables. Los hallazgos de Wong resonaron profundamente con mis propias experiencias.

Actualmente, hay innumerables artículos y publicaciones que ofrecen consejos sobre cómo usar ChatGPT de manera eficaz y recomiendan indicaciones específicas para lograr ciertos resultados. Sin embargo, la mayoría de estas guías no evalúan la precisión de los resultados que recomiendan. Al compartir mis experiencias y hallazgos, mi objetivo es ayudar a otros a usar ChatGPT de manera más eficaz. Comprender sus limitaciones y adaptarse en consecuencia es fundamental para maximizar su potencial. Mi objetivo no es solo destacar los desafíos, sino capacitar a otros para que aborden ChatGPT de manera crítica, asegurándose de obtener los mejores resultados sin perder de vista sus deficiencias.

Áreas de investigación

En mi investigación, me centré en varias áreas clave que creo que plantearon los mayores desafíos.

1. Obtención de información precisa y actualizada: impulsar a ChatGPT a explorar problemas específicos y analizar múltiples fuentes.

2. Comparación de las respuestas de búsqueda en línea y fuera de línea: evaluación del impacto de la función de búsqueda habilitada para web de Open AI, ahora disponible para todos los usuarios.

3. Mejorar las indicaciones para obtener mejores resúmenes y citas: refinar iterativamente las indicaciones para lograr resultados más precisos.

   
   

La evaluación de los resultados en las diferentes áreas se basará en los siguientes criterios:

• Bueno: Indica que, con base en la pregunta de consulta, el modelo demuestra la capacidad de cumplir eficazmente la tarea y proporcionar una respuesta de alta calidad.
• Aceptable: indica que si bien los resultados del modelo no son de alta calidad, pueden mejorarse mediante una rápida optimización.
• Malo: se refiere a casos en los que el modelo falla sistemáticamente en producir resultados correctos.

Obtención de información precisa y actualizada

Hoy en día, muchos expertos de la industria comparten conocimientos críticos y perspectivas de futuro en plataformas como Spotify a través de podcasts, videos de YouTube y, especialmente, LinkedIn. Estas plataformas se han convertido en centros de información oportuna y, a menudo, innovadora. Vivimos en una era en la que las creencias arraigadas se cuestionan y revisan cada vez más, y los primeros lugares para estas revelaciones suelen ser las plataformas de redes sociales. El proceso de que la información llegue a los primeros resultados de búsqueda en Google, donde a menudo se percibe como una "verdad" ampliamente aceptada, puede llevar varios meses o incluso años. Mediante una optimización SEO eficaz, este plazo normalmente se puede reducir a aproximadamente 90 a 180 días , dependiendo de la industria. En ausencia de estrategias de SEO, puede llevar mucho más tiempo El algoritmo de Google evaluar y priorizar la relevancia de la información.

Este retraso en la difusión de la información crea una brecha importante. Por ejemplo, estudios recientes han aportado pruebas contundentes de que el levantamiento de pesas es más eficaz que el ejercicio cardiovascular para la salud y la forma física en general. El estudio de 2021 de la Universidad de Nueva Gales del Sur es solo un ejemplo de este creciente conjunto de evidencias. Sin embargo, si hoy consultara en Google sobre este tema, los resultados principales probablemente seguirían respaldando el cardio, basándose en estudios obsoletos. Este desfase ilustra cómo los motores de búsqueda tradicionales a menudo no logran seguir el ritmo de los conocimientos de vanguardia compartidos por expertos en plataformas como Spotify y YouTube. Los profesionales de la industria han estado discutiendo estos estudios durante años, pero como su contenido a menudo se comparte a través de medios hablados o comunidades de nicho, no siempre se incluye en artículos ampliamente leídos o en el algoritmo de Google.

Esta constatación conduce a una pregunta crítica: ¿cómo se puede acceder a los conocimientos más actualizados y disruptivos sobre cualquier tema? ¿Cómo se pueden aprovechar los últimos hallazgos para desafiar el pensamiento convencional, explorar diferentes perspectivas y convertirse en un experto con una sola consulta? En este contexto, recurrí a ChatGPT para explorar si podría ofrecer una ventaja sobre Google Search a la hora de agregar y sintetizar los conocimientos más recientes.

ChatGPT, utilizando una amplia gama de Fuentes disponibles públicamente, como páginas web, blogs y transcripciones de YouTube. , ofrece un potencial significativo. Incluso puede procesar contenido de video de plataformas como YouTube y generar resúmenes o respuestas basados en ese material, junto con citas. Sin embargo, tiene limitaciones notables. Por ejemplo, ChatGPT no tiene acceso directo a plataformas como Spotify o LinkedIn, que son fuentes ricas de información crítica en tiempo real en industrias específicas. Si bien puede analizar muestras de texto, audio o video proporcionadas por el usuario, encontrar y proporcionar este contenido sigue siendo un proceso manual.

Estas limitaciones ponen de relieve tanto las fortalezas como las debilidades de ChatGPT. Si bien puede agilizar el proceso de síntesis de información ampliamente disponible, requiere que los usuarios sean proactivos a la hora de seleccionar contenido de plataformas que quedan fuera de su alcance. Esto significa que, para aprovechar al máximo las capacidades de ChatGPT, los usuarios deben complementarlo con sus propios esfuerzos para obtener los materiales más recientes y relevantes.

Validación de búsquedas en línea y fuera de línea

La siguiente fase de mi investigación consistió en validar la nueva función de búsqueda web en línea de ChatGPT y compararla con su funcionalidad fuera de línea, con especial atención a las capacidades de respuesta a preguntas. Este paso fue particularmente desafiante, ya que quería entender cómo el modelo obtiene sus respuestas y si habilitar la búsqueda en línea realmente mejoraba la calidad de las respuestas. Abordé esto solicitando a ChatGPT una serie de consultas diseñadas para probar su capacidad de brindar información precisa y relevante.

Al principio, experimenté con la búsqueda en línea habilitada. Observé un patrón: ChatGPT normalmente se basaba en una sola fuente, a menudo muy bien posicionada en los resultados de búsqueda de Google o proveniente de YouTube, para construir su respuesta. Si bien este enfoque a veces arrojaba información útil, el modelo a menudo proporcionaba fuentes adicionales de calidad cuestionable. Estas fuentes complementarias abordaban parcialmente el tema, pero no ofrecían una respuesta completa o precisa a la consulta. En esencia, la respuesta del modelo con la búsqueda en línea habilitada reflejaba el tipo de respuesta que uno podría encontrar en la primera página de los resultados de búsqueda de Google.

Uno de los ejemplos más llamativos surgió cuando probé ChatGPT con una pregunta de entrevista común: "¿Dónde te ves en cinco años?" Con la búsqueda en línea habilitada, ChatGPT entregó una respuesta proveniente de un página web de alto rango , aconsejando al solicitante que enmarque su respuesta en torno al crecimiento profesional, la progresión a puestos de alto nivel y la dirección de equipos. Si bien este consejo puede parecer correcto, de hecho no es lo que la mayoría de los gerentes de contratación o profesionales de RR.HH. consideran ideal. Tales respuestas pueden parecer demasiado ambiciosas o egocéntricas, en lugar de centradas en el puesto en cuestión. Para investigar más a fondo, reformulé y reiteré mi consulta, lo que llevó a ChatGPT a explicar su razonamiento. A pesar de mis esfuerzos, las respuestas se mantuvieron en gran medida sin cambios, y se citaron fuentes adicionales para reforzar la misma perspectiva.

Frustrado pero curioso, decidí desactivar la búsqueda en línea y explorar cómo el modo sin conexión manejaría la misma pregunta. Para mi sorpresa, la respuesta fue totalmente diferente y mucho más precisa. ChatGPT propuso un enfoque centrado en dominar el puesto al que se postula, sobresalir en él y apoyar al equipo en general. Este consejo se alinea con lo que recomiendan los profesionales de contratación, ya que demuestra un compromiso con el puesto inmediato al tiempo que insinúa un valor a largo plazo. Aún más intrigante, el modelo citó un artículo relevante y específico: “ 10 ejemplos de respuestas a "¿Dónde te ves en 5 años?" 'Éste era exactamente el tipo de consejo matizado y práctico que esperaba descubrir.

El contraste entre ambos modos fue fascinante y revelador. La búsqueda en línea parecía priorizar las fuentes mejor clasificadas, lo que introducía un sesgo potencial y limitaba la profundidad de las respuestas. En cambio, la búsqueda fuera de línea parecía extraer información de un conjunto de datos más amplio, lo que ofrecía perspectivas más equilibradas y alineadas con las expectativas del mundo real. Mi hipótesis es que el modo fuera de línea, que se basa en datos previamente entrenados, sintetiza información de una gama más amplia de fuentes, mientras que el modo en línea limita su enfoque a un puñado de resultados destacados, lo que potencialmente sacrifica la calidad y los matices.

Mejorar las indicaciones para obtener mejores resúmenes y citas

La tercera área de mi investigación se centró en perfeccionar las indicaciones y repetirlas para guiar a ChatGPT a repensar sus respuestas. Esta exploración tenía como objetivo validar si las respuestas del modelo podían evolucionar o mejorar con indicaciones estratégicas. Mi enfoque fue triple: responder preguntas, resumir documentos y asegurar citas precisas.

A través de este proceso, descubrí que ChatGPT se destaca en el razonamiento y el refinamiento iterativo de consultas basadas en búsquedas. Al preguntar por qué el modelo brindaba una respuesta específica y dar seguimiento con indicaciones adicionales, demostró una capacidad para identificar sus limitaciones y reformular sus respuestas en caso de que la respuesta inicial fuera incorrecta. Este diálogo iterativo permitió algunas mejoras, pero el alcance del cambio dependía en gran medida de la complejidad de la consulta.

Para la síntesis de documentos, la pauta estructurada demostró tener resultados aceptables. Al describir explícitamente la estructura deseada y las áreas de enfoque clave, pude guiar a ChatGPT para que entregara mejores resúmenes. Sin embargo, incluso con instrucciones claras, el modelo a menudo tenía dificultades para captar el valor central de un estudio o artículo. En cambio, tendía a destacar temas superficiales o múltiples puntos no relacionados, que no siempre reflejaban los beneficios principales o las ideas clave. Además, ChatGPT con frecuencia no lograba identificar el razonamiento o la evidencia que respaldaban los argumentos de los autores, lo que disminuía la profundidad y la precisión de sus resúmenes.

El aspecto más desafiante de esta investigación fue mejorar la precisión de las citas. A pesar de los constantes ajustes y consultas basadas en el razonamiento, no pude lograr citas correctas o relevantes de manera constante. Incluso cuando el modelo proporcionaba citas, a menudo eran irrelevantes para el contexto de la consulta o provenían de interpretaciones inexactas del documento. Mi hipótesis es que la tendencia de ChatGPT a generar respuestas afirmativas o positivas crea una sesgo inherente , donde el modelo intenta proporcionar una respuesta independientemente de la disponibilidad de información de respaldo concreta.

Este sesgo es particularmente evidente cuando se abordan consultas que no se pueden resolver con un simple "sí" o "no". La naturaleza generativa del modelo a menudo modifica el resultado de una manera que afecta la calidad general de su respuesta. Si bien ChatGPT puede resumir el contenido razonablemente bien, con frecuencia interpreta argumentos matizados a través de una lente binaria, lo que simplifica en exceso la información compleja y puede conducir a una tergiversación.

Resumen

En conclusión, ChatGPT es una herramienta poderosa que puede mejorar significativamente la productividad y ahorrar un tiempo valioso. Sin embargo, su eficacia depende en gran medida de cómo se utilice y con qué fines. Este artículo se ha centrado menos en los sesgos inherentes a la recuperación de información y más en la capacidad del modelo para acceder a los datos más recientes y de alta calidad que superan a los motores de búsqueda tradicionales en capacidad de respuesta y relevancia. A pesar de sus puntos fuertes, ChatGPT aún está lejos de ofrecer resultados que puedan establecer rápidamente la experiencia en una industria. En mi opinión, la principal limitación radica en su falta de acceso a plataformas como LinkedIn y Spotify, que son fuentes fundamentales para obtener perspectivas diversas en tiempo real. Además, la tendencia del modelo a simplificar las respuestas en marcos binarios de sí o no restringe su capacidad para proporcionar información matizada y multidimensional.

ChatGPT se destaca en las tareas de investigación inicial, ya que describe de manera eficaz los pilares de alto nivel de una consulta determinada. Sin embargo, tiene dificultades para extraer y sintetizar resultados clave cuando se le asigna la tarea de procesar información detallada. Al emplear las técnicas analizadas en este artículo para mejorar sus capacidades de lectura, me encontré con varios desafíos y, en última instancia, no logré alcanzar el nivel de precisión deseado. Esta deficiencia se vuelve particularmente problemática cuando los usuarios carecen de experiencia en el dominio, ya que pueden aceptar, sin saberlo, respuestas sesgadas o desactualizadas.

Desde una perspectiva profesional, confío en ChatGPT principalmente para tareas de escritura, donde realmente destaca. La capacidad del modelo para reescribir texto en un formato pulido y profesional es un punto de inflexión, en particular para hablantes no nativos de inglés. Sin embargo, cuando se trata de la síntesis y el análisis de información, mi confianza en el modelo disminuye. Ahora uso ChatGPT principalmente para describir detalles de alto nivel cuando exploro un área nueva, pero prefiero invertir más tiempo en leer y analizar el contenido yo mismo para asegurar la comprensión más precisa y completa. Al reconocer estas fortalezas y limitaciones, los usuarios pueden aprovechar mejor el potencial de ChatGPT y mitigar sus debilidades.