ChatGPT pot escriure codi Python eficient i redactar consultes SQL complexes en segons. Heck, va a brainstorm tota la seva campanya de màrqueting si ho permet. Estem presos a confiar en aquest "geni", els últims models i tot, amb els nostres documents legals i el codi que executa les nostres operacions comercials. Com a analista d'intel·ligència empresarial amb més d'una dècada d'experiència en empreses com Amazon i Microsoft, vaig ser curiós. he vist aquesta tecnologia passar d'una joguina a una eina que molts afirmen que està disposat a substituir-me. Els resultats van revelar el que realment està passant: una gran elecció de disseny, un comerç de costos versus rendiment, que executa tot el sistema. És un problema de transparència, i és una bretxa prou gran per fer que qualsevol professional de dades sigui escèptic. I la part més espantosa? és segurament equivocat. El problema matemàtic que va revelar el truc El meu test era una llista simple de tots els nombres de -3000 a 3000 (a intervals de 100), que va arribar a 61 nombres en total. La llista va ser dissenyada específicament perquè la resposta final, correcta seria un simple "zero". Quan li vaig donar la llista ordenada en ordre ascendent o descendent, va acedir la prova cada vegada. Va reconèixer correctament el patró simple: -3000 cancel·la 3000, -2900 cancel·la 2900, i així successivament. Però què passa quan s'elimina el patró? vaig posar els mateixos nombres en un ordre aleatori. Això va trencar el senzill curtmetratge i va obligar l'IA a calcular de fet. Ha fracassat, i no per una petita marge. El fracàs “performatiu” No es va calcular, es va posar a dels càlculs. actuació És com veure a Noah Wyle o : és un metge convincent, però mai s'ha de confiar en ell per dur a terme un procediment mèdic real sobre vostè. De la mateixa manera, la IA passa pels moviments de càlcul. Respon amb una descomposició "pas a pas" que sembla perfectament lògica, però la resposta final és confiada i fonamentalment equivocada. El pit És Quan el vaig desafiar, es va “verificar” i va obtenir un Resposta equivocada diferent El fracàs va ser més fonamental del que vaig pensar primer. Aquest procés va implicar una extensa detenció de la mà, com demanar-li que trenqués la llista en petits grups de 10 números. Tot i així, va obtenir la matemàtica equivocada en cadascuna d'aquestes sumes simples de 10 integrals. Fins i tot després de donar-li les respostes correctes per a cada grup, encara no va poder afegir correctament els sis subtots del grup. En total, he obtingut 12 respostes diferents incorrectes d'aquesta volta i volta, totes de la mateixa invitació. Això no va ser un fracàs en gestionar una llista "complexa".Va ser un fracàs complet en realitzar l'addició bàsica.Al final, es va disculpar pels seus "errors de càlcul mental", un reconeixement inestimable que estava simulant càlculs en lloc de fer-ho. Aquest disseny de curtmetratge primer és la mateixa raó per la qual la IA ha esquinçat històricament altres tasques senzilles, com comptar lletres en una paraula. Llavors vaig trobar la calculadora oculta Així que, és ChatGPT simplement desesperadament dolent en matemàtiques? no exactament. vaig tornar a la primera resposta equivocada i, en comptes de respondre, vaig fer clic a l'opció "Pensar més". Immediatament va passar això: # Define the list of numbers 
numbers = [ 2100, 800, -1800, 2400, 1000, -2400, 1200, ... ] 
# Calculate the sum 
total_sum = sum(numbers) 
total_sum 
# Result 0
 Va rebre la resposta correcta (zero) en un segon. Aquest és el "gotcha".Tenia la calculadora tot el temps. Què està passant realment aquí? El que estem veient és un comerç de disseny. ChatGPT està optimitzat per a la velocitat primer i la precisió segon en el seu mode predeterminat. El camí ràpid per defecte és únicament de text. Intentà resoldre el problema basant-se en les seves vastes dades d'entrenament, que inclouen patrons aritmètics aprenent. Per a sumes senzilles (com 2+2), això és fiable. Però per a tasques que requereixen una precisió real a través de molts passos, com la nostra llista de 61 números, fracassa. És com una persona que intenta multiplicar nombres grans en el seu cap: entén el concepte de les matemàtiques, però perd ràpidament el rastre dels passos intermedis i "transporta". El camí de pensament (utilitzant la calculadora Python) és perfectament precís, però és costós d'executar. No m'equivoqui, aquest camí "lentu" encara va retornar una resposta en un segon dividit. Però per a OpenAI, el cost del sistema és enorme. En comptes de preveure la següent paraula, l'IA ha de fer molt més treball: ha de girar un interpretador de Python segur, escriure el codi, executar-lo i després llegir la sortida. Aquest és el compromís de cost i rendiment en acció.És el motiu darrere de tot el que acabem de veure. Aquí és on es fa personal Mireu, aquí hi ha el risc real per als professionals de les dades. Assumim que l'IA està analitzant. Mireu com Hauria Ara, sé quina serà la resposta: tot això forma part del nou sistema “dinàmic”.El propi comunicat de premsa d’OpenAI s’enorgulleix d’això, anomenant-lo un “router en temps real” que “decideix ràpidament” si respondre ràpidament o “pensar més” per problemes difícils. Quan li vaig donar un problema de matemàtiques de 61 nombres en ordre aleatori, la seva lògica interna va equivocar la dificultat. Semblava pensar que era una tasca senzilla que podia esfondrar. Això em diu que les heurístiques del router no estan ajustades per atrapar aquest tipus de problema "deceptivament simple". Probablement només està mirant la longitud de la consulta o si hi ha símbols matemàtics. Imagineu-vos demanant a la IA que “verifiqui els subtots d’aquest informe de despeses” que respon amb una confiança, només de text: “Sembla correcte!” En aquell moment, has danyat la teva credibilitat confiant en una eina per a una tasca que no estava dissenyada per gestionar de manera fiable.El fracàs de la IA va ser que va simular l'acte de comprovar en lloc de calcular realment. Quan les matemàtiques realment funcionen Per tant, és important saber quan la IA és fiable per a aquestes tasques. La meva prova va ser dissenyada per colpejar una vulnerabilitat específica. 
 
 
 
 Quan utilitza explícitament el seu interpretador de codi (com el camí "Pensar més temps"). Per a una aritmètica simple, en context (per exemple, "Tinc 3 pomes i compren 2 més, quantes tinc?"). Per a les matemàtiques simbòliques i els conceptes explicatius (per exemple, “Explica el teorema de Pythagoras”). El risc, com mostra la meva prova, és no saber en quin mode es troba la IA. Què hauríeu de fer realment sobre això Això no vol dir "no utilitzeu la IA." Significa que hem d'utilitzar-lo com un professional, no com un principiant. Hem de tractar-lo com el "motor de curtmetratge" que és. Mireu, si no recordeu res més: si us mostra el codi, podeu confiar en el resultat. Utilitzeu “Penseu més” per a qualsevol resposta “recta o equivocada”. Utilitzeu l'eina adequada per a la tasca. Per a una aritmètica senzilla, utilitzeu Excel. Està construït per a això i és infinitament més fiable. Per què fer que un motor d'escriptura creativa faci la feina d'una calculadora? Tanmateix, per generar un flux de treball analític o netejar les dades abans del càlcul, utilitzar l'IA amb la seva execució de codi és una manera poderosa i realment útil per fer el treball. Tot això es redueix a la transparència. L'IA no és defectuosa perquè va fallar en les matemàtiques; és defectuosa perquè amaga l'error darrere d'una màscara de confiança. Té una calculadora perfectament bona a la butxaca del darrere, però està predeterminada per al mètode ràpid i poc fiable sense dir-te quin està utilitzant. Com a professionals de dades, això no és una base que puguem construir. Mireu, fins que aquests sistemes ens diguin com estan obtenint una resposta, la regla és simple: si no està en un bloc de codi, no és una resposta.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

This story contains new, firsthand information uncovered by the writer.

Data Portfolio

Read My Stories

Aquest àudio és produït a l'idioma original de la història!

ChatGPT us il·lumina amb matemàtiques

About Author

COMENTARIS

Etiquetes penjant

AQUEST ARTICLE VA SER PRESENTAT A

Related Stories

Meet Catchpoint: HackerNoon Company of the Week

Why Over-Explaining Your Tech Is Killing Your Content Strategy

Startups of The Year: Meet the Cybersecurity Industry

Generar líders de qualitat ASAP: HackerNoon's Content-Relevant Niche Ads FTW

Meet Catchpoint: HackerNoon Company of the Week

Why Over-Explaining Your Tech Is Killing Your Content Strategy

Startups of The Year: Meet the Cybersecurity Industry

Generar líders de qualitat ASAP: HackerNoon's Content-Relevant Niche Ads FTW

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps