Er jeg den eneste, der ikke vidste, at AI ikke kan finde ud af tid? jeg mener, hver dag, vi hører alt om generativ AI "revolutionere" alt og erstatte alle. ganske geni små ting. Så forestil dig min chok, da jeg lærte, at multimodale AI-modeller ikke kan fortælle tid. For at begynde med, For nylig blev det konstateret, at multimodale store sprogmodeller (MLLMs) som ChatGPT-4o, GPT-o1, Gemini-2.0 og Claude 3.5-Sonnet løb ind i nøjagtighedsproblemer, mens de læste et ur ansigt. Forskere ved University of Edinburgh Tingene blev værre, da de blev testet med ure designet med romerske tal, en farvet dial eller en dekorativ timehånd.Nogle af urene havde også en hånd, der sporede sekunder ud over minutter og timer. Denne opdagelse blev gjort under en test af en lineup af top MLLMs i dag, og at tro, at Gemini-2.0 udførte "bedst" med kun 22,8% nøjagtighed lyder sjovt. Ifølge forskerne kæmpede disse modeller med alt.Hvilken hånd er timehånden?Hvilken retning peger den?Hvilken vinkel svarer til hvilken tid?Hvilket nummer er det? Disse er bogstaveligt talt grundlæggende færdigheder for mennesker.De fleste seks eller syv-årige kan allerede fortælle tid.Men for disse modeller kan det også være den mest komplicerede astrofysik. Efter urfiaskoen testede forskerne robotterne på årlige kalendere. Du ved, de med alle tolv måneder på én side. GPT-o1 udførte "bedst" her, når 80 procent nøjagtighed. Men det betyder stadig, at en ud af fem svar var forkert, herunder enkle spørgsmål som "Hvilken dag i ugen er nytår? Jeg ville aldrig have troet, at AI-modeller nogensinde kunne blive forvirret af et fælles kalenderoplæg. Men så er det ikke meget chokerende at finde ud af. Det hele koger stadig ned til en langvarig kløft i AI-udvikling. MLLM'er genkender kun mønstre, de allerede har set, og ure, kalendere eller noget, der kræver rumlig begrundelse, passer ikke ind i det. Mennesker kan se på et forvrænget Dali-ur og stadig finde ud af omtrent hvilken tid det er beregnet til at vise. Hvorfor det betyder noget Det er nemt (næsten tilfredsstillende) at grine på ChatGPT, Gemini, og disse modeller for at fejle en opgave, du lærte, da du var lille. En opgave, du gør med så meget lethed. Men så meget som jeg bare vil grine af det, er der en mere alvorlig vinkel til dette. Disse samme MLLM'er bliver skubbet ind i autonom køreopfattelse, medicinsk billeddannelse, robotik og tilgængelighedsværktøjer. Nu er urlæsningsfejl sjove. Men medicinske fejl? navigationsfejl? Selv planlægningsfejl? Ikke så sjove. Hvis en model ikke kan læse et ur pålideligt, er det for risikabelt at stole blindt på det i høje indsatsmiljøer et spil for mig. Det viser bare, hvor langt disse systemer stadig er fra reel, jordet intelligens. Og hvor meget menneskelig sund fornuft og nuance stadig betyder noget. Jeg forsøger så hårdt at styre væk fra at tage denne chance for at lave en menneskelig vs. AI-sag. Jeg er sikker på ikke at bruge det til at prædike "Hvorfor jeg hader AI og du bør også." Men der er et problem, der skal undersøges. Som ledende forfatter til undersøgelsen, Rohit Saxena, Disse svagheder "skal løses, hvis AI-systemer skal integreres med succes i tidssensitive real-world-applikationer." Sæt det

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Denne lyd er produceret på historiens originalsprog!

Før AI tager vores job, er det bedre at lære det at fortælle tid

About Author

KOMMENTARER

HÆNG TAGS

DENNE ARTIKEL BLEV PRÆsenterET I

Related Stories

Meet Google Cloud: HackerNoon Company of the Week

Meet MinIO: The HackerNoon Company of the Week

Meet HubSpot: HackerNoon Company of the Week

Meet Stellar: HackerNoon Company of the Week

Meet Google Cloud: HackerNoon Company of the Week

Meet MinIO: The HackerNoon Company of the Week

Meet HubSpot: HackerNoon Company of the Week

Meet Stellar: HackerNoon Company of the Week

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps