Grote taalmodelle kry nie net dinge verkeerd nie - hulle bied foute as feite aan. Selfs met nuwe vrystellings het die probleem nie verdwyn nie. GPT-5 se geaarde foutgraad sit op 1.4% - laer as GPT-4 se 1.8%, en slegs 0.09% beter as GPT-4o se 1.49%. LLM Hallusinasies Leaderboard Dit is 'n klein verbetering, maar die probleem bly. Die publiek het reeds gesien hoe sleg dit kan kry. Midde van 2024, Google se AI Overviews het mense gevra om rots te eet vir minerale - Google het later die probleem erken. Begin 2023 het Google se Bard-demo 'n James Webb Space Telescope feit mislei. Voeg die "glue-on-pizza" tip toe, en die 2023 Avianca-saak waar twee prokureurs gesanctioneer is nadat hulle ses gemaakte gevalle van ChatGPT genoem het. Dit mag lyk soos grappige kopte, maar dit is anders wanneer mense eintlik op hierdie gereedskap vertrou. klein foute is net vervelend, maar in gebiede soos gesondheid, reg of terapie, kan hulle gevaarlik wees. What causes hallucinations in LLMs Wat veroorsaak hallusinasies in LLMs LLMs, insluitend ChatGPT, word opgelei om die volgende woord in 'n volgorde te voorspel, nie om feite te verifieer nie. Hulle het geen ingeboude databasis van gegarandeerde waarhede nie; In plaas daarvan genereer hulle teks deur patrone uit opleiding data te sinteseer. Opleiding data kom van reuse web skrape - blogs, forums, wikis. Vandag is baie van die web is AI-geskryf, so modelle begin leer uit hul eie outputs. foute word herhaal en versterk. No more free data Geen gratis data meer nie By die middel van 2023 het gebruikers gegenereerde inhoud (UGC) platforms begin om toegang te blokkeer. Reddit beperk sy gratis API; subreddits het donker geword. Twitter / X het gratis API-toegang beëindig. LinkedIn het op bulk skraaping aangetref. Stack Overflow het gesê dit sal oplaai vir opleiding toegang tot sy Q & A. Quora het meer inhoud in sy Poe-program. Meta het tariefbeperkings en wettige waarskuwings op Facebook en Instagram aangescher. Groot AI-maatskappye het na betaalde lisensies gegaan, en openbare modelle is oorbly met ouer, verwarde webdata - wat dit meer waarskynlik maak dat hulle op hul eie AI-geskrewe teks sal oefen. Paying for access Betaal vir toegang OpenAI het eers 'n ooreenkoms met die Associated Press in 2023 onderteken, gevolg deur meerjarige ooreenkomste met Axel Springer en News Corp. By 2025, het meer as twintig uitgewers - insluitend The Guardian en The Washington Post - bygevoeg. Die AI-opleiding-data-mark self word gewaardeer op ongeveer $ 3,2B in 2024 en word verwag om te groei tot $ 16,3B by 2034. Where the clean data lives Waar die skoon data woon Gelisensieerde en skoongemaakte data vorm sektore-spesifieke reservoirs: 
 
 
 
 
 
 News & publishing (2023–25): AP, Axel Springer, News Corp, Dotdash Meredith; plus The Guardian, The Washington Post, Vox Media, en The Atlantic (mengsel van arkiewe toegang en in-produk koppeling / toekenning). Academic & Cultural (2024–25): Harvard se openbare domein boeke; MIT se werk op data oorsprong; oop repositories soos arXiv en Semantic Scholar. Medisyne & betroubaarheid (2025): navorsingsrepositories soos ScaleMAI (gekoorde mediese beeldvorming) en DR-AIR (AI betroubaarheiddatasets); PubMed-abstracts is oop, terwyl baie volledige tekste beperk bly. Kommerciële en ondernemings (2023-25): BloombergGPT opgelei op gepatenteerde finansiële data; Thomson Reuters-inhoud beskikbaar via integrasies; groot data / anotasie verskaffers (Appen, Skala AI); plus sensor / industriële telemetrie wat binne maatskappye gebruik word. Spesialiseerde (2025): groot beleggings om gelisensieerde opleiding data en infrastruktuur te verseker (bv, Meta-Skala AI); "Fairly Trained" sertifisering vir toestemminggebaseerde opleiding. Die New York Times het OpenAI en Microsoft in Desember 2023 aangekla, wat duidelik maak dat dit nie sy arkiewe sal lisenseer nie. Die Financial Times het 'n ooreenkoms met OpenAI in April 2024 onderteken. Elsevier en Wiley hou geslote wetenskaplike arkiewe. Bloomberg het sy finansiële data eienaar gehou. skoon data bestaan - maar agter kontrakte. Paid, specialised data is next Betaal, spesialiseerde data is volgende Ons is waarskynlik op pad na 'n splitsing: die oop web is goed vir eenvoudige take soos vinnig soek, skryf teks, of antwoord op alledaagse vrae; ernstige navorsing, analise, en AI bou beweeg na skoon reservoirs van data - geverifieer, gefilter, geverifieer - dikwels agter aanmeldings. groot maatskappye sal dit dryf, aangesien slegte data hulle vertraag. Verwag meer uitgawes op data skoonmaak, etikettering, en firewalls wat betroubare data van die rommel skei. Die opstel benodig rolgebaseerde toegang ingebou - HR sien HR, finansies sien finansies, wetlike sien reg. Rolgebaseerde toegang beteken dat die model slegs trek uit wat die persoon verwyder word om te sien. Die meeste chatbots doen dit nie vandag nie.As daardie gaping bly, sal die span wat rolbewus soek en geslote kennisbase bou, vertroue verdien - en die kontrakte. What to do with only public AI access Wat om te doen met slegs openbare AI-toegang Prompt ingenieurswese is dikwels die eerste lyn van verdediging teen gemaak antwoorde - dit is goedkoop en onmiddellik. As die prompt onduidelik is, sal die antwoord onduidelik wees. Bedryf beoefenaars beklemtoon dieselfde punt: sonder genoeg konteks, is die output waarskynlik swak, en die model is meer geneig om te hallucineer. Duidelike reëls en skoon bronne hou antwoorde op pad. Beste praktyke sluit in: 
 
 
 
 
 
 
 
 
 
 
 
 Bepaal duidelike reëls in die voorkant. Inclusief: wees versigtig; as jy nie seker is nie, sê "onbekend"; gebruik slegs die bronne hieronder; moenie aanhalings uitvind nie. Ground die model. As die navigeer is uitgeschakeld, plak die sleutel passages jouself en merk hulle met duidelike afgrense (bv <data>...</data>), en instruer dan die model om slegs van daardie teks te antwoord. Staat doel, gehoor, lengte, en enige tyd venster (bv, verkies bronne van die laaste 12 maande vir tyd sensitiewe onderwerpe). Verbied ekstra eise. Verbied verklarings wat nie ondersteun word deur die gelewerde materiaal nie. Verlang ontvangs (veilige). Na eise, vereis inline aanhalings slegs van die voorgestelde bronne met die publikasie datum en 'n kort ondersteunende aanhaling (≤25 woorde). Kies presies / analitiese oor kreatiewe; laer temperatuur / top-p waar moontlik. Begin met 'n oorsig of kort ontwerp; verfyn met gefokusde opvolgings. Verifiseer name, nommers, datums, aanbiedings; verwyder enige lyn sonder 'n werklike bron. Gesondheids-, regs- of geldverklarings moet bevestig word op 'n amptelike webwerf of 'n tweede betroubare bron voordat jy optree. Verander effektiewe oproepe in herbruikbare sjablone; pas wanneer herhalende foute verskyn. Hou 'n klein stel betroubare skakels/tekstuele uittreksels gereed om antwoorde te anker. The bottom line Die onderliggende lyn By 2025 is die verdeeldheid duidelik: 
 
 
 Openbare AI: vinnig, toeganklik, opgelei op breë internet skrape. Goed vir toevallige gebruik, onbetroubaar vir ooreenstemming. Enterprise AI: Betaal, gekurieer en geauditeer. Gebou op gelisensieerde reservoirs, gekombineer met bestuur en logboeke. Beide sal voortgaan. Die verskil is dat een prioriteit gee aan spoed, die ander verantwoordelikheid. Glue in pizza-sous maak 'n grappige kopie wanneer dit kom uit 'n verbruikerssoek. In 'n hospitaalkaarte of 'n hofkamerdossier is dit rampspoedig.

Follow on LinKedIn

Read My Stories

Hierdie oudio word in die oorspronklike taal van die storie vervaardig!

Die ergste beste vriend: Gratis Chatbots versus skoon data reservoirs

About Author

KOMMENTAAR

HANG TAGS

HIERDIE ARTIKEL IS AANGEBIED IN

Related Stories

Top Actionable Tips to Grow a Community: More Tips to Monetize

"What If ... I didn't Do It?"

Thrilled to be Recognized as Startup of the Year in New York City

Startups of The Year: Meet the Business Industry

Top Actionable Tips to Grow a Community: More Tips to Monetize

"What If ... I didn't Do It?"

Thrilled to be Recognized as Startup of the Year in New York City

Startups of The Year: Meet the Business Industry

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps