Аутори:  (1) Јианхуи Панг, са Универзитета у Макау, а посао је обављен када су Јианхуи Панг и Фангхуа Ие били на стажирању у Тенцент АИ Лаб (нлп2цт.пангјх3@гмаил.цом);  (2) Фангхуа Ие, Универзитетски колеџ у Лондону, а посао је завршен када су Јианхуи Панг и Фангхуа Ие били на стажирању у Тенцент АИ Лаб (фангхуа.ие.19@уцл.ац.ук);  (3) Дерек Ф. Вонг, Универзитет у Макау;  (4) Лонгиуе Ванг, Тенцент АИ Лаб, и одговарајући аутор.  Табела веза   Апстракт и 1 Увод   2 Повезани рад  3 модела великих језика заснована на сидру   3.1 Позадина   3.2 Мреже самопажње засноване на сидрима   3.3 Закључивање засновано на сидру   4 Експерименти и 4.1 Наша имплементација   4.2 Подаци и процедура обуке   4.3 Евалуација   5 Ресултс   6 Анализа   7 Закључак, ограничења, етичка изјава и референце   Више експерименталних резултата   Б Подешавање података  Абстрацт  Модели великих језика (ЛЛМ) углавном користе трансформаторске архитектуре само за декодере, што захтева задржавање информација о кључевима/вредностима за историјске токене да би се обезбедиле контекстуалне информације и избегло сувишно израчунавање. Међутим, значајна величина и обим параметара ових ЛЛМ-а захтевају огромну ГПУ меморију. Овај захтев за меморијом се повећава са дужином улазног текста, што доводи до хитне потребе за ефикаснијим методама складиштења и обраде информација. Ова студија представља ЛЛМ засноване на сидру (АнЛЛМ), који користе иновативну мрежу самопажње засновану на сидру (АнСАН) и такође стратегију закључивања засновану на сидру. Овај приступ омогућава ЛЛМ-овима да компримују информације о секвенци у сидрени токен, смањујући кеш кључева/вредности и повећавајући ефикасност закључивања. Експерименти на мерилима за одговоре на питања откривају да АнЛЛМ-ови одржавају сличне нивое тачности док постижу до 99% смањења кеша кључева/вредности и до 3,5 пута брже закључивање. Упркос мањем компромису у прецизности, значајна побољшања АнЛЛМ-а који користе АнСАН технику у коришћењу ресурса и рачунарској ефикасности наглашавају њихов потенцијал за практичне ЛЛМ апликације.  1 Увод  Модели великих језика (ЛЛМ) првенствено користе трансформаторске архитектуре само за декодер, које захтевају кеширање информација о кључевима/вредностима за историјске токене током ауто-регресивног закључивања да би се обезбедиле контекстуалне информације и избегло сувишно израчунавање (Веи ет ал., 2022; Тоуврон ет ал. , 2023а, ОпенАИ, 2023.; Међутим, због њихове огромне величине и великог броја параметара, за учитавање је потребна значајна количина ГПУ меморије. Штавише, као дужина   Уносног текста расте, складиштење кешова кључева/вредности захтева све више ГПУ меморије, што се види у учењу у контексту, сложеним упутствима и проширеним разговорима (Донг ет ал., 2022; Јианг ет ал., 2023; Ванг ет ал. , 2023), што није погодно за сценарије са ограниченим рачунарским ресурсима. Алтернативни приступ подразумева поновно израчунавање ових обимних инпута, што, међутим, резултира повећаним временским трошковима. Стога, ова студија има за циљ да  смањи потражњу за складиштењем кешова кључева/вредности током фазе закључивања ЛЛМ-а, побољшавајући ефикасност меморије и, последично, убрзавајући и брзину закључивања.  У недавној студији, Ванг ет ал. (2023) показују да речи ознаке у демонстрацијама префикса могу деловати као сидра током закључивања, обезбеђујући ефикасан приступ компресији контекста за побољшање ефикасности закључивања у учењу у контексту. Међутим, у практичним применама, сви уноси префикса или демонстрације не садрже речи за означавање погодне за компримовање информација, што чини ослањање на речи ознака мање универзалним приступом за компресију текстуалних информација. Поред тога, Панг ет ал. (2024) примећују да ЛЛМ обично обраћају пажњу на само неколико, али доследних, префиксних токена током закључивања. Међутим, специфични токени који се користе често су непредвидиви и неконтролисани. Ова запажања покрећу интригантно питање: да ли текстови на природном језику садрже тачке сидришта које компримују укупне семантичке информације секвенци? У том контексту, претходне студије о уграђивању секвенци показале су да скривено стање посебног токена у моделима неуронске мреже може да инкапсулира семантичке информације (Баудиш ет ал., 2016; Девлин ет ал., 2018). Штавише, савремени ЛЛМ обично користе механизам узрочне самопажње током фазе обуке и закључивања (Тоуврон ет ал., 2023а,б), пратећи сваки претходни токен. Ово сугерише да би коначни токен у низу могао бити боље прилагођен да служи као природна тачка компресије информација у поређењу са другим токенима, пошто не могу посматрати будуће токене. Стога је методички приступ који идентификује и користи сидрене токене секвенце на поуздан и контролисан начин од суштинског значаја за компримовање информација о секвенци, ефективно смањење кеш меморија кључева/вредности и побољшање ефикасности закључивања за ЛЛМ.  У том циљу, предлажемо нове     језика   језика (АнЛЛМ) засноване на   -у, опремљене иновативном мрежом самопажње заснованом на сидру (АнСАН) и стратегијом закључивања заснованом на сидру. АнСАН је дизајниран да примора моделе да компримују информације о секвенци у сидрени токен (последњи токен у нашој имплементацији) током процеса обуке, уз помоћ маски пажње засноване на сидрима. Током закључивања, стратегија закључивања заснована на сидрењу задржава кеш кључева/вредности сидрених токена, који су агрегирали читаве информације о секвенци, и одбацује оне несидрених токена, чиме се смањују захтеви за меморијом. Конкретно, маске пажње засноване на сидрењу за АнСАН служе два циља: 1) да обезбеде да сидрени токени посећују искључиво токене унутар исте секвенце, спречавајући пажњу на друге секвенце, и 2) да усмере пажњу несидрених токена на претходна сидра секвенце , блокирајући друге несидрене токене из претходних секвенци. Важно је напоменути да техника пажње засноване на сидру има сличности са принципима који леже у основи оскудне пажње (Цхилд ет ал., 2019). Међутим, за разлику од постојећег истраживања које посвећује оскудну пажњу да продужи дужину контекста ЛЛМ-а (Цхен ет ал., 2023; Ратнер ет ал., 2023), наш метод се фокусира на континуирано претходно обучавање модела за компримовање информација о секвенци у сидро токен. моделе великог великог Анцхор  Овај рад је   под лиценцом ЦЦ БИ 4.0 ДЕЕД. доступан на аркив

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Anchoring.tech

Anchoring provides a steady start, grounding decisions and perspectives in clarity and confidence.

anchoring's blog

Овај аудио је произведен на оригиналном језику приче!

Велики језички модели засновани на сидру

About Author

КОМЕНТАРИ

ХАНГ ТАГС

ОВАЈ ЧЛАНАК ЈЕ ПРЕДСТАВЉЕН У

Related Stories

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Sravana Kumar Reddy Yeruva’s Fusion Transformation Sets a New Standard in ERP Excellence

Building a website with React and Bulma

Scaling Web Testing with Automation: Srikanth Srinivas’s Digital Strategy Breakthrough

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Sravana Kumar Reddy Yeruva’s Fusion Transformation Sets a New Standard in ERP Excellence

Building a website with React and Bulma

Scaling Web Testing with Automation: Srikanth Srinivas’s Digital Strategy Breakthrough

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps