Kakaretšo ya phetho ya Mohlala wa Polelo ye Kgolo (LLM), bohlokwa bja yona, ditlhohlo, le ditlhamo tša mathata a bohlokwa.  Mehlala ye Megolo ya Polelo (LLM) e fetošitše lefapha la Tshepetšo ya Polelo ya Tlhago (NLP) ka go kgontšha mehuta ye mentši ya dikgopelo, go tloga go di-chatbot le baemedi ba AI go ya go khoutu le moloko wa diteng. Le ge go le bjalo, go tsenywa tirišong ga di-LLM maemong a lefase la nnete gantši go lebane le ditlhohlo tše di amanago le go khutša, tšhomišo ya methopo, le go katološwa.  Letotong le la dipolelo tša blog, re tla hlahloba dithekniki tše di fapafapanego tša go dira gore dilo di šome gabotse bakeng sa phetho ya LLM. Re tla itahlela ka maano a go fokotša go khutša, kgato ya maoto ya memori, le ditshenyagalelo tša khomphutha, go tšwa go mekgwa ya go boloka dilo go ya go go akgofiša didirišwa tša go šoma le go lekanyetša boleng bja mohlala.  Mo posong ye, re tla fa kakaretšo ye kopana ya phetho ya LLM, bohlokwa bja yona, le ditlhohlo tšeo di amanago le yona. Re tla hlaloša gape le ditlhamo tša mathata tše bohlokwa tšeo di tlago hlahla nyakišišo ya rena ya dithekniki tša go dira gore dilo di šome gabotse.  Mohlala wa Phetho: Kakaretšo  Phetho ya mohlala e šupa tshepedišo ya go šomiša mohlala wa go ithuta ka motšhene wo o tlwaeditšwego go dira dipolelelopele goba go tšweletša dipoelo tše di theilwego godimo ga datha ye mpsha ya tsenyo. Ka gare ga seemo sa di-LLM, phetho e akaretša go šoma ka tsenyo ya sengwalwa le go tšweletša ditšweletšwa tša sengwalwa tše di kgokaganego le tše di lebanego le diteng.  Mohlala o tlwaetšwa gatee feela goba nako le nako, mola phetho e direga gantši kudu, mohlomongwe ka makga a dikete ka motsotswana tikologong ya tšweletšo.  Go dira gore diphetho di šome gabotse go bohlokwa go netefatša gore di-LLM di ka tsenywa tirišong ka mo go atlegilego ka dikgopelong tša lefase la kgonthe. Maikemišetšo ke go fokotša latency (nako yeo e tšewago go tšweletša karabelo), go fokotša tšhomišo ya methopo (CPU, GPU, memori), le go kaonafatša scalability (bokgoni bja go swara merwalo ye e oketšegago).  Ka mohlala, GPT-3 (ka ditekanyetšo tše dimilione tše dikete tše 175) e nyaka methopo ye bohlokwa ya khomphutha bakeng sa go dira phetho. Di-optimization di ka fokotša dinako tša karabelo go tloga go metsotswana ye 1-2 go ya go dimilisekontshe, go dira gore di-LLM di šome kudu bakeng sa dikgopelo tša tirišano.  Kakaretšo ya Boagi bja Transformer   Sebopego sa transformer, seo se šomišago mekgwa ya tlhokomelo, e fetogile motheo wa bontši bja di-LLM tša maemo a godimo. Sebopego se se akaretša di-encoding tša maemo, go itlhokomela ga dihlogo tše dintši, dinetweke tša ditšhika tša go fepa pele le go tlwaetša legato. Diphetoledi ka kakaretšo di arotšwe ka mehuta ye meraro ye megolo:    (mohlala, BERT) e hlametšwe mešomo ya go swana le go hlopha sengwalwa le temogo ya setheo seo se reeletšwego. Ba fetolela tatelano ya tsenyo go boemedi bja botelele bjo bo sa fetogego - go tsenya. Mehlala ye e na le mahlakore a mabedi, go ra gore e lebelela seemo go tšwa ka bobedi ka go le letshadi le ka go le letona la leswao, seo se ka lebišago kwešišong ye kaone ya sengwalwa sa tsenyo. Mehlala ya encoder fela    (mohlala, GPT-3) e šomišwa bakeng sa mešomo ya go tšweletša sengwalwa. Go tšwa go tatelano ya tsenyo, di tšweletša sengwalwa leswao le tee ka nako, di beakanya godimo ga ditšhupetšo tšeo di tšweleditšwego peleng. Mehlala ye ke ya tsela e tee, go ra gore e lebelela fela seemo go tšwa ka go la nngele la leswao, leo le loketšego mešomo ya go swana le go dira mohlala wa polelo. Ye ke mohlwaela wa LLM wo o tlwaelegilego kudu. Mehlala ya decoder-feela    (mohlala, T5) e be e le mohlwaela wa mathomo wo o tsebagaditšwego pampiring ya “Tlhokomelo ke Sohle seo o se Hlokago.” Mehlala ye e hlametšwe mešomo yeo e nyakago bobedi kwešišo le moloko, go swana le phetolelo le kakaretšo. Ba sebetsa tatelano ya input le encoder ebe hlahisa tatelano dipholo tsa le decoder. Mehlala ya encoder-decoder  Ka ge dikai tša decoder-feela e le mohlwaela wa LLM wo o tlwaelegilego kudu bakeng sa mešomo ya autoregressive, letoto le le tla lebiša tlhokomelo go dithekniki tša go dira gore dilo di šome gabotse ka mo go kgethegilego bakeng sa mohuta wo wa mohlala.  Kakaretšo ya Mokgwa wa Tlhokomelo  Mokgwa wa tlhokomelo ke karolo ya bohlokwa ya mohlwaela wa transformer yeo e dumelelago mohlala go tsepamiša kgopolo dikarolong tše di fapanego tša tatelano ya tsenyo ge o tšweletša ditšweletšwa. E bala palomoka ya boima ya dikemedi tša tsenyo, moo boima bo laolwago ke kamano ya leswao le lengwe le le lengwe la tsenyo go leswao la bjale la ditšweletšwa leo le tšweletšwago. Mokgwa wo o kgontšha mohlala go swara go ithekga magareng ga ditšhupetšo, go sa šetšwe bokgole bja tšona ka tatelano ya tsenyo.   Mokgwa wa tlhokomelo e ka ba o bitšago tšhelete e ntši ka dikhomphutheng, kudukudu bakeng sa tatelano ye telele ya go tsenya, ka ge o nyaka go bala ditirišano ka bobedi magareng ga ditšhupetšo ka moka (   go raragana). A re e bone ka dintlha tše dingwe tša kgato ka kgato: O(n^2)    : Letshwao le lengwe le le lengwe ka tatelano ya tsenyo le emetšwe bjalo ka vector, ka tlwaelo e šomiša dilo tše di tsentšwego. Kemedi ya Tsenyo    : Bakeng sa letshwao le lengwe le le lengwe, diveketoro tše tharo di a balwa: vector ya potšišo (   ), vector ya senotlelo (   ), le vector ya boleng (   ). Diveketoro tše di tšwa go dikemedi tša tsenyo ka go šomiša diphetogo tša mothalo tše di ithutilwego. Potšišo, Senotlelo, Boleng Vectors Q_i K_i V_i    : Dintlha tša tlhokomelo di balwa ka go tšea setšweletšwa sa letheba sa vector ya potšišo ya leswao la bjale ka diveketoro tša senotlelo tša ditšhupetšo ka moka tša peleng ka tatelano ya tsenyo. Se se feletša ka maemo ao a laetšago gore go swanetše go tsepelela gakaakang go leswao le lengwe le le lengwe. Dintlha tša Tlhokomelo    : Dintlha tša tlhokomelo di gona di tlwaetšwa ka go šomiša mošomo wa softmax go hwetša boima bja tlhokomelo, bjo bo akaretšago go 1. Softmax Normalization    : Mafelelong, boemedi bja ditšweletšwa tša leswao la bjale bo balwa bjalo ka palomoka ye e boima ya diveketoro tša boleng, go šomišwa boima bja tlhokomelo. Weighted Sum  Tlhokomelo ya Dihlogo tše Dintši  Tlhokomelo ya dihlogo tše ntši ke katoloso ya mokgwa wa tlhokomelo wo o dumelelago mohlala go hlokomela ka mohlakanelwa tshedimošo go tšwa go dikgoba tše nnyane tše di fapanego tša boemedi maemong a go fapana. Go e na le go ba le sete e tee ya boima bja tlhokomelo, tlhokomelo ya dihlogo tše dintši e bala disete tše dintši tša dintlha tša tlhokomelo ka go bapelana, e nngwe le e nngwe e e-na le diphetogo tša yona tša mothalo tšeo di ithutilwego.  Ditšweletšwa tša dihlogo tše tša tlhokomelo di gona di kgokagantšwe le go fetošwa ka mothalo go tšweletša boemedi bja mafelelo bja ditšweletšwa.  Mokgwa wo o godiša bokgoni bja mohlala bja go swara dikamano tše di fapafapanego le go ithekga ka gare ga datha ya tsenyo, go lebiša go tshepedišo ye e kaonafetšego mešomong ye e fapanego ya NLP.   Kakaretšo ya Tshepetšo ya Dipalopalo tša Diphetho  Ka kwešišo ya di-LLM le mohlwaela wa transformer, a re hlalošeng tshepedišo ya go dira dipalopalo tša phetho. Inference e tšweletša ditšhupetšo tše di latelago tša $ n $ bakeng sa tatelano ya tsenyo ye e filwego gomme e ka arolwa ka dikgato tše pedi:    : Mo kgatong ye, go feta pele go dirwa ka mohlala bakeng sa tatelano ya tsenyo, gomme dikemedi tša senotlelo le tša boleng di balwa bakeng sa leswao le lengwe le le lengwe. Dikemedi tše di bolokwa gore di šomišwe ka morago mo legatong la go hlatholla ka gare ga cache ya KV. Dikemedi tša ditšhupetšo ka moka ka gare ga legato le lengwe le le lengwe di balwa ka go bapelana.  Prefill Stage    : Mo sethaleng sena, ea mohlala generates ditshupo dipholo tsa e mong ka nako ka mokgwa wa auto-regressive. Bakeng sa letshwao le lengwe le le lengwe, mohlala o lata dikemedi tša senotlelo le tša boleng go tšwa go cache ya KV yeo e bolokilwego nakong ya kgato ya go tlatša pele, gammogo le boemedi bja potšišo bja leswao la go tsenya la bjale go bala leswao le le latelago ka tatelano. Decoding Stage  Tshepetšo ye e tšwela pele go fihlela tekanyetšo ya go emiša e fihlelelwa (mohlala, go fihlelela botelele bjo bo phagamego goba go tšweletša leswao la mafelelo a tatelano). Dikemedi tše mpsha tša senotlelo le tša boleng di bolokwa ka gare ga cache ya KV bakeng sa ditšhupetšo tše di latelago. Mo kgatong ye, leano la go tšea mehlala ya leswao le dirišwa gape go laetša leswao le le latelago leo le swanetšego go tšweletša (mohlala, nyakišišo ya megabaru, nyakišišo ya mahlasedi, go tšea mehlala ya godimo-k).   Go raragana ga Dipalopalo tša Diphetho  Bakeng sa hlogo ya botelele bja   , go tsenya bogolo   , le mohlala wo o nago le dihlogo   le magato   , go raragana ga dipalopalo tša phetho go ka sekasekwa ka tsela ye e latelago: L d tša h a n    : Ka prefill sethaleng, re compute boemedi bja mathomo bakeng sa ditšhupetšo ka moka ka input. Go raragana mo ke gore: Prefill Stage  Mo:  Polelo ya mathomo   : E emela dipalopalo tša go fepa pele, tšeo di šomago leswao le lengwe le le lengwe ka go ikemela go ralala le magato. Se se lekanya ka mothalo ka bobedi botelele bja tatelano   le palo ya dillaga   . O(Ln .d^2) L n  Polelo ya bobedi   : E emela ditshenyagalelo tša mokgwa wa tlhokomelo. Mo, letshwao le lengwe le le lengwe le dirišana le leswao le lengwe le le lengwe, go feleletša ka go raragana ga   bakeng sa go bala tlhokomelo ka legato. Go raragana go gola ka quadratically ka botelele bja tatelano, yeo e ka bago bottleneck ye kgolo ya tatelano ye telele. O(L^2. nh d) L^2    : The decoding sethaleng ke autoregressive karolo, rarahaneng ke: Decoding Stage  Mo:    : Bakeng sa mong le e mong generated letšoao, re phetha fepa-pele tshebetso ka mong le e mong lera. Ka ge e dirwa bakeng sa leswao le tee ka nako (e sego tatelano ka moka), go raragana ka leswao ke:   . Feed-pele dipalo O(nd^2)    : Letshwao le lengwe le le lengwe le lefsa le dirišana le tatelano ye e lego gona ka tlhokomelo, e šomiša dipara tša senotlelo-boleng tšeo di dirilwego khomphutha peleng. Bakeng sa letshwao le lengwe le le lengwe leo le tšweleditšwego, go bala mo ga tlhokomelo go lekana le botelele bja tatelano L , go fa:  Tlhokomelo ya go bala ka go boloka O(Lnd .h)  Bjalo ka ge re ka bona, go raragana ga dipalopalo tša phetho go tutuetšwa ke botelele bja tatelano ya go tsenya (   ), palo ya magato (   ), palo ya dihlogo tša tlhokomelo (   ), le bogolo bja go tsenya (   ). Go raragana mo go ka fetoga bottleneck ka dikgopelo tša nako ya nnete, kudukudu ge o šomana le tatelano ye telele ya tsenyo le/goba dika tše kgolo. L n h d  Bohlokwa bja KV Caching  KV caching ke thekeniki ya bohlokwa optimization bakeng sa LLM inference, haholo-holo ka decoding sethaleng. Ka go boloka dikemedi tša senotlelo le tša boleng tšeo di balwago nakong ya kgato ya go tlatša pele, mohlala o ka efoga dipalopalo tše di sa nyakegego bakeng sa ditšhupetšo tšeo di šomišitšwego peleng.  Se se fokotša kudu ditshenyagalelo tša khomphutha le go khutša nakong ya go dira phetho, ka ge mohlala o hloka fela go bala dintlha tša tlhokomelo ya leswao le lefsa leo le tšweletšwago, go e na le go bala gape dikemedi tša senotlelo le tša boleng bja ditšhupetšo ka moka ka tatelano ya tsenyo.  Se se dira gore ditshenyagalelo e be tša mothalo mabapi le palo ya ditšhupetšo tše di tšweleditšwego, go e na le go ba tša quadratic mabapi le botelele bja tsenyo.  Le ge go le bjalo, go boloka ka KV go nyaka memori ya tlaleletšo go boloka dikemedi tša senotlelo le tša boleng, tšeo e ka bago kgwebišano ka ditikologong tše di thibetšwego ke methopo.  Dipalopalo tša Mohlala wa Mohlala  A re ke re bale ditlhoko memoring ya bakeng sa LLaMA 7B mohlala.  Peakanyo ya Mohlala  Ditekanyetšo:   bilione 7  Bogolo bja go tsenya (   ): 4096 d_model  Palo ya dikarolo:  32  Palo ya dihlogo tša tlhokomelo (   ):  d_head 32  Tekanyo ya hlooho (   ):   (4096/32) . d_head 128  Max tatelano bolelele (L):  2048  Mofuta wa data: float16 (2 dibaete ka elemente) .  Palo ya Memory    : Bakeng sa legato le lengwe le le lengwe, re swanetše go boloka bobedi dinotlelo le boleng Per-Layer Cache Size  Bogolo bja senotlelo ka leswao =   = 128 × 32 =    d_head × num_heads 4096 dielemente  Bogolo bja boleng ka leswao =   = 128 × 32 = 4096  d_head × num_heads dielemente  Palomoka ya dielemente ka leswao ka legato = 4096 + 4096 =    8192 dielemente    : Bakeng sa tatelano e feletseng ea bolelele L =    Memory Ka Llaga Bakeng sa Tatelano e Feletseng 2048 ditshupo  Dielemente ka legato = L × 8192 = 2048 × 8192 =    16,777,216 dielemente  Memory ka lera (ka dibaete) = 16,777,216 × 2 = 33,554,432 dibaete =    33.55 MB    : Kaha re na le $ 32 $ dikarolo Palo yohle ya KV Cache Memory Bakeng sa Dikarolo Tsohle  Palo yohle ya memori = 33,55 × 32 MB =  1073.6 MB  Palomoka ya Senyakwa sa Memory  Boima ba mohlala: 7 bilione ditekanyetos × 2 bytes / paramethara =  14 GB  Memory ya Cache ya KV:  1073.6 MB  Tse ling ya memori ka holimo (mohlala, activations, diphetho mahareng):  ~ 1-2 GB  Ka go realo, Palomoka ya tlhokego ya memori: 14 GB (boima bja mohlala) + 1-2 GB (ka godimo ga hlogo) + 1073.6 MB (KV cache) =   . Palo ye e re fa tekanyetšo ya dinyakwa tša memori ya mohlala wa LLaMA 7B nakong ya phetho. LLaMA 7B e batlang e le e nyenyane ha e bapisoa le dikai joaloka GPT-3 (175 limilione tse likete tse ditekanyetos), e neng e tla hloka haholo ho feta memoring ya bakeng sa bobeli ea mohlala boima ba 'mele le KV cache. 15-16 GB  Gape, ge e lekanywa go $ m $ badiriši ba nako e tee, dinyakwa tša methopo e be e tla ba $ m $ makga a godimo. Ka go realo, dithekniki tša go dira gore dilo di šome gabotse di bohlokwa kudu bakeng sa go tsenya dika tše kgolo tikologong yeo e nago le methopo yeo e thibetšwego.  Metrics bakeng sa go Lekola Inference Optimization  Ge go hlahlobja go šoma gabotse ga dithekniki tša go dira gore diphetho di šome gabotse, dimetriki tše mmalwa di ka elwa hloko:    : Nako yeo e tšewago go phethagatša kgato ya go tlatša pele ya phetho, yeo gape e bitšwago nako-go-pele-letshwao (TTFT) latency. Metric ye e bohlokwa kudu go dikgopelo tša tirišano moo badiriši ba lebeletšego dikarabo tša ka pela. Mabaka a go swana le bogolo bja mohlala, botelele bja tsenyo, le bokgoni bja didirišwa tša go šoma di ka tutuetša metric ye. Pre-fill Latency    : Nako yeo e tšewago go tšweletša leswao le lengwe le le lengwe le le latelago ka morago ga kgato ya go tlatša pele, yeo gape e bitšwago Inter-Token Latency (ITL). Metric ye e bohlokwa go ela karabelo ya mohlala nakong ya moloko wa sengwalwa. Bakeng sa dikgopelo tša go swana le di-chatbot, ITL ya tlase e botse, eupša ka lebelo ga se ka mehla e lego kaone, ka ge ditšhupetšo tše 6-8 ka motsotswana gantši di lekane bakeng sa tirišano ya batho. Mabaka a amago a akaretša bogolo bja cache ya KV, leano la go tšea mehlala, le didirišwa tša go šoma ka thata. Decoding Latency    : Palomoka ya nako ye e tšerwego go tšwa go go amogela tsenyo go ya go tšweletša ditšweletšwa tša mafelelo. Metric ye e bohlokwa bakeng sa go kwešiša tshepedišo ya kakaretšo ya tshepedišo ya go dira phetho gomme e tutuetšwa ke go tlatša pele, go hlatholla, le di-latencies tše dingwe tša dikarolo (mohlala, go arola JSON). Mabaka a amago a akaretša bogolo bja mohlala, botelele bja tsenyo, le didirišwa tša go šoma, gammogo le bokgoni bja phaephe ka moka. End-to-End Latency    : Palo ya dikgopelo tša phetho tšeo di ka šongwago ka motsotswana. Metric ye e bohlokwa kudu go sekaseka go lekalekanywa ga mohlala ka ditikologong tša tšweletšo. Mabaka a bjalo ka bogolo bja mohlala, didirišwa tša go šoma ka thata, le dithekniki tša go dira gore dilo di šome gabotse di ka tutuetša QPS. Ka mohlala, ge e ba 15 QPS e hlankelwa bakeng sa P90 latency ka 1 GPU, gona go hlankela 300 QPS, 20 GPUs e be e tla nyakega. Mabaka a amago a akaretša methopo ya didirišwa tša go šoma ka thata, go lekalekanya mošomo le dithekniki tša go dira gore dilo di šome gabotse. Palomoka ya Sekgahla sa Kgopelo aka QPS (Dipotšišo ka Motsotswana)    : Palo ya ditiro tša ntlha ya go phaphamala tšeo mohlala o ka di dirago ka motsotswana. Metric ye e na le mohola go kwešiša ditshenyagalelo tša khomphutha tša go dira phetho gomme e ka šomišwa go bapetša bokgoni bja dika tše di fapanego le dithekniki tša go dira gore dilo di šome gabotse. Mabaka a amago a akaretša go aga mohlala, didirišwa tša go šoma ka thata le dithekniki tša go dira gore dilo di šome gabotse. FLOPS (ditshepetšo tša ntlha ya go phaphamala ka motsotswana)  Mehuta ya Dithekniki tša go Lokiša Diphetho  Re tla akaretša ka moka ga tše optimization ka nakong e tlago poso ya letoto.    : Go fetola mohlala wa mohlwaela go kaonafatša bokgoni bja go dira phetho, go swana le go fokotša palo ya dillaga goba dihlogo tša tlhokomelo, goba go šomiša mekgwa ya tlhokomelo ye e šomago gabotse kudu (mohlala, tlhokomelo ye e sego gona). Model Architecture Optimization    : Optimizing motheo hardware le software mananeokgoparara, tse kang ho sebelisa hardware khethehileng (mohlala, TPUs, GPUs) kapa optimizing software mokgobo (mohlala, ho sebelisa bokgoni bokgobapuku le ditlhako). E ka arolwa ka: System Optimization    : Go laola tšhomišo ya memori ka bokgoni go fokotša tšhelete ya godimo le go kaonafatša tshepedišo. Taolo ya memori    : Leveraging parallelism le optimizing dipalo go fokotša latency. Efficient Computation    : Go šoma dikgopelo tše ntši ka nako e tee go kaonafatša throughput. Batching    : Go rulaganya mešomo ka bokgoni go godiša tšhomišo ya methopo. Go rulaganya    : Dithekniki tša go swana le quantization, poma, le distillation di ka šomišwa go fokotša bogolo bja mohlala le go kaonafatša lebelo la phetho ntle le go dira sehlabelo kudu ka tshepedišo. Model Compressions    : Go kaonafatša dialgoritmo tšeo di šomišwago go dira phetho, go swana le go šomiša maano a go tšea mehlala a šomago gabotse kudu goba go kaonafatša mokgwa wa tlhokomelo. Mohlala, go hlatholla ka go fopholetšwa, mo go dumelelago mohlala go tšweletša ditšhupetšo tše ntši ka go bapelana, go ka fokotša kudu go khutša ga go hlatholla.  Algorithm Optimization  Mafetšo  Mo posong ye, re file kakaretšo ya phetho ya LLM, bohlokwa bja yona, le ditlhohlo tšeo di amanago le yona. Re ile ra hlaloša gape le ditlhamo tša mathata tše bohlokwa tšeo di tlago hlahla go nyakišiša ga rena ga dithekniki tša go dira gore dilo di šome gabotse ka diposong tše di latelago.  Ka go kwešiša go raragana ga phetho ya LLM le mabaka ao a tutuetšago tshepedišo ya yona, re ka lemoga gakaone bohlokwa bja dithekniki tša go dira gore di-LLM di šome kudu bakeng sa dikgopelo tša lefase la kgonthe. Ka poso e latelago, re tla delve ka mo go tseneletšego ka dithekniki tše itšego tša go dira gore dilo di šome gabotse le diphethagatšo tša tšona, re lebišitše tlhokomelo go fokotšeng latency le tšhomišo ya methopo mola re hlokomela tshepedišo ya mohlala.  Ditšhupetšo   Tlhokomelo ke sohle seo o se hlokago.   Inference Optimization ya Mehlala ya Motheo ka AI Accelerators

Read My Stories

Machine Learning Engineer at Discord

Modumo wo o tšweleditšwe ka polelo ya mathomo ya kanegelo!

Primer on Large Language Model (LLM) Inference Optimizations: 1. Tlhamo ya Lemorago le Mathata

About Author

DITLHAHLOBO

HANG TAGS YA GO FEGA

ARTICLE YE E HLAHILWE KA

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps