Baloldali asztal Abstract and 1. Introduction Absztrakt és 1. Bevezetés 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Kapcsolódó munka Következtetés, elismerések és hivatkozások Supplementary Material A. További végrehajtási részletek A meglévő hardverekkel való kompatibilitás C. Latency a gyakorlati eszközökön D. A DETR alkalmazása 3. Módszer Ebben a szakaszban rövid leírást adunk az egységes kvantizátorról (3.1. szakasz).Ezután részletesen bemutatjuk a megközelítésünket, beleértve az IGQ-ViT-t (3.2. szakasz) és a csoportméret-elosztási technikát (3.3. szakasz). 4.1 Egységes kvantummérő Figyelembe véve az x lebegő pont értéket és a b kvantizációs bitszélességet, az egységes kvantizátorok a bemeneteket egy véges értéksorozatba diszkretizálják, ugyanolyan távolságokkal.Ebben a célban normalizálja az x lebegő pont értéket egy s skálaparaméter használatával, a normalizált értéket z nulla pontgal kalibrálja, és a kimenetet a következőképpen vágja le: ahol a skálaparaméter s és a z nulla pontja a következőképpen határozható meg: Az u és l jelöli a kvantizátor felső és alsó határait. . egy kerekítő funkció, és a klip(., m, n) korlátozza a bemenetet a m és n alsó és felső határaival rendelkező tartományra. 2. Az IGQ-VIT A [26] munkáját követően a pozícionális beágyazás kivételével az összes hálózati súlyt kvantifikáljuk. a többrétegű perceptron (MLP) blokkban az FC rétegek bemeneti aktiválásait és a többfejű önmegfigyelés (MSA) blokk aktiválásait is kvantifikáljuk, beleértve a lekérdezéseket, a kulcsokat, az értékeket és a softmax figyelmet. 3.2.1 IGQ for linear operations Az alábbiakban először empirikus megfigyeléseket adunk az FC rétegek bemeneti aktiválásairól, és elmagyarázzuk a lineáris műveletekre vonatkozó IGQ keretrendszerünk részleteit. A legtöbb rögzített intervallum-aktiválási keretrendszer [2, 19, 26, 27] kihasználja a rétegszerű kvantizátorokat az aktiválásokhoz, egyetlen kvantizációs paramétert alkalmazva az összes csatornára a hatékony következtetés érdekében. Mindazonáltal megfigyeltük, hogy az FC rétegek bemeneti aktiválásainak jelentős skálázási változása van a csatornák között (2. ábra). Hasonló megállapítások találhatók [21, 23]. Ez arra utal, hogy a rétegszerű kvantizátorok jelentősen csökkentik a kvantizációs teljesítményt, mivel nem tudják kezelni a különböző csatornák közötti skálázási változásokat. Bár az egyes csatornákra vonatkozó külön kvantizátorok elfogadása hatékony stratégia lehet a skáláz Distributions of activations across channels. 3.2.2 IGQ for softmax attentions Itt bemutatjuk megfigyelésünket a softmax figyelem eloszlására, és bemutatjuk az IGQ részleteit a softmax figyelemre. A ViT-k a tokenek közötti korrelációkat a softmax figyelmeztetések révén rögzítik. A figyelemértékek eloszlása drasztikusan változik a különböző tokenek között (3. ábra). Distributions of softmax attentions. A softmax-megfigyelések kvantizálására szolgáló paraméter súlyosan rontja a kvantizálási teljesítményt. Külön kvantizálók használhatók fel az egyes tokenek számára a figyelemértékek kezelésére, de ez nagy mennyiségű kvantizálót igényel, és az egyes esetekben a kvantizálási paramétereket ki kell igazítani. 3.3 Csoportos elosztás Megfigyeltük, hogy a különböző rétegek aktiválása és softmax figyelmeztetései a különböző csatornák és tokenek közötti skálázási eltéréseket mutatják, ami azt jelzi, hogy a különböző rétegek számára ugyanazon csoportok számának használata lehet suboptimális (4. ábra). Ennek kezelésére az egyes rétegek számára az optimális csoportméretet keressük, amely minimalizálja a kvantificált és a teljes pontosságú modellekből származó előrejelzések közötti eltéréseket, a BOP korlátozás alatt. Mindazonáltal az optimális csoportméret megtalálására szolgáló keresési tér exponenciális az L rétegek számával összehasonlítva, ami egy nagyméretű modell számára nem kezelhető. Egy csoportméret-elosztási technikát javasolunk, amely hatékonyan 
 
 
 
 
 
 A szerzők: (1) Jaehyeon Moon, Yonsei Egyetem és Articron; (2) Dohyung Kim, Yonsei Egyetem (3) Junyong Cheon, Yonsei Egyetem (4) Bumsub Ham, a Yonsei Egyetem levelező szerzője. Authors: (1) Jaehyeon Moon, Yonsei Egyetem és Articron; (2) Dohyung Kim, Yonsei Egyetem (3) Junyong Cheon, Yonsei Egyetem (4) Bumsub Ham, a Yonsei Egyetem levelező szerzője. 
 
 Ez a dokumentum a CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) licenc alatt érhető el. Ez a dokumentum a CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) licenc alatt érhető el. Elérhető archívum

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Ez a hanganyag a történet eredeti nyelvén készült!

Miért Uniform Quantizers Break ViTs

About Author

HOZZÁSZÓLÁSOK

HANG TAGOK

EZT A CIKKET BEMUTATTA

Related Stories

INTRODUCTION

HackerNoon Social Media Presence: A Complete Guide

And now the important day of the election had arrived

Of The First and Last Things: Part 1

INTRODUCTION

HackerNoon Social Media Presence: A Complete Guide

And now the important day of the election had arrived

Of The First and Last Things: Part 1

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps