Orodha ya kulia Abstract and 1. Introduction Mchapishaji na 1 - Maelezo 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Kazi zinazohusiana Ufafanuzi, Ufafanuzi na Maelezo Supplementary Material A. Maelezo zaidi ya utekelezaji B. Upatikanaji wa vifaa vya sasa C. Latency juu ya vifaa vya vitendo D. Maombi ya DETR 3 Njia ya Katika sehemu hii, tunatoa maelezo mafupi ya quantizer ya usawa (Sehemu ya 3.1). Kisha tunatoa mbinu yetu kwa undani, ikiwa ni pamoja na IGQ-ViT (Sehemu ya 3.2) na mbinu ya usambazaji wa ukubwa wa kikundi (Sehemu ya 3.3). 3.3 Kuanzisha kiwango cha kinga Kutokana na thamani ya kiwango cha uingizaji x na ukubwa wa kiwango cha uingizaji b, quantizers za kiwango cha uingizaji hupunguza thamani katika seti ya mwisho ya thamani na kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa kiwango cha uingizaji wa ki ambapo kiwango cha kiwango cha s na kiwango cha null cha z vinafafanuliwa kama: Tunaelezea kwa u na l mipaka ya juu na ya chini ya quantizer, kulingana. . ni kazi ya kupunguzwa, na clip(., m, n) hupunguza kuingia kwa kiwango na mipaka ya chini na ya juu ya m na n, kulingana. 3.2.2 Maelezo ya IGQ Baada ya kazi ya [26], sisi quantitize viwango vyote vya mtandao isipokuwa kuingizwa nafasi. sisi pia quantitize uanzishaji wa ufungaji wa viwango vya FC katika block multi-layer perceptron (MLP), na uanzishaji kwa block multi-head self-attention (MSA), ikiwa ni pamoja na queries, keys, thamani, na softmax mawazo. sisi kutumia quantizers sawa kwa viwango vyote na uanzishaji katika ViTs. 3.2.1 IGQ for linear operations Hapa chini, kwanza tunatoa uchunguzi wa empirical juu ya uanzishaji wa ufumbuzi wa ngazi za FC, na kufafanua maelezo ya mfumo wetu wa IGQ kwa shughuli za linear. Wengi wa mifumo ya kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha kiwango cha ubora cha kiwango cha kiwango cha kiwango cha kiwango cha ubora cha kiwango cha kiwango cha kiwango cha ubora cha kiwango cha kiwango cha kiwango cha kiwango cha ubora cha kiwango cha kiwango cha kiwango cha kiwango cha ubora cha kiwango cha kiwango cha Distributions of activations across channels. 3.2.2 IGQ for softmax attentions Hapa, tunatoa uchunguzi wetu wa usambazaji wa machozi ya softmax, na kutoa maelezo ya IGQ kwa machozi ya softmax. ViTs kukamata uhusiano kati ya tokens kupitia softmax mawazo. Usambazaji wa thamani ya tahadhari ni tofauti sana juu ya tokens tofauti (Picha 3). Kwa hiyo, kwa kutumia quantization moja Distributions of softmax attentions. Kiwango cha quantitization cha softmax huathiri ufanisi wa quantization kwa kiasi kikubwa. Quantizers tofauti inaweza kutumiwa kwa tokens za kibinafsi ili kushughulikia thamani za athari, lakini hii inahitaji idadi kubwa ya quantizers, na inahitaji kurekebisha vigezo vya quantization kwa kila mfano. 3.3 Usambazaji wa kikundi Tunaona kwamba uendeshaji na makini ya softmax katika ngazi tofauti zinaonyesha kiasi tofauti cha mabadiliko ya kiwango kati ya njia na tokens, kulingana, kuonyesha kwamba kutumia idadi sawa ya makundi kwa ngazi tofauti inaweza kuwa suboptimal (Kielelezo 4). Ili kukabiliana na hili, tunatafuta ukubwa bora wa kikundi kwa kila ngazi ambayo inapunguza upungufu kati ya utabiri kutoka kwa mifano ya quantized na kamili ya usahihi, chini ya vikwazo vya BOP. Hata hivyo, nafasi ya utafutaji ili kupata ukubwa wa kikundi bora ni exponential w.r.t. idadi ya ngazi ya L, ambayo ni isiyowezekana kwa mfano mkubwa. Tunapendekeza mbinu ya usambazaji wa ukubwa wa kikundi ambayo hufanya ufanisi wa kikundi kwa kila ngazi ndani ya nafasi 
 
 
 
 
 
 Waandishi wa: (1) Jaehyeon Moon, Chuo Kikuu cha Yonsei na Articron; (2) Dohyung Kim, Chuo Kikuu cha Yonsei; (3) Junyong Cheon, Chuo Kikuu cha Yonsei; (4) Bumsub Ham, Mwandishi wa Chuo Kikuu cha Yonsei. Authors: (1) Jaehyeon Moon, Chuo Kikuu cha Yonsei na Articron; (2) Dohyung Kim, Chuo Kikuu cha Yonsei; (3) Junyong Cheon, Chuo Kikuu cha Yonsei; (4) Bumsub Ham, Mwandishi wa Chuo Kikuu cha Yonsei. 
 
 Makala hii inapatikana kwenye arkiv chini ya leseni ya CC BY-NC-ND 4.0 (Attribution-Noncommercial-Noderivs 4.0 International) Makala hii inapatikana kwenye arkiv chini ya leseni ya CC BY-NC-ND 4.0 (Attribution-Noncommercial-Noderivs 4.0 International) Upatikanaji wa Archives

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Sauti hii imetolewa katika lugha asilia ya hadithi!

Kwa nini Quantizers Uniform Kuanguka ViTs

About Author

MAONI

HANG TAGS

MAKALA HII ILIWASILISHWA NDANI

Related Stories

Speed up Swift compile time

Details of the Aerial Voyage.—Kennedy silenced

Master Crypto Security: Your Complete Guide to Safe Wallet Management

#ellenBrain Turns a Long Weekend Into: HackerNoon Swag Around the World

Speed up Swift compile time

Details of the Aerial Voyage.—Kennedy silenced

Master Crypto Security: Your Complete Guide to Safe Wallet Management

#ellenBrain Turns a Long Weekend Into: HackerNoon Swag Around the World

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps