የመስመር ላይ ገጾች Abstract and 1. Introduction Abstract እና 1. መውሰድ 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References የተገናኙ ሥራ መውሰድ, የምስክር ወረቀት, እና ቅናሾች Supplementary Material ተጨማሪ መተግበሪያ ዝርዝር B. የአሁኑ ሃርድዌር ጋር ተኳሃኝ C. በአጠቃላይ መሳሪያዎች ላይ የላቀነት D. DETR ለመግዛት 3 ንድፍ በዚህ ክፍል ውስጥ, እኛ ተመሳሳይ quantizer (3.1 ክፍል) አንድ ጥቁር መግለጫ ያቀርባል. ከዚያም IGQ-ViT (3.2 ክፍል) እና ቡድን መጠን አጠቃቀም ቴክኖሎጂ (3.3 ክፍል) ያካትታል. 4.1 ጥንካሬ ጥንካሬ የ x-point value and the quantization bitwidth b, uniform quantizers በመጠቀም የ x-point value በመጠቀም የ x-point value በመሙላት, በ 0-point z በመሙላት የ normalized value በመሙላት, እና በዚህ መንገድ ወደ output ያካትታል: የ scale parameter s እና null-point z እንደ የተመሠረተ ናቸው: በ u እና l በ quantizers ከፍተኛ እና ዝቅተኛ መስኮች ይታወቃል. . አንድ የመርከብ ተግባር ነው, እና clip(., m, n) በ m እና n ዝቅተኛ እና ዝቅተኛ መስኮች ጋር ክልል ላይ አንድ መውሰድ ያካትታል. 4.2 አግኝተዋል በ [26] ልምድ በኋላ, የእኛን የመስመር ላይ ሁሉንም ክወናዎች, በ positional embedding ከ. እኛ ደግሞ በ Multi-layer Perceptron (MLP) ብስክሌት ውስጥ የ FC ክወናዎች መተግበሪያዎች እና የ Multi-head Self-Attention (MSA) ብስክሌት ለ ክወናዎች, ክወናዎች, ዋጋዎች እና softmax መተግበሪያዎች ያካትታል. ViTs ውስጥ ሁሉንም ክወናዎች እና መተግበሪያዎች ለ ተመሳሳይ ክወናዎች ይጠቀማሉ. 3.2.1 IGQ for linear operations ከዚህ በታች, በመጀመሪያ, የ FC ጥራት መውሰድ ላይ የአምላክ ትዕዛዞች ይሰጣሉ, እና መስመር ክወናዎች ለ የእኛን IGQ መስኮት ዝርዝር ይሰጣሉ. አብዛኛውን ጊዜ የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካር አጠቃቀም የካንካ Distributions of activations across channels. 3.2.2 IGQ for softmax attentions እዚህ, እኛ softmax መተግበሪያዎች ለማሳየት የእኛን ትዕዛዞችን ይሰጣሉ, እና softmax መተግበሪያዎች ለ IGQ ዝርዝር ይሰጣሉ. የ ViTs በ softmax መተግበሪያዎች በመጠቀም የቶኪን መካከል ተመሳሳይነት ያካትታሉ. የኩኪን ዋጋዎች መተግበሪያዎች የተለያዩ ቶኪን (ፎ. 3) ላይ በከፍተኛ ደረጃ ይለያያሉ. ስለዚህ, አንድ ብቻ quantization በመጠቀም Distributions of softmax attentions. የ softmax መተግበሪያዎችን ማውረድ የ quantization አፈጻጸም አስደሳች ነው. የ quantization ፓርሜራችን ለሁሉም ትክክለኛነት መጠን ለማስተካከል ልዩ quantizers ሊጠቀሙ ይችላሉ, ነገር ግን ይህ በርካታ quantizers ያስፈልጋል, እና እያንዳንዱ እይታ ለ quantization ፓርሜራችን መተግበሪያ ያስፈልጋል. 3.3 ቡድን መጠን አጠቃቀም በ BOP መስፈርቶች ውስጥ ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ውስጥ ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች ከሁሉም ደረጃዎች 
 
 
 
 
 
 የቅጂ መብት: (1) Jaehyeon Moon, Yonsei ዩኒቨርሲቲ እና Articron; (2) Dohyung Kim, Yonsei ዩኒቨርሲቲ; (3) Junyong Cheon, Yonsei ዩኒቨርሲቲ; (4) Bumsub Ham, Yonsei ዩኒቨርሲቲ ኮርፖሬሽን. Authors: (1) Jaehyeon Moon, Yonsei ዩኒቨርሲቲ እና Articron; (2) Dohyung Kim, Yonsei ዩኒቨርሲቲ; (3) Junyong Cheon, Yonsei ዩኒቨርሲቲ; (4) Bumsub Ham, Yonsei ዩኒቨርሲቲ ኮርፖሬሽን. 
 
 ይህ ጽሑፍ በ CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) ዝርዝር ላይ ይገኛል. ይህ ገጽ በ CC BY-NC-ND 4.0 አግኝተዋል (የአውስትሪንግ-የአውስትሪንግ-የአውስትሪንግ 4.0 ዓለም አቀፍ) አግኝቷል Archive አግኝቷል Archive

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

ይህ ኦዲዮ የተዘጋጀው በታሪኩ የመጀመሪያ ቋንቋ ነው!

የኦሪጂናል ኮምፒዩተሮች የ VITs ንድፍ እንዴት ነው

About Author

አስተያየቶች

ተንጠልጣይ መለያዎች

ይህ ጽሑፍ ቀርቧል

Related Stories

Community Governed Loans and Mobile Money in Nigeria with Adebola Adeniran on The HackerNoon Podcast

SOME ANOMALIES

Artificial Intelligence talks with Daniel Jeffries, AMA on August 25th, 10 am EST

ON THE EVE OF THE FETE

Community Governed Loans and Mobile Money in Nigeria with Adebola Adeniran on The HackerNoon Podcast

SOME ANOMALIES

Artificial Intelligence talks with Daniel Jeffries, AMA on August 25th, 10 am EST

ON THE EVE OF THE FETE

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps