Tabel van links Abstract and 1. Introduction Abstrakte en 1. inleiding 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Gerelateerde werk Conclusie, erkennings en verwysings Supplementary Material A. Meer implementeringsdetails B. Kompatibiliteit met bestaande hardwares C. Latentie op praktiese toestelle D. Toepassing vir DETR 4 Eksperimenteer In hierdie afdeling beskryf ons ons eksperimentele instellings (Seksie 4.1) en evalueer IGQ-ViT op beeldklassifikasie, voorwerpdeteksie en semantiese segmentasie (Seksie 4.2). 4.1 Uitvoeringsdetails Ons evalueer ons IGQ-ViT raamwerk op die take van beeldklassifikasie, voorwerpdeteksie en instansie-segmentasie. Ons gebruik die ImageNet [8] dataset vir beeldklassifikasie, wat ongeveer 1.2M beelde vir opleiding en 50K vir validering bevat. Ons gebruik COCO [22] vir voorwerpdeteksie en instansie-segmentasie, wat 118K opleiding, 5K validering en 20K toetsbeelde insluit. Ons gebruik verskillende transformer-architekture, insluitend ViT [10], DeiT [34] en Swin-transformer [25], vir beeldklassifikasie. Vir die take van voorwerpdeteksie en instansie-segmentasie gebruik ons Mask R-CNN [14] en Cascade Mask R-CNN [5] met Swin-transformers as die 4.2 Die resultate Ons toon in Tabel 2 die top-1 akkuraatheid (%) op die validering splitsing van ImageNet [8] met verskillende ViT-architekture. Ons rapporteer die akkuraatheid met 'n gemiddelde groep grootte van 8 en 12. Ons samevat ons bevindings soos volg: (1) Ons IGQ-ViT raamwerk met 8 groepe verdien reeds die staat van kuns behalwe vir ViT-B [10] en Swin-S [25] onder 6/6-bits instelling, terwyl die gebruik van meer groepe die prestasie verder verhoog. (2) Ons benadering onder 4/4-bits instelling oorskakel RepQ-ViT [21] deur 'n groot marge. Vergelyk met ons, RepQ-ViT ook die skaalvariasies tussen kanale aanpak, maar dit kan toegepas word op aktiverings Results on ImageNet. Ons toon in Tabel 3 die kwantifikasie resultate vir voorwerpdeteksie en voorbeeldsegmentasie op Results on COCO. COCO [22]. Ons kwantifieer die rugbeen van Swin-transformers [25] en die konvolusionele lae in die nek en kop van Mask R-CNN [14] en Cascade Mask R-CNN [5]. Ons sien dat PTQ4ViT [40] en APQ-ViT [9], wat layerwise kwantizers gebruik vir aktiverings, nie goed werk nie. In teenstelling hiermee, verteenwoordig IGQ-ViT die staat van die kuns met slegs 8 groepe, en die kwantiasieprestasie verhoog verder deur meer groepe te benut. In die besonder, dit bied die resultate byna dieselfde as die volle akkuraatheid vir die 6/6-bits instelling. 
 
 
 
 
 
 Die skrywers: (1) Jaehyeon Moon, Yonsei Universiteit en Articron; (2) Dohyung Kim, Yonsei Universiteit; (3) Junyong Cheon, Yonsei Universiteit; (4) Bumsub Ham, 'n Korrespondentskrywer van Yonsei Universiteit. Authors: (1) Jaehyeon Moon, Yonsei Universiteit en Articron; (2) Dohyung Kim, Yonsei Universiteit; (3) Junyong Cheon, Yonsei Universiteit; (4) Bumsub Ham, 'n Korrespondentskrywer van Yonsei Universiteit. 
 
 Hierdie artikel is beskikbaar op arkiv onder CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) lisensie Hierdie artikel is beskikbaar op arkiv onder CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) lisensie beskikbaar in die archief

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Hierdie oudio word in die oorspronklike taal van die storie vervaardig!

Instance-Aware Grouped Quantization (IGQ-ViT) stel nuwe benchmarks vir ViT PTQ

About Author

KOMMENTAAR

HANG TAGS

HIERDIE ARTIKEL IS AANGEBIED IN

Related Stories

Thinking for the 21st century

The Opt Out Writing Contest: Final Round Results Announcement 🎉

$30M Raised in 30 Minutes and the Controversies to Follow: The Story Behind Dexter’s GM.ai Project

Startups of The Year: Meet the Business Industry

Thinking for the 21st century

The Opt Out Writing Contest: Final Round Results Announcement 🎉

$30M Raised in 30 Minutes and the Controversies to Follow: The Story Behind Dexter’s GM.ai Project

Startups of The Year: Meet the Business Industry

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps