
 
 
 
 
 
 ලේඛකයෝ : (1) Jaehyeon Moon, Yonsei විශ්ව විද්යාල සහ Articron; (2) Dohyung Kim, Yonsei විශ්ව විද්යාලය; (3) Junyong Cheon, Yonsei විශ්ව විද්යාලය; (4) Bumsub Ham, Yonsei විශ්ව විද්යාලයේ ලිඛිත ලේඛකයා. Authors: (1) Jaehyeon Moon, Yonsei විශ්ව විද්යාල සහ Articron; (2) Dohyung Kim, Yonsei විශ්ව විද්යාලය; (3) Junyong Cheon, Yonsei විශ්ව විද්යාලය; (4) Bumsub Ham, Yonsei විශ්ව විද්යාලයේ ලිඛිත ලේඛකයා. මේසය Links Abstract and 1. Introduction Abstract සහ 1 - Introduction 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References සම්බන්ධ වැඩ ප්රතිඵල, ප්රතිඵල සහ References Supplementary Material A. වැඩිපුර ක්රියාත්මක කිරීමේ විස්තර B. දැනට පවතින Hardware සමඟ අනුකූලතාවය C. ප් රායෝගික උපකරණ මත පරමාර්ථය D. DETR සඳහා අයදුම් කිරීම abstract පිලිබඳ පස්වන පුහුණු අංග ප්රමාණය ප්රමාණය (PTQ) ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්රමාණය ප්ර 1) ප් රකාශනය Transformer [35] යනු ස්වාභාවික භාෂා පරිශීලකයේ මධ් යම වැදගත්කම වන දිගුකාලීන ආදායම් මත රඳා පවතී, පරිගණක තොරතුරු සංසන්දනය කිරීම සහ ප්රතික්රියාකාරී විශේෂාංග ප්රදර්ශන ලබා දීමයි. මෑතකදී, vision transformers (ViTs) [10] දර්ශන සඳහා transformer වල ඵලදායීත්වය පෙන්වා දී ඇති අතර, Image classification [25, 34], Object Detection [25, 42], and semantic segmentation [25, 33, 39] ඇතුළත් විවිධ දර්ශන හඳුනාගැනීමේ කාර්යයන් මත state-of-the-art ප්රතිඵල ලබා දීමයි. කෙසේ වෙතත්, සම්පූර්ණයෙන්ම සම්බන්ධ (FC) සහ self-attention layers in ViTs අවශ්ය වන අතර, එය සීමිත ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ ක්ෂේත්රයේ Transformer සඳහා විවිධ PTQ ක්රම [9, 26, 40] ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණවත් ප්රමාණ මෙම ලිපියේ දී, ViTs (IGQ-ViT) සඳහා උදාහරණ දැනුම කණ්ඩායම් ප්රමාණය ප්රතිසංස්කරණය (එළිදරව් 1b) ක්රියාත්මකව හා ඵලදායීව විවිධ ආදායම් උදාහරණ අතර චැනල් ප්රමාණය ප්රතිසංස්කරණය ප්රතිසංස්කරණය ප්රතිසංස්කරණය (එළිදරව් 1b) ක්රියාත්මකව ඉදිරිපත් කර ඇත. විශේෂයෙන්, අපි ක්රියාකාරීත්වය කාමරවල චැනල් ක්රියාකාරීව විවිධ කණ්ඩායම් වලට බෙදා වෙන් කර ඇත, එබැවින් සෑම කණ්ඩායම තුළ ක්රියාකාරීත්වය වටිනාකම් සමාන තත්වයන් බෙදා, පසුව සමාන ප්රමාණය ප්රතිසංස්කරණය ප්රමාණයන් භාවිතා කරමින් කණ්ඩායම් තුළ ක්රියාකාර • ViTs සඳහා නව PTQ ක්රමයක්, IGQViT ලෙස හඳුන්වනු ලබන අතර, ක්රියාකාරකම් මෘදුකාංගවල චැනල් ගණනාවක් ආකෘති උදාහරණ අනුව ක්රියාකාරීව කණ්ඩායම් වලට බෙදා හැරීම.We also propose to use the instance-aware grouping technique to split softmax attention across tokens. • අපි කණ්ඩායම් ප්රමාණය බෙදාහැරීමේ තාක්ෂණය ඉදිරිපත් කරන්නේ BOP සීමාව යටතේ සෑම පරාසයකටම හොඳම කණ්ඩායම් සංඛ්යාවක් සොයමින්. • අපි පින්තූර සංරචක [8], ප්රභේද හඳුනා ගැනීම, සහ උදාහරණ සංරචක [22], විවිධ ViT ආකෘති [10, 25, 34] සමග නව තත්වයක් සකස් කර ඇත. 
 
 මෙම ලිපිනය CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) බලපත් ර යටතේ archiv මත ලබා ගත හැකිය. මෙම ලිපිනය CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) බලපත් ර යටතේ archiv මත ලබා ගත හැකිය. ලියාපදිංචි

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

මෙම ශ්‍රව්‍යය කතාවේ මුල් භාෂාවෙන් නිෂ්පාදනය කර ඇත!

Vision Transformers සඳහා Instance-Aware Group Quantization

About Author

අදහස්

ටැග් එල්ලන්න

මෙම ලිපිය ඉදිරිපත් කරන ලදී

Related Stories

My Six Years of Writing on HackerNoon in Numbers and Pictures

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

The #blockchain-api Writing Contest by dRPC & HackerNoon: Results Announcement 🎉

Publish Your Next Technology Press Release with HackerNoon

My Six Years of Writing on HackerNoon in Numbers and Pictures

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

The #blockchain-api Writing Contest by dRPC & HackerNoon: Results Announcement 🎉

Publish Your Next Technology Press Release with HackerNoon

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps