Mesa de la izquierda Abstract and 1. Introduction Abstracto y 1a Introducción 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Trabajo relacionado Conclusión, reconocimientos y referencias Supplementary Material A. Más detalles de implementación Compatibilidad con los hardware existentes C. Latencia en dispositivos prácticos D. Aplicación a DETR 4 Los experimentos En esta sección, describimos nuestros ajustes experimentales (Sección 4.1) y evaluamos IGQ-ViT sobre clasificación de imágenes, detección de objetos y segmentación semántica (Sección 4.2). 4.1 Detalles de implementación Utilizamos el conjunto de datos ImageNet [8] para la clasificación de imágenes, que contiene aproximadamente 1.2M imágenes para entrenamiento y 50K para validación. Utilizamos COCO [22] para la detección de objetos y la segmentación de instancias, que incluye el entrenamiento 118K, la validación 5K y las imágenes de prueba 20K. Adoptamos varias arquitecturas de transformadores, incluyendo ViT [10], DeiT [34] y transformador Swin [25] para la clasificación de imágenes. Para las tareas de detección de objetos y segmentación de instancias, utilizamos Mask R-CNN [14] y Cascade Mask R-CNN [5] con transformadores Swin como la columna vertebral. Después de [9, 21], mostramos aleatoriamente 32 imágenes del conjunto de datos de ImageNet [8] para la clasificación de imágenes, y 4.2 Resultados En la Tabla 2 mostramos la precisión del top-1 (%) en la división de validación de ImageNet [8] con varias arquitecturas ViT. Informamos de la precisión con un tamaño de grupo promedio de 8 y 12. Resumimos nuestros hallazgos de la siguiente manera: (1) Nuestro marco IGQ-ViT con 8 grupos ya supera el estado de la arte excepto para ViT-B [10] y Swin-S [25] bajo la configuración de 6/6-bit, mientras que el uso de más grupos aumenta aún más el rendimiento. (2) Nuestro enfoque bajo la configuración de 4/4-bit supera consistentemente a RepQ-ViT [21] por un gran margen. Similar al nuestro, RepQ-ViT también aborda las variaciones de escala entre los canales, pero se puede aplicar a las activaciones con la norma de la capa anterior. Results on ImageNet. Mostramos en la Tabla 3 los resultados de la cuantización para la detección de objetos y la segmentación de instancias en Results on COCO. COCO [22]. Cuantizamos las espinas de los transformadores Swin [25] y las capas convolucionales en el cuello y la cabeza de Mask R-CNN [14] y Cascade Mask R-CNN [5]. Observamos que PTQ4ViT [40] y APQ-ViT [9], que usan cuantizadores de capa para las activaciones, no funcionan bien. En contraste, IGQ-ViT supera el estado de arte con solo 8 grupos, y el rendimiento de la cuantización aumenta aún más al explotar más grupos. En particular, proporciona los resultados casi los mismos que los de plena precisión para la configuración de 6/6-bit. Esto sugiere que las variaciones de escala entre diferentes canales o tokens son mucho más críticas para la detección de objetos y la segmentación de instancias. 
 
 
 
 
 
 Los autores: (1) Jaehyeon Moon, Universidad de Yonsei y Articron; (2) Dohyung Kim, Universidad de Yonsei; (3) Junyong Cheon, Universidad de Yonsei; (4) Bumsub Ham, autor de correspondencia de la Universidad de Yonsei. Authors: (1) Jaehyeon Moon, Universidad de Yonsei y Articron; (2) Dohyung Kim, Universidad de Yonsei; (3) Junyong Cheon, Universidad de Yonsei; (4) Bumsub Ham, autor de correspondencia de la Universidad de Yonsei. 
 
 Este artículo está disponible en archivo bajo la licencia CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Este artículo está disponible en archivo bajo la licencia CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Disponible en Archivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Este audio es producido en el idioma original de la historia!

Instance-Aware Grouped Quantization (IGQ-ViT) establece nuevos estándares para ViT PTQ

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps