左のテーブル Abstract and 1. Introduction 抽象と1 導入 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References 関連作品 結論、承認、参照 Supplementary Material A.実施の詳細 B.既存のハードウェアとの互換性 C.実用的なデバイスの遅延 D.DETRへの応用 4.実験 このセクションでは、私たちの実験的な設定(セクション 4.1)を説明し、画像分類、オブジェクト検出、セマンティックセグメント(セクション 4.2)についてIGQ-ViTを評価します。 4.1 実施の詳細 我々は画像分類、オブジェクト検出、インスタンスセグメントのタスクについて IGQ-ViT フレームワークを評価する。 我々は画像分類のための ImageNet [8] データセットを使用し、訓練のための約 1.2M 画像と検証のための 50K を含む。我々はオブジェクト検出とインスタンスセグメントのための COCO [22] を使用し、トレーニング 118K、5K 検証、および 20K テスト画像を含む。 我々は、画像分類のための ViT [10], DeiT [34] と Swin トランスフォーマー [25] を含むさまざまなトランスフォーマーアーキテクチャを採用する。 オブジェクト検出とインスタンスセグメントのタスクのために 4.2 結果 テーブル 2 では、ImageNet [8] の複数の ViT アーキテクチャで検証分割のトップ 1 の正確性(%)を示します。平均グループサイズが 8 と 12 で正確性を報告します。 我々 は次のとおり結果をまとめます: (1) 8 グループの IGQ-ViT フレームワークは、すでに ViT-B [10] と Swin-S [25] を除いて、6/6 ビット設定の下でスケール変動に対処していますが、より多くのグループを使用してパフォーマンスをさらに高めます。 (2) 4/4 ビット設定の下で我々のアプローチは RepQ-ViT [21] を大幅に上回っています。 われわれわれと同じように、RepQ-ViT は、チャンネル間 Results on ImageNet. 表3では、オブジェクト検出とインスタンスセグメントの量子化結果を示します。 Results on COCO. COCO [22]. スウィン変換器の背骨[25]とマスクR-CNN[14]およびカスケードマスクR-CNN[15]の首および首の凝縮層を量子化する. PTQ4ViT[40]およびAPQ-ViT[9]は、アクティベーションのために層向きの量子化を用いるが、うまく機能しません. 対照的に、IGQ-ViTは8つのグループで最先端を上回り、量子化性能はより多くのグループを活用することによってさらに向上する. 特に、6/6ビット設定の完全精度の結果とほぼ同じ結果を提供する. これは、異なるチャンネルやトークンの間のスケール変動がオブジェクト検出やインスタンスセグメント 
 
 
 
 
 
 著者: (1)Jaehyeon Moon、Yonsei大学およびArticron (2)Dohyung Kim、Yonsei大学 (3)Junyong Cheon、Yonsei大学 (4) Bumsub Ham、Yonsei大学の通報著者。 Authors: (1)Jaehyeon Moon、Yonsei大学およびArticron (2)Dohyung Kim、Yonsei大学 (3)Junyong Cheon、Yonsei大学 (4) Bumsub Ham、Yonsei大学の通報著者。 
 
 この論文は、CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) ライセンスの下で archiv で利用できます。 この紙は CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) ライセンス available on arxiv ARCHIV で利用可能

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

このオーディオは、ストーリーの元の言語で制作されています。

Instance-Aware Grouped Quantization(IGQ-ViT)は、ViT PTQの新しい基準を設定します。

About Author

コメント

ラベル

この記事は

Related Stories

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

ユニークなエコシステムを支えるビットコインUTXOのモデル

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

Telegram: クリプト島と本土を結ぶ橋

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

ユニークなエコシステムを支えるビットコインUTXOのモデル

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

Telegram: クリプト島と本土を結ぶ橋

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps