Swin变压器：使用移位窗口的分层视觉变压器
原链：https://arxiv.org/abs/2103.14030
代码：https://github.com/microsoft/Swin-Transformer
作者：韩虎

介绍

Swin Transformer（这个名字代表Shifted window）最初是在arxiv中描述的，它能够作为一个 计算机视觉的通用骨干网。它基本上是一个分层转换器，其表示为 使用移位窗口进行计算。移位窗口方案通过限制自我注意带来更高的效率 计算到不重叠的本地窗口，同时还允许跨窗口连接。

Swin 变压器在 COCO 对象检测（和测试开发）和 ADE20K语义分割（在val上），大大超过了以前的模型。 58.7 box AP 51.1 mask AP
53.5 mIoU

使用预训练模型的 ImageNet 的主要结果

ImageNet-1K 和 ImageNet-22K 预训练 Swin-V1 模型

ImageNet-1K 和 ImageNet-22K 预训练 Swin-V2 模型

注意：

输入分辨率为 2x2 和 256x256 的 SwinV384-B （SwinV384-L） 均使用较小的输入分辨率 192x192 从相同的预训练模型进行微调。
SwinV2-B （384x384） 在 ImageNet-78K-V08 上达到 1.1 acc@2，而 SwinV2-L （384x384） 达到 78.31。

ImageNet-1K 预训练 Swin MLP 模型

Note: access code for baidu is swin. C24 means each head has 24 channels.

ImageNet-22K 预训练 Swin-MoE 模型

• 有关运行 Swin-MoE 的说明，请参阅get_started。
• Swin-MoE的预训练模型可以在MODEL HUB中找到。

下游任务的主要结果

COCO 对象检测 （2017 val）

Note: ^* indicates multi-scale testing.

ADE20K 语义分割 （val）

引用斯文变压器

@inproceedings{liu2021Swin,
  title={Swin Transformer: Hierarchical Vision Transformer using Shifted Windows},
  author={Liu, Ze and Lin, Yutong and Cao, Yue and Hu, Han and Wei, Yixuan and Zhang, Zheng and Lin, Stephen and Guo, Baining},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
  year={2021}
}

引用局部关系网络（第一个全注意力视觉骨干）

@inproceedings{hu2019local,
  title={Local Relation Networks for Image Recognition},
  author={Hu, Han and Zhang, Zheng and Xie, Zhenda and Lin, Stephen},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
  pages={3464--3473},
  year={2019}
}

引用 Swin 变压器 V2

@inproceedings{liu2021swinv2,
  title={Swin Transformer V2: Scaling Up Capacity and Resolution}, 
  author={Ze Liu and Han Hu and Yutong Lin and Zhuliang Yao and Zhenda Xie and Yixuan Wei and Jia Ning and Yue Cao and Zheng Zhang and Li Dong and Furu Wei and Baining Guo},
  booktitle={International Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2022}
}

引用SimMIM（一种支持SwinV2-G的自我监督方法）

@inproceedings{xie2021simmim,
  title={SimMIM: A Simple Framework for Masked Image Modeling},
  author={Xie, Zhenda and Zhang, Zheng and Cao, Yue and Lin, Yutong and Bao, Jianmin and Yao, Zhuliang and Dai, Qi and Hu, Han},
  booktitle={International Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2022}
}

引用 SimMIM 数据缩放

@article{xie2022data,
  title={On Data Scaling in Masked Image Modeling},
  author={Xie, Zhenda and Zhang, Zheng and Cao, Yue and Lin, Yutong and Wei, Yixuan and Dai, Qi and Hu, Han},
  journal={arXiv preprint arXiv:2206.04664},
  year={2022}
}

引用斯文萌

@misc{hwang2022tutel,
      title={Tutel: Adaptive Mixture-of-Experts at Scale}, 
      author={Changho Hwang and Wei Cui and Yifan Xiong and Ziyue Yang and Ze Liu and Han Hu and Zilong Wang and Rafael Salas and Jithin Jose and Prabhat Ram and Joe Chau and Peng Cheng and Fan Yang and Mao Yang and Yongqiang Xiong},
      year={2022},
      eprint={2206.03382},
      archivePrefix={arXiv}
}