【摘要】在前面的分析中，我们已经明确了 ViT 的核心问题： 由于归纳偏置较弱，ViT 对数据规模高度依赖。 就这个问题，我们又展开了一种改进思路： 通过蒸馏人为引入一个“软约束”，缩小搜索空间，从而减少数据依赖。 于是，我们就得到了 ViT 的其中一种改进：Data-efficient Image Tra 阅读全文