表征学习(Representation Learning)是一个深度学习中的概念，通过预训练一个特征提取器，把原始数据转换成有意义的低维特征，让下游任务基于这些特征进行训练，从而降低了对数据和计算能力的需求。本文将介绍表征学习的基本概念，以及以Masked Autoencoder^[1]为主的最新进展。

AI绘画在这几个月火了起来，它能从提供的文字和图片中生成新的绘画，质量很高，而且非常有趣。这个封面就是用AI生成的^[1]。但是在使用AI绘画的过程中，搞不懂steps，sampler之类的意思。为了想要更好的使用AI绘画，也想要理解AI绘画中那些参数的含义，所以本着学习新技术的目的，写了这篇文章来学习一下AI绘画。

上一篇文章《计算机视觉中的Transformer》讲了计算机视觉中的Transformer结构^[1]，还有非常受欢迎的Vision Transformer(ViT)^[2]。本篇文章将补上上一篇掠过的《Attention Augmented Convolutional Networks》^[3]和《End-to-End Object Detection with Transformers》^[4]，同时也会介绍一下DeiT (Data-effieciency Image Transformer)^[5]。

深度学习中最一开始的Transformer是2017年推出的，非常强力^[1]。可能当时作者觉得这个东西很强，所以才会赋予”变形金刚”的名字吧。而后来，Transformer也广泛的推广到了计算机视觉(CV)领域，从2020年开始，就有对Transformer在CV中的大量新研究发表。

本文主要会讲最初的Transformer，Vision Transformer(ViT)和Multi-scale Vision Transformer(MViT)。