表征学习(Representation Learning)是一个深度学习中的概念，通过预训练一个特征提取器，把原始数据转换成有意义的低维特征，让下游任务基于这些特征进行训练，从而降低了对数据和计算能力的需求。本文将介绍表征学习的基本概念，以及以Masked Autoencoder[1]为主的最新进展。
表征学习(Representation Learning)是一个深度学习中的概念，通过预训练一个特征提取器，把原始数据转换成有意义的低维特征，让下游任务基于这些特征进行训练，从而降低了对数据和计算能力的需求。本文将介绍表征学习的基本概念，以及以Masked Autoencoder[1]为主的最新进展。