New feature for downstream tasks. # Basic Idea of Auto-encoder ## Why Auto-encoder
图片虽然是3x3的,但是也许只需要2个维度就能完全描述了,例如只有以下的两种类型。Auto-encoder可以把复杂的信息降维。 ## De-noising Auto-encoder
输入encoder的是含有噪声的图片,decoder要还原的是不含噪声的图片。 # Feature Disentanglement
找出embedding的每一个维度代表了什么信息
Discrete Latent Representation
将encoder产生的vector和codebook中的每个vecto计算相似度,最相似的那个向量就是decoder的输入。
### Text as Representation
# More Application