VAE

除了可以重建图像之外,是不是也可以用来重建其他信息呢 比如语音信号之类的

可以的,本质上就是高维空间的低维表达,通吃。

VAE是不是就类似于传统的pca,都是对高维数据进行低维表达,只是pca是从特征向量的角度出发找到低维表达的向量,而vae通过编解码器和误差反向传播的方式得到低维向量?

思想有相似之处,实现方法不同。

意思是vae是把样本向量当成高斯联合分布中的采样,然后通过训练重构这个分布?

通过对比重建损失找到最佳的GMM表示。

先讲个大致背景或者具体是两个常见假设(我认为是假设是一种 合理的经验),1,高斯分布,也叫正态分布正如其英文名称normal distribution一样,很normal很常见。对于贝叶斯公式,很多人通常将该公式的先验分布假设为normal distribution;2,概率论与统计学上,人们假设 样本是由某个低纬的潜在的变量生成的。背景结束。对于,VAE,其思想就是希望一个样本Ai对应一个低纬的潜在的变量zi,并且希望这个zi服从normal分布。(对应编码器);从这个normal分布中,采样一个变量zi’,通过这个zi’重建输入样本Ai(对应解码器)。通过不断训练,最终,VAE的解码器具有了一个能力,即可以生成 近似于原始输入数据的 新样本。怎么生成呢,就是从normal分布采样一个潜在变量z,喂入VAE的解码器后吐出。这就是这个生成式模型的大致思想。

语义分割比如seg-bet好像就是一个AE?

思想一致,侧重点略有不同,用了卷积。

视频里行走机器人对应的工作是哪一篇?

Flexible Muscle-Based Locomotion for Bipedal Creatures 原文链接

image restoration图像复原这一任务是不是可以理解为encode decoder模型呀

可以用这个实现,但也不一定都是encoder decoder。