阿里入局 AI+AR 眼镜，为雷鸟创新独家定制眼镜版大模型
前沿技术
|
2017-08-16
干掉缓冲，MIT 新 AI 算法让高清视频和 VR 视频流畅播放
以后看小电影不再缓冲。
观看视频时突然的卡顿和缓冲估计能逼死一批强迫症患者，现在这样的现象有可能会被 MIT CSAIL（计算机科学与人工智能实验室）的研究人员们通过最新的人工智能算法改变。
通常情况下，用户在线观看视频时，视频并不是一次性传送到用户计算机上的，这样会占用太多的带宽，所以，视频会被切割成若干个小段依次传送。
不过，为了保证视频传输的质量，主流的视频网站会采用 ABR 编码算法，然后再根据网络状况来决定视频将以怎样的分辨率来播放，并且设置足够长的缓冲区。
但 ABR 编码算法也存在着不少的问题。如果网络传输速率太低，系统会降低视频分辨率以保证流畅播放，这样难免会造成图像模糊或者出现马赛克等现象。另外，如果用户在拖动进度条时跨度太大，超出了系统预先设置好的缓冲区，视频就会在系统重新加载完之前卡��，常在网上追剧的人对这点应该深有体会。上述两种状况对于大部分用户来说都是难以接受的。
此前，卡内基梅隆大学曾经对此问题做过研究，他们开发过一个「模型预测（MPC）」系统，用于预测网络状态的变化和时间的关系，并依据预测结果进行优化。但该模型无法适用于流量和网络状态突然改变的情景。
MIT CSAIL 最新研发出的，被称为「Pensieve」的方法改进了现有的算法，它能够根据用户的网络状况来使用不同的视频播放方式，以实现视频的流畅播放。
具体来讲，Pensieve 不依赖于单一的模型或者算法，而是通过机器学习的方式来确定选择播基于 ABR 的放缓存内容，还是依赖网络传输速率实时播放。
研究人员经过长期的训练和试验发现，采用新 AI 算法后，视频减少了 10% 到 30% 的缓冲量，同时图像质量增加了 10% 到 25%，对于用户使用体验的提高相当明显。
MIT 的研究员在一份声明中表示，在一个月内，通过下载的视频训练神经网络，Pensieve 就能实现和 MPC 一样的分辨率质量，同时缓冲量减少 10% 到 30%。
除了将 Pensieve 用于 YouTube 这样的视频网站，MIT 的研究员认为，该技术在 VR 领域会有更加广阔的应用空间。相对于普通视频的传输，VR 视频对带宽的要求更加严苛。
除了前期录制、转码，要使 VR 视频稳定不受损，还要考虑传输速率，是否能在播放时实时搭配相应的网速。
MIT 的研究员表示：「4K 质量的虚拟现实视频至少需要每秒数百兆比特的传输速率，而目前大部分的网络速度根本无法支持，但是像 Pensieve 这样的系统可以在 VR 视频传输上有所作为，并且我相信它还会有更加广阔的应用空间，而不局限于网络视频或者 VR。」
现在，该团队正在为下周在洛杉矶举办的 SIGCOMM（美国计算机协会通信组专业会议）做准备。他们需要更多的数据对 Pensieve 的模型进行训练，以实现更高质量的视频和更快的传输速率。不仅如此，MIT 的研究团队已经开始验证 Pensieve 在 VR 视频上应用的可行性。
