看下浑视频不消开会员?NVIDIA新手艺真这么锋利?

前段时间,爱奇艺限制高清内容投屏的事情闹得沸沸扬扬。

最后在高强度的舆论压力下,爱奇艺还是 退了一步?

哦,只对老会员退了一步,新会员想要高清投屏,还是要额外花钱的。

不管爱奇艺这事儿做的有没有谱,但在如今这个万物皆可AI 的时代,视频分辨率不够的问题可能已经不是个事儿了。

就在前几天, NVIDIA 正式实装了一项 AI 视频超分辨率技术,它利用 RTX 显卡的 AI 能力,能把低分辨率( 小于1440p )的视频,直接 补像素 显示器的分辨率。

有朋友可能会有疑问,AI 视频修复,这不是一个两年前的火星话题嘛,还能有什么新花样?

你别说,还真有。

传统的 AI 视频修复,往往需要远超视频长度的计算时间,才能输出成片,也就是说,它做不到实时的修复。

举个例子,up 主 瓜瓜Mars 为了修复一段 5 分钟的陶喆演唱会视频,用 1660Ti 跑了三个小时。

这次,RTX 视频超分辨率可以在播放视频的同时,把 720p 甚至是 480p 的视频,直接超到 4k!

哎呦,想想都觉得香。

要是老黄的新技术,效果有传统的 AI 修复的八成功力,是不是以后只要不看版权内容,就可以不用为了高清视频开会员了?

传统AI修复前 ▼ 

修复后 ▼

上手试试呗。

先来介绍一下测试环境。

这个 RTX 超分辨率一共分成4档,档位越高,对显卡性能要求就更高,效果更好。

由于至少要 3070 才能开满4档,所以我这次就拖了张 3070Ti 看看效果。

然后又借了块 4k 显示器,这样就能把最高到 1080p 的视频,直接优化成 4k。

装完了高配的测试平台,首先来看看在 B 站上超分辨率的效果如何。

毕竟很多 B 站用户并不是来看付费的版权内容的。对于他们来说,充大会员只是为了看高清视频。

老黄的新技术,能击穿叔叔吗?

多说无益,直接上对比视频。( 来源:影视飓风 )

说实话,可能是这个视频的 1080p 画质已经够好,即使是超分辨率到 4k,总体观感也没有本质上的变化。

并没有想象中那种超分辨率之后, 一眼 4k 的感觉。

我们再找个硬件部的视频,这个视频的 1080p 画质被 B 站压缩的比较狠,看看老黄的新技术能不能给它救回来。

硬件部视频和影视飓风视频码率对比 ▼

从不开超分辨率,到开 4 挡质量,最明显的变化,就是人物被自动美白了。

080p 分辨率下效果 ▼

至于总体画面质量嘛 一眼看上去是没有啥的,但要说它开了和没开一样,那也不至于。

细节上,画质的确有提升,边缘明显锐利一些。

但真要说它带来了什么整体观感上的变化?几乎没有吧。

分辨率1080p ▼

而且真要和原生 4k 比起来,那还是差了不止一点。

既然把 1080p 超到 4k 效果不显著,那在原视频是 720p 的情况下呢?

腾讯视频和爱奇艺的免费用户,最高就只能享受 720p 的 准高清 视频, NVIDIA 的这个技术,有没有可能是考虑到这种情况?

先说结论:有效果,但是由于原始视频质量实在太低,在一些场景效果惨不忍睹。

在几乎静态的景物画面里,能很明显的看出开了超分辨率后画面清爽了很多,甚至压缩造成的色块都消失了。

腾讯视频720p ▼

比较静态的人物也优化的不错,至少美颜效果有了。

爱奇艺720p ▼

而到了运动场景,那就完全是翻车现场。

AI 超分辨率最应该解决的问题 视频过度压缩产生的色块,竟然完全没有修复。

这就让视频整体观感变化不大,依然一坨,清晰干净不起来。

腾讯视频720p ▼

场景中快速运动的人,更是让情况恶化了。

都说看 AI 先看手,没想到这个用在生成式AI上的定律,在超分辨率 AI 上也有用。

哼哼,露出 AI 脚了吧 ▼

除了 AI 的传统艺能,它甚至还会往人类脸上 P 一对酒窝。

其实是AI伪影,上一帧的衣领被AI当成酒窝留下来了 ▼

就以目前这个表现,这种实时超分辨率的 AI 还是砸不了视频网站的饭碗。

总而言之,目前 RTX 视频超分辨率只在比较窄的场景有明显的提升,并没有两年前 AI 修复视频那种焕然一新的感觉。

要知道,之前的 AI 修复可是能把一个 DVD ( 720 x 480 ) 分辨率的视频修到 4k 级别的清晰!

瓜瓜Mars,【4K修复】陶喆《Melody》史上最强现场版 ▼

如果在未来,随着 AI 能力和显卡算力的进步,实时生成的超分辨率视频也能接近传统 AI 修复的水平,那它或许真的能带来一些变化。

比如像画质不清晰的老电影或者老电视剧,现在想看高清还需要人工修复,以后直接交给显卡,它实时边修我们边看也不是不可能。

不过现在这效果,还是挺图一乐的,有 30、40 系 N 卡的不妨可以试试。