看下浑视频不消开会员?NVIDIA新手艺真这么锋利?
前段时间,爱奇艺限制高清内容投屏的事情闹得沸沸扬扬。
最后在高强度的舆论压力下,爱奇艺还是 退了一步?
哦,只对老会员退了一步,新会员想要高清投屏,还是要额外花钱的。
不管爱奇艺这事儿做的有没有谱,但在如今这个万物皆可AI 的时代,视频分辨率不够的问题可能已经不是个事儿了。
就在前几天, NVIDIA 正式实装了一项 AI 视频超分辨率技术,它利用 RTX 显卡的 AI 能力,能把低分辨率( 小于1440p )的视频,直接 补像素 显示器的分辨率。
有朋友可能会有疑问,AI 视频修复,这不是一个两年前的火星话题嘛,还能有什么新花样?
你别说,还真有。
传统的 AI 视频修复,往往需要远超视频长度的计算时间,才能输出成片,也就是说,它做不到实时的修复。
举个例子,up 主 瓜瓜Mars 为了修复一段 5 分钟的陶喆演唱会视频,用 1660Ti 跑了三个小时。
这次,RTX 视频超分辨率可以在播放视频的同时,把 720p 甚至是 480p 的视频,直接超到 4k!
哎呦,想想都觉得香。
要是老黄的新技术,效果有传统的 AI 修复的八成功力,是不是以后只要不看版权内容,就可以不用为了高清视频开会员了?
传统AI修复前 ▼
修复后 ▼
上手试试呗。
先来介绍一下测试环境。
这个 RTX 超分辨率一共分成4档,档位越高,对显卡性能要求就更高,效果更好。
由于至少要 3070 才能开满4档,所以我这次就拖了张 3070Ti 看看效果。
然后又借了块 4k 显示器,这样就能把最高到 1080p 的视频,直接优化成 4k。
装完了高配的测试平台,首先来看看在 B 站上超分辨率的效果如何。
毕竟很多 B 站用户并不是来看付费的版权内容的。对于他们来说,充大会员只是为了看高清视频。
老黄的新技术,能击穿叔叔吗?
多说无益,直接上对比视频。( 来源:影视飓风 )
说实话,可能是这个视频的 1080p 画质已经够好,即使是超分辨率到 4k,总体观感也没有本质上的变化。
并没有想象中那种超分辨率之后, 一眼 4k 的感觉。
我们再找个硬件部的视频,这个视频的 1080p 画质被 B 站压缩的比较狠,看看老黄的新技术能不能给它救回来。
硬件部视频和影视飓风视频码率对比 ▼
从不开超分辨率,到开 4 挡质量,最明显的变化,就是人物被自动美白了。
080p 分辨率下效果 ▼
至于总体画面质量嘛 一眼看上去是没有啥的,但要说它开了和没开一样,那也不至于。
细节上,画质的确有提升,边缘明显锐利一些。
但真要说它带来了什么整体观感上的变化?几乎没有吧。
分辨率1080p ▼
而且真要和原生 4k 比起来,那还是差了不止一点。
既然把 1080p 超到 4k 效果不显著,那在原视频是 720p 的情况下呢?
腾讯视频和爱奇艺的免费用户,最高就只能享受 720p 的 准高清 视频, NVIDIA 的这个技术,有没有可能是考虑到这种情况?
先说结论:有效果,但是由于原始视频质量实在太低,在一些场景效果惨不忍睹。
在几乎静态的景物画面里,能很明显的看出开了超分辨率后画面清爽了很多,甚至压缩造成的色块都消失了。
腾讯视频720p ▼
比较静态的人物也优化的不错,至少美颜效果有了。
爱奇艺720p ▼
而到了运动场景,那就完全是翻车现场。
AI 超分辨率最应该解决的问题 视频过度压缩产生的色块,竟然完全没有修复。
这就让视频整体观感变化不大,依然一坨,清晰干净不起来。
腾讯视频720p ▼
场景中快速运动的人,更是让情况恶化了。
都说看 AI 先看手,没想到这个用在生成式AI上的定律,在超分辨率 AI 上也有用。
哼哼,露出 AI 脚了吧 ▼
除了 AI 的传统艺能,它甚至还会往人类脸上 P 一对酒窝。
其实是AI伪影,上一帧的衣领被AI当成酒窝留下来了 ▼
就以目前这个表现,这种实时超分辨率的 AI 还是砸不了视频网站的饭碗。
总而言之,目前 RTX 视频超分辨率只在比较窄的场景有明显的提升,并没有两年前 AI 修复视频那种焕然一新的感觉。
要知道,之前的 AI 修复可是能把一个 DVD ( 720 x 480 ) 分辨率的视频修到 4k 级别的清晰!
瓜瓜Mars,【4K修复】陶喆《Melody》史上最强现场版 ▼
如果在未来,随着 AI 能力和显卡算力的进步,实时生成的超分辨率视频也能接近传统 AI 修复的水平,那它或许真的能带来一些变化。
比如像画质不清晰的老电影或者老电视剧,现在想看高清还需要人工修复,以后直接交给显卡,它实时边修我们边看也不是不可能。
不过现在这效果,还是挺图一乐的,有 30、40 系 N 卡的不妨可以试试。