本文经AI新媒体量子位（大众号ID:QbitAI）授权转载，转载请联络出处。

还在为图画加载发愁吗？

最新的好消息是，谷歌团队选用了一种GANs与根据神经网络的紧缩算法相结合的图画紧缩方法HiFiC，在码率高度紧缩的情况下，仍能对图画高保真恢复。

GAN（Generative Adversarial Networks，生成式对立网络）望文生义，体系让两个神经网络彼此「磨炼」，一个神经网络担任生成挨近实在的数据，另一个神经网络担任区别实在数据与生成的数据。

简略来说，便是一个神经网络「造假」，另一个神经网络「打假」，而当体系到达平衡时，生成的数据看起来便会十分挨近实在数据，到达「以假乱真」的作用。

下面是这种算法展现出来的图画与JPG格局图画的比照。

可见，在图画巨细挨近的情况下（HiFiC巨细74kB，JPG图画巨细78kB），算法所展现出来的图画紧缩作用要好得多。

而在与原图进行比照时，HiFiC所展现出来的恢复作用依然十分优异。（真的不是在原图中心画了条线吗？）

现在处于特别时期，很多国外网友仍在家中阻隔，Netflix和油管的播放量暴增，一些视频网站乃至不得不被逼下降视频在线播放的明晰度，以习惯激增的数据量。

但看惯了高清视频的网友们，面临出人意料的「含糊冲击」天然天怒人怨。

用一位网友的话来说，假如视频职业也能被使用相似的技能，信任Netflix和油管会特别快乐，终究这种高清低码率的图画恢复实在太引诱。

哇，假如他们能够对视频做相同的作业的话，我信任Netflix和YouTube会很快乐的。

事实上，在了解HiFiC算法的原理后，会发现它确实不难完结。

挨近原图的图画重构算法

此前，相关研讨已有选用神经网络进行图画紧缩的算法，而跟着近年来生成式对立网络鼓起，选用GANs生成以假乱真图画的算法也不在少数。

假如能有方法将二者结合，图画紧缩的作用是不是会更好、更挨近于人类的感知？

这次图画紧缩的模型便是根据二者的特性规划，在根据神经网络的紧缩图画算法基础上，选用GANs进一步让生成的图片更挨近于人类视觉，在图画巨细和视觉感知间到达一个平衡。

能够看见，HiFiC的架构被分成了4个首要部分，其间E为编码器，G为生成器，D为判别器，而P则是E的输出E(x)的概率模型（这儿用y表明），也便是P用于模仿y的概率散布。

GANs运作的中心思维在于，需要让架构中的生成器G通过某种方法，「诈骗」判别器D断定样本为真。

而概率模型P，则是达到这步操作的条件。

然后，将E、G、P参数化为卷积神经网络，这样就能够通过率失真优化的条件，对这些网络进行一起练习。

一起，研讨者也对已有的几种GANs算法架构进行了微调，使其更适于HiFiC架构。

研讨发现，将GANs与深度学习相结合的HiFiC算法取得了意想不到的作用。

模型评价

下图是选用现在几种干流图画质量评价规范，对几种前沿的图画紧缩算法与HiFiC算法进行比较的成果。

在图中，评价规范后边自带的箭头，表明数据更低（↓）或数据更高（↑）表明图画质量更好。

为了更好地比照，成果别离选用了HiFiC算法（图中红点连线）、不带GANs的比照算法（图中橙方连线）、现在较为前沿的M&S算法（图中蓝方连线）和BPG算法（图中蓝点连线）。

从成果来看，HiFiC算法在FID、KID、NIQE、LPIPS几种评价规范均为最优，而在MS-SSIM和PSNR规范中体现一般。

由评价规范间的差异可见，各项图画质量规范纷歧定是判别紧缩技能的最好方法。

用户评测比照

终究，图画是用来看的，终究的判别权还得交回用户手里。

图画终究是否「明晰」，某种程度上得通过人眼的判别来决议。

出于这个考虑，团队采取了调研形式，让一部分志愿者参加算法的比较。

他们先展现一张测验图片的随机裁切图样，当志愿者对其间某张裁切图样感兴趣时，便用这一部分来进行一切算法的比照。

志愿者将原图与通过算法处理后的图画比照后，选出他们以为「视觉上」更挨近于原图的紧缩算法。

在一切算法通过选取后，将会呈现一个排名，以衡量HiFiC的实际作用。（其间，HiFiC的角标Hi、Mi和Lo别离为设置由高至低3种不同码率阈值时的算法）

上图中，评分越低，则代表图画在用户眼中「越明晰」。从图中来看，HiFiC(Mi)在0.237bpp的紧缩作用下，乃至比两倍码率的0.504bpp的BPG算法在用户眼里还要更好。

即便紧缩作用到达了0.120bpp，也比0.390bpp的BPG算法更好。

这项研讨再次推动了图画紧缩技能的开展，正如网友所说，跟着图画紧缩技能的开展，在线看4k电影或许真能完结。

作者介绍

Fabian Mentzer，现在在瑞士苏黎世理工学院进行计算机视觉研讨，感兴趣的研讨方向有深度学习、图画紧缩、前馈神经网络、图画分类等。

这篇论文的首要作业由Fabian Mentzer在谷歌研习期间完结，其他三位作者均来自谷歌团队。

现在有关这个项目的源代码和练习好的模型也行将放出，小伙伴们能够戳下方传送门检查最新进展。

传送门

项目链接
https://hific.github.io/