很多深度学习方法实现了不错的抠图效果，但它们无法很好地处理高分辨率图像。而现实世界中需要使用抠图技术的图像通常是分辨率为 5000 × 5000 甚至更高的高分辨率图像。
许多深度学习办法完成了不错的抠图作用，但它们无法很好地处理高分辨率图画。而实践国际中需求运用抠图技能的图画一般是分辨率为 5000 × 5000 乃至更高的高分辨率图画。怎么打破硬件约束，将抠图办法运用于高分辨率图画？来自 UIUC、Adobe 研讨院和俄勒冈大学的研讨者提出了一种新办法。
抠图是图画和视频修改与组成的关键技能。一般，深度学习办法会以整个输入图画和相关的 trimap 作为输入，运用卷积神经网络来揣度远景蒙版（alpha matte）。这种办法在图画抠图范畴完成了 SOTA 成果。可是，由于硬件约束，这些办法在实践的抠图运用中可能会失利，由于实践国际中需求抠图的输入图画大多具有很高的分辨率。
近来，来自伊利诺伊大学香槟分校（UIUC）、Adobe 研讨院和俄勒冈大学的研讨者提出了一种名为 HDMatt 的新办法，这是首个处理高分辨率输入图画的深度学习抠图办法。
早在 2017 年，Adobe 等组织就宣布论文《Deep Image Matting》，选用大规模数据集与深度神经网络学习图画的天然结构，进一步别离图画的远景与布景。而那篇论文的一作 Ning Xu 正是这篇论文的第二作者。只不过，研讨者这次将锋芒对准了高分辨率图画。
论文地址：https://arxiv.org/pdf/2009.06613.pdf
具体来说，HDMatt 办法运用新式模块规划，以根据 patch 的取舍 - 拼接办法（crop-and-stitch）为高分辨率输入图画进行抠图，从而处理不同 patch 之间的语境依赖性和共同性问题。根据 patch 的原版揣度办法独自核算每个 patch，而该研讨提出了新的模块——CrossPatch Contextual module (CPC)，该模块由给定的 trimap 辅导，对跨 patch 语境依赖性进行建模。
很多试验表明晰该办法的有用性及其关于高分辨率输入图画的必要性。HDMatt 办法在 Adobe Image Matting 和 AlphaMatting 基准上均完成了新的 SOTA 功能，并且在更实在的高分辨率图画上获得了优异的作用。
下图展现了，在处理高分辨率图画时，HDMatt 办法与之前最优办法 ContextNet 的比照成果：
ContextNet 别离运用了下采样 (DS) 和取舍 (C) 战略。从图中可以看出，DS 导致细节含糊，取舍则导致跨 patch 不共同问题。
而该研讨提出的 HDMatt 办法处理了这两个缺点，抠图作用与真值（上图 c）最接近，这说明该办法可以拟合精密细节。
该研讨的首要奉献有：
这是首个根据深度学习的高分辨率图画抠图办法，在硬件资源约束下使实践国际中的高质量 HR 抠图成为实践。
提出一种新式模块 CPC，用来捕获 patch 之间的长程语境依赖性。在 CPC 内部，新提出的 Trimap-Guided Non-Local（TGNL）操作旨在高效传达来自 reference patch 不同区域的信息。
在定量和定性试验方面，HDMatt 办法在 Adobe Image Matting (AIM)、AlphaMatting 基准和实在高分辨率图画数据集上均完成了新的 SOTA 功能。
HDMatt 办法
为了处理高分辨率图画的抠图问题，该研讨提出 HDMatt 办法，该办法首先将输入图画和 trimap 取舍为 patch，然后估量每个 patch 的 alpha 值。仅运用一个 patch 的信息会导致信息丢掉以及不同 patch 之间的猜测不共同问题。因而，该研讨提出新式 Cross-Patch Context Module (CPC) 模块，高效使用每个 query patch 的跨 patch 信息。终究，将每个 patch 的估量 alpha 值衔接，输出整个图画终究的远景蒙版。
下图 2 展现了 HDMatt 办法的全体结构：
下图 3 展现了 CPC 模块的作业流程：
试验
Adobe Image Matting 基准数据集
下表 1 展现了 HDMatt 办法与其他 SOTA 办法在 Adobe Image Matting 测验集上的功能比照成果。HDMatt 办法在所有评价衡量目标上均优于其他办法。
研讨人员还对这些办法（包含 IndexNet 和 ContextNet）的实践作用进行了比照，如下图 4 所示：
从中可以看出，HDMatt 办法可以更好地处理大型不知道区域（即很少远景或布景信息的区域）。
AlphaMatting 基准数据集
表 2 列出了在 AlphaMatting 基准数据集上 SAD 目标体现最优的四个办法，HDMatt 办法在具有较大或用户 trimap 的图画上体现优异。这进一步证明了，当 trimap 中存在很多不知道区域时，HDMatt 办法可以有用捕获长程语境依赖性。
下图展现了不同办法在 AlphaMatting 测验集上的抠图成果，自左向右别离是输入图画、Trimap、AdaMatting [1]、SampleNet [35]、GCA Matting [24] 和 HDMatt。从图中可以看出，最右一列 HDMatt 办法的抠图作用最精密。
实在图画
除了这些数据集以外，研讨人员还在网上收集了一些分辨率最高可达 6000 × 6000 的高分辨率图画，并在这些实在图画上进行测验。
下图 5 展现了将整张图画作为输入时，IndexNet、ContextNet 和 HDMatt 办法的功能。从成果中可以看到，HDMatt 办法可以提取更精密准确的细节，一起揣度速度也更快。不过，该办法仍丢掉了一些最精微的细节。
根据 Context Patch 的留意力可视化
下图 7 展现了在给定 query patch 上根据选定 context patch 的留意力求：
控制变量研讨
下表展现了控制变量研讨的成果：
