【51CTO.com原创稿件】跟着人工智能年代的到来，在商业规划范畴，艺术与技能的比赛，逐渐成为当下人们重视的热点话题。

苏宁易购作为“才智零售”的***者和实践者，一个一同具有线上线下，供给用户多场景购物体会的互联网零售企业，也正在积极探究怎么将二者结合。

智能化风口，怎么让“艺术+技能”发挥到***？

现在，苏宁易购线上各个端口现已完成针对不同用户人群的精准化产品推送。

在智能化这个“风口浪尖”，苏宁极客们在考虑，怎么让“艺术+技能”在用户引流要害点的易购线上产品广告位（产品展现 banner 图）的作用发挥到***。

在此之前，每一张线上的产品展现 banner 都是由规划一张一张手绘出来，功率不高且 banner 生成周期较长，很难满意密布的大促需求。

别的，当引荐算法需求向用户引荐不同产品时，则需求运营人员依据产品手动匹配不同的底版（banner 元素中除掉产品图的元素资料图），这样耗时耗力。

因而，一套智能规划渠道—“千变 banner”就应运而生。该渠道依据机器学习，能够依据上传资料依照规划言语在线生成百余张定制 banner。

一同依据用户偏好，动态展现 banner 图，进步单个广告位的运用率。并且依靠智能引荐，能够供给苏宁易购线上广告位的千人千面展现。

本文首要介绍苏宁在 AI 广告规划范畴，以苏宁易购线上产品广告位展现 banner 为运用场景的全体作业流程，以及相关的算法技能结构。

banner 智能规划的全体流程和技能难点

banner 智能规划的全体流程

一张 banner 图（如下图所示）首要包含两大维度信息：产品图和装修烘托产品的规划布景图，咱们称之为底版，故一张 banner 的生成作业也是从这两个维度来打开。

图 1：banner 维度信息拆分

详细的作业流程图如下所示，一方面是依据引荐算法引荐的产品图，从中抠出产品主体。

当然在切开之前，首要需求对产品图片预先点评，过滤挑选掉一些质量较差的产品图片。

与此一同，底版也在同步生成，切开后的产品图再与生成的底版进行匹配得到同一产品的多张 banner，这些 banner 则会进入到咱们的打分模型进行挑选，然后输出***质的产品 banner。

图 2：banner 智能规划全体流程结构

流程中的每一个阶段都至关重要且直接影响到***生成 banner 的质量，而两个维度中的部分模块的技能完成上也存在着许多技能难题，首要体现在以下几个方面。

banner 智能规划的技能难点

技能难点一：banner 中产品主图的切开

作为一张 banner 图的中心、用户引流的要害要素，展现的产品主图质量至关重要。

前期 banner 图上的产品主图都是靠规划师手艺切开出来，再规划底版进行组合生成的。

而现在，咱们想经过机器来主动生成 banner，那就需求运用图画切开算法来替代这部分手动抠图作业。

为了确保宣扬的美感和规划感以及一些产品促销宣扬点的杰出，规划师们将产品图进行包装润饰，加上某些产品自身的特色，这些又成为咱们切开使命的“难例”，比方家电品类的镜像、暗影、以及产品图中的宣扬贴等。

但是传统的图画切开技能大多是依据图画自身的低层级的视觉信息来进行的，如下的展现为运用依据图办法的 grabcut 切开成果。

图 3： 依据 grabcut 产品图画切开成果

从右图能够看出，尽管产品的主体部分很简单被切开出来，但盒身的暗影部分严重影响了切开作用，且在边际部分切开的极为粗糙，显着达不到苏宁易购线上产品展现图的规范。

故探究一种能有用处理这些切开难例，完成产品图精密化切开的办法，显得十分重要。

技能难点二：规划言语到机器言语的转化

提到这，咱们先回到“人工智能”这个词自身——所谓的人工智能，其根本便是先是有人工，其次才是智能。

相同的，在 banner 智能规划的场景下，最重要也是最根底的便是底版数据，这些数据现在就来历于人工。

怎么经过这些“人工”数据，转变成“智能”数据，让规划师的规划数据转变成机器能够学习的机器数据，这正是咱们在底版生成这个阶段的一大难题。

在 banner 底版元素库的树立阶段：在与 banner 规划师交流之后，咱们将一张 banner 的元素逐层拆分隔如下图所示，首要包含：布景层、纹路层、布景装修层、蒙层、产品装修层、以及一些案牍信息。

一同，把各底版的图层元素依照不同特点别离标示打上标签，如依据产品品类的标签：家电、食物等，运用类型标签：日常、大促等。

这些标签完善之后，依据这些标签，树立不同的图层库，这样咱们的图层元素中心便树立起来。

图 4：banner 的各层元素图

图 5：banner 布局的模版示例图

在 banner 底版生成及挑选阶段：依据上述树立的元素中心，依据规划师预先界说好的布局标签，部分如上图所示，就能生成特定风格、尺度、特定品类的底版。

一同，每生成一张底版，就记录下该底版对应来历的父系元素标签，便于对底版数据的剖析挑选。

此刻，咱们注意到假如仅依照不同的图层元素的随机组合，即便很少的资料输入也会生成许多的底版，这些底版许多是显着不能运用的。

故在生成底版阶段，算法依据规划师的规划言语，将一些规划的“潜规矩”转化成机器言语，预先躲避这些 badcase 的生成。

如当底版布景层的色彩值较小时，蒙层则应挑选透明度较高的，且色值附近的两层，不能被调配在一同等等。

在底版生成的阶段就参加这些默许的规矩，这使得生成的底版至少契合规划的规范，然后降低了后期 banner 挑选的样本量。

图 6：生成的底版样例图

在产品图与底版的匹配阶段：底版生成和产品图切开之后，就进入了二者匹配交融阶段。

实践上，产品图与底版能否调配其实是一个十分片面性的概念，即便不同的规划师也会有不同的规划调配风格。

并且一张产品图片假如与生成的底版进行全量调配，则会得到许多的 banner，事实上许多 banner 是会被审阅挑选的且徒增作业量。

相同的，咱们遵从底版生成规矩的思路，提早从规划言语笼统出机器能学习的不能调配的数字言语。

依据“规矩+算法”的逻辑，将产品与底版调配组合的这一动作笼统成特征匹配的进程。

在匹配算法的特征提取阶段，选定底板中产品展现区域作为特征提取 ROI，再提取待叠加产品图画的色彩特征，核算二者特征间隔决议能否匹配。

一同让机器将这些不能匹配的特征值进行量化，构成线性的不行匹配特征区间。

当某底版再次遇到落在其对应的不行匹配特征区间内的产品图画时，则不进行叠加生成 banner。

技能难点三：banner 打分规矩的树立

当个性化算法引荐的产品匹配到底版生成多张 banner 之后，就会进入咱们的 banner 点评体系进行打分，再进行模型练习。该体系是将许多的规划制品作为点评依据，然后输出一张***质的 banner。

但实践上说 banner“优质”也是十分片面的，它在开发人员的眼中或许是极好的，但是在规划人员视点看或许便是被挑选的，所以一张 banner 的好坏需求从不同的视点来点评。

除此之外，一张不合格的底版，或许只是由于产品图的匹配不抱负而被挑选，所以算法需求知道挑选底版被挑选的要素。

综上，咱们界说了如下两个概念：

• 打分项：望文生义即为该 banner 需求被打分符号的元素项。现在首要的打分项有：案牍的色彩、产品匹配、底版匹配等，其间对底版的打分依照生成的其父系标签进行打分，精密到每一个图层元素。
• 打分维度：即从不同的维度对生成的 banner 进行打分。综合该 banner 从规划到其线上体现等要素，咱们把打分维度概括为规划师、banner 的线上曝光点击比和一般的线下用户。

在模型练习阶段，banner 的打分首要由运营人员和规划师来决议得分标签，输入到网络中进行练习输出成果。

在模型验证阶段，由输出成果的线上曝光点击份额来决议此张 banner 的得分标签，再反应回模型不断的强化学习，确保从多个维度不断完善该点评机制。

banner 智能规划的相关算法模型介绍

依据深度学习的智能抠图算法

为了完成对引荐产品图的精密化切开，苏宁图画标示团队对产品图画进行了许多的像素等级的标示，并构建依据深度学习的深度卷积神经网络结构，进行练习来树立产品图的切开算法模型，一同对切开成果进行优化，进步切开产品图质量。

选用 Dilated Convolution 空泛卷积

传统的 CNN 网络结构中大多选用 pooling 池化来抵达降维的意图，这就会导致经过池化后的特征层上像素尺度比较低。

即便经过上采样的操作，例如 FCN 便是先进行 pooling 减小图画尺度，再进行 upsampling 扩展原图画尺度，这样不断重复减小扩展的进程就导致了 featuremap 上精度的丢失。

因而咱们构建的切开网络中选用空泛卷积的做法是：去掉池化层，一同在卷积操作后进行如图所示的操作，然后能够扩展感触野，再对提取到的 featuremap 操作来完成愈加精确的产品图画切开。

图 7：空泛卷积示意图

全衔接条件随机场精修产品图边际

在切开网络的前端运用的深度卷积神经网络，该网络能够很好的猜测是否有产品，以及产品在图画中的大致方位区域，但并不能精确的定位到产品图画的鸿沟，相同会导致切开的边际不精密。

故在咱们切开网络的后端参加了全衔接的条件随机场（conditional random field，CRF）对神经网络猜测的成果进行优化。

CRF模型中将图画中每个像素点所属的类别表明成一个变量，然后再考虑恣意两个变量之间的联络。

对应的能量函数为：

其间，是一元项，表明像素对应的语义类别，二元项便是描绘像素点与像素点之间的联系，依据两个像素点的实践间隔和色彩信息来判别，越类似的像素得到相同的标签。

所以这样 CRF 能够使图片尽量在鸿沟处切开，***经过不断的优化该能量函数抵达抱负的切开作用。

切开图画抗锯齿

即便运用“像素级”的切开办法能够很好的将产品主图抠出来，但一同带来的副作用便是在产品图的边际存在锯齿，严重影响 banner 的展现作用。

故在切开网络之后，咱们又参加了抗锯齿的算法。提取切开后产品图画的 alpha 通道，获取图画边际，并依照边际锯齿的形状，分红 16 种 pattern 如下图所示：

图 8：抗锯齿边际核算

依据不同的锯齿形式从头核算边际区域的像素值，如下右图所示，图画边际过渡就显得十分滑润，然后抵达消除锯齿的意图。

图 9：抗锯齿优化比照

依据多使命学习的 banner 点评模型

多使命学习

在树立点评模型的初期，咱们也测验了多种计划，例如树立一个学习使命的点评网络仅针对产品图与底版匹配是否合理的，实践的练习进程中咱们发现这一个单使命的网络很快就收敛，且测验也呈现过拟合。

后期调整练习的网络结构添加卷积层层数，问题仍未得到改进，故考虑到单使命学习的局限性，测验从多使命学习视点来树立 banner 点评模型。

多使命学习能够学到多个使命的同享表明，这个同享表明具有较强的笼统才能，能够习惯多个不同但相关的方针，一般能够使主使命取得更好的泛化才能。

在 banner 点评的维度上，并没有主次使命之分，每一个使命相对于其他使命来说都能够看成是一个主使命。

多个相关使命放在一同学习，有相关的部分，但也有不相关的部分。当学习一个使命时，与该使命不相关的部分，在学习进程中适当所以噪声，能够进步学习的泛化作用。

图 10：banner 点评网络全体架构

banner 点评网络的结构简介

参阅 Inception v3 网络结构的规划思路，咱们在网络中特征提取阶段中运用两个一维的 1x3 和 3x1 的卷积核替代 3x3 的卷积核，这样网络层数进一步加深，一同一个卷积核拆分红两个卷积核能够添加网络的非线性。

网络中参加 Batch Normalization 层。BN 是一种十分有用的正则化办法，能够有用的加速网络练习速度，一同收敛后的分类精确率也能够得到大幅进步。

BN 在用于神经网络某层时，会对每一个 mini-batch 数据的内部进行规范化（normalization）处理，使输出规范化到 N(0，1) 的正态分布。

在模型的练习进程中，咱们添加学习率以适用BN规范化后的数据，去除 Dropout 并减小 L2 正则（BN 现已起到正则化的作用）。

图 11：Inception 网络结构

点评网络的丢失函数选用 SoftMaxWithLoss，一同对应的网络中添加 Slice layer，将 input 的 label 标签进行拆分，然后完成对 banner 中每一个评分项进行点评输出。

总结及作业方向

日前，该智能规划渠道现已支撑苏宁易购线上的一切产品广告位的 banner 展现，在阅历苏宁易购 O2O 购物节和年货节等大促的线上洗礼之后，千变 banner 益发的老练与安稳，极大的减少了规划师的重复作业，一同也能满意运营人员许多的 banner 需求。

现在咱们的全体架构是依照这个思路进行生成 banner 以及挑选到线上推行的，但想要 banner 规划愈加的智能化，就要尽或许少的让规矩干涉规划，尽或许多的依据算法完成。

所以依据规划师等各方的反应，总结出之后的三个作业方向。

banner 元素的自习惯排版

现在 banner 上的元素的布局都是相对固定的，这就导致了不同尺度的底版元素兼容性不高，对底版的生成有必定的局限性。

现在咱们这块的作业是经过机器来学习元素的排版布局，对应到易购线上不同的广告宣扬位，针对性的处理 banner 尺度的自习惯缩放。

banner 底版智能上色

现在生成的底版尽管能满意日常的线上运用，但由于底版的生成是依据元素库的，只生成已有的，而不能进行发明。

换言之，实践上做的是美工的作业，而不是规划。所以咱们就想运用规划师的手稿进行主动上色，来真实的做到“千人千面”，“千物千面”。

图12：苏宁易购线上展现 banner 底版

图 13：灰度格局的底版及模型主动上色的底版

从上图两组开始的主动上色成果能够看到，全体来看智能上色这个计划仍是可行的。但是在一些细节装修的边际部分还没能抵达高分辨率的要求。

一同，在一些浅层的纹路层，算法的上色作用不是特别显着，所以这块的作业方向是抵达一个高分辨率的主动上色。

从线上推行到线下

现在智能规划的渠道现已逐渐在线上推行运用，苏宁现已具有几千家线下门店，且跟着苏宁“才智零售”的 2w 家门店的大开发战略，相同也有许多的宣扬版面的视觉规划作业要进行，且需求量巨大。

所以未来的作业方向之一也在于运用线上 banner 的生成思路，进行线下门店的的视觉规划。

童欣欣，苏宁易购人工智能实验室算法工程师，参加产品图画识别和 AI 智能规划并进行相应的研讨和开发作业。具有杰出的技能知识布景，在深度学习、图画识别、算法功能优化等方面有着深入的了解和丰厚的经历。

【51CTO原创稿件，协作站点转载请注明原文作者和出处为51CTO.com】