在快消职业的产品辨认需求场景中，快消品牌商的事务代表在终端门店拜访出售时，需对产品陈设规范进行查看。传统做法需求人工核算，消耗时刻长，人力本钱高，且数据实在性无法保证。快消品牌商为了对访销进程进行精细化办理，开端运用SFA、DMS等东西进行数字化转型，并探究运用AI技能对现有的数字化访销完结“降本、增效、动销”，推进其规模化落地，终究拉动成绩增加。

　　EasyDL是依据百度飞桨结构PaddlePaddle推出的面向企业打造的一站式AI开发途径，包含经典版、专业版、零售版三款产品，面向不同人群、不同场景需求，供给高效进行AI模型开发布置的途径产品。其间百度EasyDL零售版环绕零售快消品职业的数字化访销场景，供给了中心的产品检测辨认模型及配套服务才干，包含定制产品检测服务、规范产品检测服务和货架拼接服务。规范产品检测服务供给无需练习即可直接运用的产品检测API，支撑辨认数千种常见饮品和日化用品;定制产品检测服务，供给易操作的定制模型页面，用户仅需求五步便能够定制新的产品辨认模型。规范和定制产品检测服务都支撑回来产品的称号、品牌、规范和产品在图中的方位，可用于辅佐核算完好货架上的产品排面、货架占比、产品分销等陈设目标。因为一些门店内的货架较长，需求对多张货架部分图片进行拼接，才干核算完好货架上的产品陈设目标，因而主动完结货架拼接并智能辨认产品，成为快消品职业陈设审阅功率进步的重要环节。为了满意这一需求，百度EasyDL零售版推出了货架拼接服务。

　　百度飞桨EasyDL零售版货架拼接服务支撑将多个货架的部分图片或视频，组合为完好货架图片;一起支撑运用定制的或规范的产品检测服务对部分货架图片进行产品检测，并在拼接好的完好货架图中输出产品检测成果，其间包含SKU的称号和数量，适用于需求在长货架进行产品检测的事务场景，并且支撑云服务调用、离线SDK布置或生成APP。下面，咱们来看看货架拼接服务的运用办法和具体完结细节。

　　1、百度飞桨EasyDL货架拼接服务结构总览

　　上图是货架拼接服务的全体结构总览图，用户能够经过三种办法运用与体会：1)直接调用云服务API;2)运用离线布置SDK;3)生成体会APP。

　　在云服务API办法中，为了便利用户对需拼接的货架图片进行上传、查询等动作，咱们供给了6个API接口，分别为：创立使命、上传图片、开端使命、查询成果、停止使命和使命列表。其间，在查询成果这个API中，依据使命状况的进展不同，共有六种或许的使命状况，包含：Created(已创立)、Queued(排队中)、Running(正在拼接)、Success(拼接成功)、Failure(拼接失利)、Terminated(已停止)。下图为使命状况的转换图：

　　离线SDK是将API进行封装后，支撑用户快速布置到多种硬件环境中离线运用，满意各类无网络环境或需求高并发回来猜测成果的场景运用。

　　当用户完结模型发布后，在货架拼接服务的页面上能够挑选生成体会APP，下载到手机进行运用。体会APP支撑用户拍照货架视频，APP会主动对视频进行抽帧获取部分货架图片。假如用户没有发布一个模型但想要体会APP的运用，也能够经过https://ai.baidu.com/easydl/app/1001/vas/img-stitch请求邀测权限，进程如下：

　　整个货架拼接流程中运用的要害模块和功用包含：

　　1)Task Manager： 使命信息办理服务，供给了6个通用的API，办理货架拼接使命的meta数据、完结用户对使命的各种操作，对用户数据鉴权等;

　　2)Daemon Scheduler：后台看护进程，担任扫描和调度可履行的货架拼接离线使命;对使命进行流控办理;使命履行反常查看等;

　　3)DagTask Scheduler：依据有向无环图(DAG)调度和履行使命。因为货架拼接离线使命流程较为杂乱，能够分为若干个子使命，部分子使命可并行履行，经过DAG的办法来安排和运转全体离线使命，能够进步使命的运转功率，后面会具体介绍离线使命的完好结构。

　　2、百度飞桨EasyDL货架拼接离线使命完结详解

　　接下来，一起了解下离线使命是怎么完结的。货架拼接服务支撑用户上传从上到下、横向拍照的多个视频或许多组部分货架图片，货架拼接使命会先后进行横向和纵向的货架图片拼接，获取完好的货架大图;别的因为用户在百度EasyDL途径练习产品检测模型运用的往往是货架的部分图片，因而需求运用部分图片调用API进行产品检测，并依据拼接参数将检测框的方位校准的拼接大图上。整个流程可拆分为以下5个子使命：

　　1) 调用用户指定的定制或许规范的产品检测模型服务对部分货架图片进行产品检测，获取产品称号和在部分图片上的检测框方位信息。

　　2) 对每一组从左到右拍照的部分货架图片，取得一张拼接的完好货架图片。

　　3) 经过进程2，获取N组货架图片横向拼接后生成的大图，对N张大图进行纵向的图片拼接，取得终究完好的货架完好大图。

　　4) 关于每一组从左到右拍照的图片，经过进程2会得到的一组拼接参数，运用这组参数核算，对这组图片的产品检测框的方位进行相应的平移、旋转、拉伸等，将检测框横向校准到拼接大图上的相应方位，并对堆叠较多的检测框进行去重。

　　5) 相似与进程4，经过进程3发生的拼接参数，对进程4横向校准后的产品检测框，再次做纵向的方位校准，得到产品在终究大图上的方位。

　　整个流程全体能够安排如下所示的DAG：

　　从上图能够发现，在使命开端阶段，子使命1和2没有依靠的联系，可并行运转;在子使命2成功后，使命3即可运转，无需等候子使命1的成果;经过DAG办法能够使得子使命部分并行运转，加速全体拼接使命的处理速度。别的，货架图片拼接子使命经过容器化的办法运转，防止对布置环境的依靠，进步可扩展性;经过调度资源东西，防止GPU、CPU等资源的抢占抵触，进步拼接使命的可靠性。

　　3、百度飞桨EasyDL货架拼接算法详解

　　纵观整个货架拼接离线使命，其间较为中心的仍是货架拼接算法，算法的规划决议了拼接使命的速度、可靠性以及成果的精确性等。下面，将对货架拼接算法进行具体介绍。

　　3.1、货架拼接算法

　　货架拼接算法本质上是归于图画拼接算法的领域，在图画拼接算法中，现在主要有三种不同的办法：1)大局对齐办法，以一个单应性矩阵来对齐图画，经过求解相机参数对图画进行改换和交融，输出拼接图画;2)空域改变制作办法，将图画划分为密布的网格，每个网格都用一个单应性矩阵对齐，然后对每个网格进行优化变形，选用大局对齐相似的办法对网格图画进行拼接;3)缝合线主导办法，以匹配图画之间的缝合线为主导，不必严厉去对齐整个堆叠区域，而是只对齐缝合线邻近的区域，经过缝合线完结图画的拼接。

　　而关于货架拼接的场景来说，拍照图片的办法一般都是手机端平移拍照，存在拍照的视点比较随意、拍照间隔近、需求拼接的图片数量比较多的问题。而在上述的图画拼接算法中，大局对齐办法要求各次拍照时相机的光心近乎重合，即拍照时相机只能做纯旋转运动，对拍照办法的要求很高。空域改变制作办法和缝合线主导办法对匹配的特征内点的数量和质量要求较高，并且需求调整更多的超参数，核算量较大，拼接速度慢，无法用于很多图片的拼接使命。因而，上述几种图画拼接的办法都无法很好地处理货架拼接场景存在的问题，不能直接用于货架拼接。

　　针对上述货架拼接场景存在的问题，咱们在大局对齐办法的基础上对拼接算法进行了优化。首要，针对平移拍照视点比较随意的问题，在进行货架图画拼接之前，咱们对输入的货架图画进行水平纠正，将一切图画都纠正到相同的拍照视角下，这样能够有用减小拍照视点对拼接作用的影响，拼接作用有了很大进步。其次，当输入的货架图片数量较多时，为了减小拼接难度，进步拼接的功率，咱们主动对输入的货架图片进行分组，将很多图片的单次拼接分解成少数图片的屡次并行拼接，能够有用下降拼接时刻。

　　在分组拼接的进程中，咱们选用与大局对齐相似的办法对单个分组的货架图片进行拼接，经过货架图画之间的匹配、改换和交融，得到每个分组的拼接图片。之后对多个分组的拼接图片进行兼并，输出整个货架的拼接图片和拼接参数。货架拼接算法的全体流程如下：

　　3.2、SKU检测框兼并去重

　　SKU检测框兼并去重全体流程图：

　　关于在相邻图片堆叠部分的SKU，其在两张图片上都会被检测出来，因而咱们需求对这部分SKU进行兼并和去重，去除相同的SKU。具体进程如下：

　　1)将每张图片上检测到的SKU检测框坐标依据货架拼接的参数进行改换，将单张图片上的SKU检测框坐标转换成拼接图片上的SKU检测框坐标。

　　2)关于当时图片上的每个SKU检测框，当与其他某个SKU检测框之间有堆叠部分，且堆叠部分的交并比(IOU)大于某一个阈值时，断定这两个SKU检测框归于同一个检测框。

　　3)依据这两个SKU检测框的坐标以及置信度进行兼并去重，得到终究的SKU检测框坐标。

　　4)当对一切图片上的SKU检测框都进行兼并去重后，核算拼接图片上的每一个品种的SKU检测框的数量，能够得到整个货架上SKU的品种以及数量，输出整个货架上SKU的核算信息。

　　以上为百度飞桨EasyDL零售版货架拼接服务架构和算法详解的全部内容，为了全面助力快消品牌商对访销进程进行精细化办理，环绕快速消费品企业在线下途径中的销量逻辑，百度大脑推出了依据AI技能的数字化访销处理方案，在EasyDL零售版的基础上，还供给翻拍辨认、门脸辨认和门店拜访行程规划等AI才干，协助品牌商有用进步一线事务人员人效，终究完结销量的增加。

　　现在已有多家零售快消品牌商和服务商在实践事务中运用百度EasyDL零售版，进步终端门店办理与履行的功率和作用，精确地洞悉产品在货架上的实在信息，让数据剖析更高效精准，有用缩短决议计划时长，然后完结商场运营与决议计划的智能化。

　　如有爱好，欲了解概况，请拜访官网。https://ai.baidu.com/easydl/retail