12月5日，亚马逊发布 Amazon Go 震动业界，咱们***时刻研讨了专利文件，并采访资深核算机视觉算法工程师，终究出文从2份专利文件，一窥Amazon Go究竟藏了什么黑科技?

今日特别采访了无人零售商铺创业者陈维龙为咱们愈加具体地解读 Amazon Go 以及无人零售商铺项目。陈维龙结业于中山大学，曾亲身参加并施行过多套相似的无人零售处理方案体系，对整个项目的流程化体系有着较深的认知和实践经验。

Amazon Go 体系构成

陈维龙把 Amazon Go 体系“拆分”为三部分：人/货架/进出口。其间硬件软件构成如下表：

布局如下图所示：

货架墙壁上装置多个摄像头，多种传感器埋在每层货架的底部或顶部。摄像头担任摄影，光幕/红外传感器担任制作一个水平面，假如用户的手穿过此面表明用户开端施行某种动作，进步图画剖析功率。压力/红外传感器用来表明产品的方位和状况，为用户的行为供给数据。

运用这些数据进行深度学习，树立产品—动作—人的判别模型，进步体系反做弊/辨认才能。

Amazon Go 的中心技能是什么?

陈维龙泄漏，其实 Amazon Go 的中心技能是反做弊/辨认体系，不论它能供给多强壮的商业功用，作为无人超市体系，反做弊/辨认是它存在的***要素。

在现有超市，经过便衣巡查和监控摄像头辨认顾客行为是否合法，例如是放在购物袋/车仍是放在衣服里，将用户的行为规范到指定的规模，***经过收银员辨认产品和顾客的对应联系，成功处理了谁对什么产品干了什么，然后到达买卖。

其间人防和机防是反做弊体系，担任解说顾客行为，然后确保产品与顾客的联系，而收银员担任承认产品和顾客联系。在 Amazon Go 中，体系也要处理谁对什么产品干了什么的问题。

接下来的内容分为大三块，详解 Amazon Go 是怎么做的。

一、怎么检测和辨认顾客的行为：拿走或放回?

陈维龙指出，顾客购物行为非常丰富，从货架的视点来看，中心动作只需拿走或放回两种。

不论怎么，产品被从货架拿走了，***的或许便是被买走了，而被放回来便是你不需求了。假如能辨认拿走或放回，那么就处理了中心问题。根据 Amazon Go 专利显现，它是这样做的：

• 收集用户的手进入货架平面前的图画。

• 收集用户的手脱离货架平面后的图画。

• 两者比照，能够知道是拿出货品仍是放入货品。

假如是拿起，进入前的手和进入后的手及手中的物品等特征是可区别的，这个特征与放入是相反的。简单说，假如是拿起，进入之前手是空的，没有产品的，脱离后是手里有物品的。放入则相反。那么怎么辨认手呢?从形状和图片色彩(肤色)能够区分。在货架前运用光幕或许红外构成一个平面，就能够知道用户的手到了那里。

除了图片剖析，传感器也能够供给这样的数据。多种数据结合，可判别用户行为是拿走仍是放回。

二、怎么精确辨认出被拿走的物品和被放回的物品?

咱们知道，有了顾客动作，还要辨认动作接受的产品，不然会呈现破绽百出的现象。陈维龙持续解说到，这部分分红两个过程来处理：辨认被拿走的物品和辨认放回的物品。

辨认被拿走的物品

• 由于物品是被雇员人工放置的，所以该物品能够直接符号到体系中，因而不必图画辨认是何种物品(它现已被人工辨认了)。用传感器表明它被拿走即可。

• 在某些状况下，产品或许没有被提起设置或许设置后被紊乱了，那么此刻需求图画辨认该方位现有的产品与应该有的产品是否共同。例如，物品 A 被放在 B 物品处，假如只需上面说到的那种方法处理，就会被当成物品 B，不过这种状况较少。

• 假如是高置信度事情，可直接承认，更新(添加)物品清单，不然还有顾客协作承认的环节。

辨认被放回的物品

• 在放回物品前，能够经过物品清单承认用户与物品的联系，这些物品的图片被储存在体系内。

• 检索图片，与被放回物品进行比较，辨认物品。

• 高置信度即可判别物品正确，更新(删去)物品清单，不然还有顾客协作承认的环节。

• 被放回的物品会存在错放方位的状况，辨认后告诉雇员收拾。

• 不论是拿走仍是放回，假如是低置信度事情，会被体系记载剖析。

关于正常的购物，在固定区域的产品品种单一，简单辨认。关于被错放的物品，由于概率较少辨认难度和核算量不会明显添加。可是关于成心做弊的行为，需求极大的核算资源辨认。这个问题后边评论。

三、对某产品进行了某动作的人是谁?

根据材料显现，Amazon Go 在进出口设置了“搬运区”，相似现有超市的防盗门，此门可扫描用户二维码辨认进出口的顾客。陈维龙解说到，这儿问题的要害是 Amazon Go 需求实时辨认“对某产品进行了某动作的人是谁”。

从问题能够发现，处理这个问题的要害仍是要在货架上下手，由于任何人对产品施行动作的时分必须在货架前。关于这部分细节，Amazon Go 专利给出的解说是运用用户方位信息定位进行辨认。

例如，张三站在货架 A 前，此刻 A 货架产品被取走，那么就承认张三购买了产品。这儿存在很大的危险是破绽百出问题，由于仅经过方位定位顾客，只需在此区域的用户都或许被当成购买者，然后构成产品和顾客一对多的联系。假如这个方位定位区域约束在满足小的区域，就能完成一一对应联系。

Amazon Go 运用的图画剖析和音频剖析。经过摄像头可检测用户及其方位，天花板或货架里的多个音频可根据时差剖析用户方位。此外，天花板上的天线可用三角测量承认方位，用户手机 GPS 也能供给定位。

关于室内定位或拥堵区域定位问题，一般的定位技能是无法处理的。现在国外有 GPS 定位到毫米等级，可是费用极高，使用很少。iBeacon 技能也能够用于室内定位，可到达厘米等级，可是仅限于 IOS 设备。

总的来说，Amazon Go 反做弊/辨认体系是经过“产品—辨认动作—辨认接受动作的产品—产品与用户清单/用户相关”进行运作的。

对 Amazon Go 反做弊/辨认体系而言，它只需求知道哪些产品被拿走或放回了，并且知道是谁施行的，那么就知道是谁购买/放回了什么产品。***在出口(搬运区)，顾客刷卡承认顾客与产品的联系即可。

产品辨认问题评论

此刻有个疑问：成心做弊的行为，能辨认动作，可是辨认产品难度较大，由于大型超市产品品种有 10 万种，根据现有的水平是无法处理的。

陈维龙就这一问题给出以下处理方案：

• 约束特定品种产品。从亚马逊官方视频中看到超市产品品种与日常日子超市比较要少许多，并且形状标准等都比较一致。

• 约束开店区域和人群。在中高端商场，用户的可信度较高，超市防盗压力削减。视频中显现的产品也趋向中高端商场。

• 特殊人群盯梢。上面进步用户行为被体系判定为低置信度事情会被记载盯梢剖析，这部分人群需求独自的技能约束和人工干预。

• 忍受做弊行为，加强非技能反做弊手法。尽管评论的是高科技含量的东西，可是就现在阶段结合必要的人工手法能说到较好效果。