许多国家在与新式冠状病毒作斗争，命令公民在火车站或机场一概承受体温检测。这种景象下所需的设备：手持温度计已从一种专业设备变成了常见设备。

“计算机视觉”是AI的一个分支，专心于主动符号图画。大多数计算机视觉体系运用含有极少量手持温度计图画的数据集加以练习。因而，它们无法正确符号这种设备。

在Twitter上疯传的一个试验中，非营利研讨和倡议安排AlgorithmWatch证明，计算机视觉服务Google Vision Cloud将手持测温计的深肤色人员的图画符号为“枪支”，而将浅肤色人员的相似图画符号为“电子设备”。随后的试验标明，持有温度计的深肤色手的图画被符号为“枪支”，而手上覆以浅橙色图画的同一图画足以让计算机将其符号为“单目望远镜”。

4月3日，增加覆盖层后，Google Vision Cloud生成了彻底不同的标签。

谷歌尔后更新了算法。自4月6日起，它不再回来“枪支”标签。

谷歌的产品战略和运营主管Tracy Frey在一份声明中写道：“这个成果是不行承受的。认识到这一成果与种族主义之间的联络很重要；关于由此或许形成的任何损伤，咱们深表抱歉。”

Frey女士说：“咱们的查询发现，一些物体被误符号为枪支；这些成果存在于一系列肤色中。咱们已调整了置信度（confidence score），以便图画中有枪支时更精确地回来标签。”她弥补道，谷歌发现“没有标明与肤色有关的体系性成见的依据。”

荷兰代尔夫特理工大学攻读博士的Agathe Balayn标明附和，她侧重研讨主动化体系中的成见这一课题。她在谷歌的服务中测验了几个图画，得出的结论是，示例或许是“不存在计算成见的不精确比如。”她写道，在缺少更严厉测验的状况下，不能说这个体系存在成见。

4月6日，深肤色手的成果现已过了更新

布景查询

不难理解为什么计算机视觉会根据肤色生成不同的成果。这类体系处理人们辛苦符号的数百万张图片（比如说，你点击内有轿车或桥梁的方框以证明你不是机器人时所做的作业），并从中得出主动揣度。

计算机视觉无法辨认人类意义上的任何物体。它依靠练习数据中相关的形式。研讨标明，一旦在白雪皑皑的布景下摄影，计算机视觉会将狗符号为狼。假如母牛站在海滩上，它们会被符号为狗。

因为肤色深的人在练习数据会集描绘暴力的场景中呈现的频率或许高得多，因而对深肤色手的图画进行主动揣度的计算机用暴力方面的词汇加以符号的或许性要大得多。

其他计算机视觉体系呈现了相似的成见。上一年12月，Facebook回绝让巴西的一个Instagram用户可认为图片打广告，理由是图片含有兵器。实践上，那幅图片上就一个男孩和一级方程式赛车手Lewis Hamilton。两个人的肤色都很深。

带来的实践影响

符号过错或许会在实践环境下形成影响。纽约大学AI Now研讨所的技能研讨员、计算机视觉专家Deborah Raji在一封电子邮件中写道，在美国，兵器辨认东西被用于很多校园、音乐厅、公寓大楼和超市。在欧洲，一些差人部队布置的主动监督配备也或许运用计算机视觉技能。Raji女士写道，因为这些体系大多数相似Google Vision Cloud，因而“它们很或许存在相同的成见。”因而，肤色深的人更有或许被符号为风险分子，即使他们手持像手持温度计这样无害的东西。

Nakeema Stefflbauer是专心于包容性的技能专家社区FrauenLoop的创始人兼首席执行官，她在一封电子邮件中写道，计算机视觉软件中的成见会“肯定”影响深肤色人群的日子。她弥补说，因为女人和深肤色人群的误辨认率一向偏高，因而用于监督的计算机视觉的遍及会对他们形成过大的影响。

Stefflbauer女士提到了Ousmane Bah和Amara K. Majeed这两个比如，因为人脸辨认体系犯错，Bah这名少年被过错地指控在苹果商铺偷盗，而Majeed在人脸被误辨认后，被过错地指控参加了2019年斯里兰卡爆炸案。Stefflbauer意料，若缺少有用的监管，整批人群到头来会避开某些建筑物或社区。她弥补道，假如有成见的计算机视觉得到更广泛的布置，个人或许在举动中面对事实上的约束。

逐渐改变

谷歌的主管Frey女士在声明中写道，公平性是谷歌的“中心AI准则”之一，谷歌“致力于在开发机器学习方面获得前进，而公平性是衡量成功机器学习的一个要害目标”。

可是谷歌的图画辨认东西之前就回来过带有种族成见的成果。2015年，谷歌相册（Google Photos）将两个深肤色的人符号为“大猩猩”。谷歌后来标明了抱歉，不过据《连线》杂志报导，谷歌并没有处理这个问题。相反，它仅仅简略地不再回来“大猩猩”这个标签，即使分明是这种哺乳动物的图片也是如此。

据AI Now研讨所的Deborah Raji宣称，技能公司仍在开发带有种族成见的产品，至少有两个原因能够解说这种状况。首要，它们的团队以白人和男性为主，这样一来在开发阶段不太或许找到并处理轻视其他集体的成果。其次，“许多公司现在才刚开始拟定正式流程，以测验和陈述规划这些体系的过程中呈现的这类毛病，”她写道。她弥补道：“外部问责是现在提示这些工程团队的首要办法。”

“惋惜的是，到有人诉苦时，许多人或许现已遭到有成见的模型的过大影响。”