当时，深度学习扛起了人工智能的大旗，让咱们得以一窥智能机器在将来的本领。但深度学习有个不小的问题：没人知道它是怎么运作的。

咱们并不是对深度学习一窍不通。作为当今神经网络的中心，机器学习算法现已开展了几十年，它界说完善，文献丰厚。在银行和保险业等遭到严厉监管的职业，这些算法现已遍及多年，不曾引发重大问题。

“机器学习根本便是线性数学，很好解说，”数据公司Teradata***技能官斯蒂芬·布罗布斯特（Stephen Brobst）在Teradata协作伙伴大会的一场小组讨论上说。“但是，一旦涉及到多层神经网络，问题就成了非线性数学。不同变量之间的联系就牵扯不清了。”

神经网络的清楚性问题植根于它的根本架构，这种架构的复杂性是与生俱来的。通过将许多躲藏层逐层堆叠起来，咱们其实发明出了简直***量的途径，供数据在网络中练习时通过。继而，通过让数据一遍又一遍地通过这些途径，将每次循环中变量的权重交由机器自己决议，咱们发现能够制造出更好的机器，供给比传统机器学习方法愈加优质的答案。

这是对人脑的一种粗糙演绎——管中窥豹要着重的是“粗糙”，由于咱们仍未充沛把握人脑的运作原理——但咱们知道人脑能起作用，也知道神经网络能起作用，虽然咱们对它们的运作原理不甚了了。从某种层面上讲，神经网络的不透明性不是什么缺点，而是一种特征。

复杂性正是深度学习起效的秘方。

这也是一个不小的研讨范畴。金融服务等职业都对神经网络垂涎欲滴，但现在都被制止运用，由于他们无法向监管组织充沛解说神经网络的运作原理。“在将机器学习投入危险评价等范畴的过程中，这是***的一个妨碍，这些范畴遭到严厉的监管，”布罗布斯特说。“若仅仅诈骗检测和引荐引擎，你还能够幸运过关。但监管严厉的范畴就不行了。”

这足以使DataRobot公司在这些范畴的客户逃避深度学习结构，如Tensorflow等，虽然DataRobot会协助完结其自动化运用。“有时候，这些模型会因无法验证而被拒之门外，”DataRobot***运营官克里斯·德瓦尼（Chris Devaney）说。“你不太简单为它辩解。即使不是黑箱，它也体现得像个黑箱，由于你无法记载神经网络算法深处产生的全部。”

TensorFlow能够针对大规模数据集作出快速猜测，但DataRobot的顾客不肯触及。现在，DataRobot正在与Immuta协作，旨在寻觅并减少机器学习中的误差，这方面的作业终将有所成效，但负重致远。“关于一些遭到严厉监管的客户，假如必须在政府组织面前保卫这种模型，他们就会抛弃考虑，”他说。

研讨公司ForresterResearch副总裁、***分析师麦克·格列蒂里（Mike Gualtieri）说，有些公司一边运用深度学习，一边还抱有某种程度的置疑。“连运用这些模型的公司都不信任它们，”他在近期的协作伙伴会议上说。

他说，开始运用深度学习的公司有方法抵挡这种不确定性，包含参加人类干涉，用规矩加以限制，他说。

“模型能够作出猜测——这个猜测一直都是一个概率——但假如猜测禁绝呢？”他说。“你能够用规矩加以限制。比方告知它‘这是诈骗’，模型或许会说：‘这不是诈骗’。你也能够设定有利于人类的规矩，比方说，‘我才不论模型怎么说——在我看来，这便是诈骗。”

在添加神经网络的透明度方面，人们现已做了一些作业。其中之一被称为“部分可理解的与模型无关的解说技能”（Model-Agnostic Explanations；下简称LIME）结构，由华盛顿大学计算机科学教授马可·图里奥·里贝罗（Marco Tulio Ribeiro）和他的搭档萨米尔·辛格（Sameer Singh）及卡洛斯·格斯特林（Carlos Guestrin）一起提出。

LIME结构的规划旨在进步可理解性，使各类不透明算法生成的猜测更易于解说。这包含传统的机器学习技能，比方随机森林与支撑向量机（SVM），以及当今日益盛行的神经网络技能。

作为GitHub上的开源软件，LIME结构有望逐层剥开神经网络的外衣。“LIME是一种高效的东西，赋予机器学习从业人员以信任感，能够参加到他们的东西组合中，”里贝罗、辛格和格斯特林教授在2016年发表于电脑资讯网站奥莱利（O’Reilly）的文章中写道。

但是，在得到业界的信任之前，LIME还有许多作业要做。Teradata的布罗布斯特说。“以上说到的LIME结构，咱们还没有完结呢，”他说，“这是一个活泼的研讨范畴……但我称之为‘毕业生代码’。其用例十分有限。专门用例需求专门定制。”