假如你还没有听说过数据科学，那必定是我疯了。各种练习、岗位、校园课程像漫山遍野相同遍地开花。每次我看到这些东西的样品时，我总是分外重视他们学习算法的细节。当然，了解回归、深度学习的作业原理是件很帅的工作，可是当你实在着手处理数据的时分你就会发现，或许有些其他的工作也相同重要，乃至更重要。

我真的不是在说这些课程的坏话。我在大学教了许多年的机器学习，教的东西一直都围绕着那些十分详细的算法模型。你或许十分了解支撑向量机，高斯混合模型， K-均值聚类等等，可是只需当你开端预备硕士论文的时分，你才真的学会了怎么正确的处理数据。

什么样的处理才算是正确的处理呢？为了意图不择手段？只需得到好的猜测功用就万事大吉？实际的确如此，可是这么做的要害在于，你能保证不知道数据也能有个不错的体现。就像我常常说的那样，你很简略就会遭到它的遮盖，在剖析练习成果的时分，轻易地就信任了你挑选的办法。

因而，在这儿我要共享我的三点经历，由于我发现书里很少会说到这些，可是他们真的很重要。

1.模型点评是要害

数据剖析/机器学习/数据科学（或任何你能想到的范畴）的首要方针，便是树立一个体系，要求它在猜测不知道数据上有杰出的体现。差异监督学习（像分类）和无监督学习（如聚合）其实没有太大的含义，由于无论怎么你总会找到办法来构建和规划你的数据集。办法行不行***仍是得看它在不知道数据上的体现，你得保证它能得出同你曩昔的练习集相同的成果。

初学者最常犯一个过错便是看到已知数据的体现，就想当然的以为不知道数据也会相同。一般你会发现，实际是很骨感的。这儿咱们就只说监督学习，使命便是依据你的输入猜测输出，例如把电子邮件分红垃圾邮件和非垃圾邮件。

假如你只考虑练习数据，经过让机器记住全部，很轻松的就能得到***的猜测成果（除非这些数据自相矛盾）。这并不是什么新鲜事儿，人类自己便是这样的。还记得你学外语背单词的苦逼韶光么，你有必要查看单词字母的次序，由于你的大脑需求按正确的次序记住他们。

机器在存储和检索许多数据上的优势是人类拍马不及的。但这也带来了过拟合和泛化才能差的问题。

所以，一个好的点评办法是模仿不知道数据的影响来切割数据，一部分用来练习，一部分用来检测作用。一般，用较大的练习集建模，然后用小的那部分进行猜测，经过屡次迭代来得到一个较安稳的模型。这个进程便是咱们常说的穿插验证。

为了模仿不知道数据的体现，把数据集分为两个部分，一部分用于练习，一部分用于猜测。

就算咱们这么做了，仍是很有或许出问题，特别是在数据非平稳的时分，数据的潜在散布会跟着时刻变来变去。使用实在数据猜测时常常会碰到这种状况，相同是出售数据，六月和七月的就或许不同巨大。

还有数据点间的相关性，假如你知道了一个数据点那么你必定对另一个数据点也有了一些了解。比如股票价格，他们一般不会在两天之间恣意的大幅动摇，因而假如你胡乱的拆分练习/猜测数据，就会损坏这种相关性。

每逢呈现这种状况，你得到的成果就会过于达观，而你的模型如同不打算在实际使用中也这么给你体面。最糟糕的状况便是，你含辛茹苦总算压服人们认可你的办法，成果下水一试，它当掉了……

所以学习怎么正确的进行模型点评是要害！

2.特征提取是天

学习一种新的算法感觉总是很棒，但实际是，最杂乱的算法履行起来和那些老办法 简直没什么两样，实在的差异在于原始数据的特征学习。

现在的模型功用看起来十分强壮，马马虎虎就能处理不计其数的特征和数据点，其 实本质上并没聪明到哪里。特别是线性模型（像logistic回归或线性支撑向量机），便是个傻呵呵的核算器。

这些模型的确很拿手在数据足够的状况下辨认信息的特征，可是假如信息不足够，或许不能按线性组合的特征来表明，那基本就没什么可玩了。相同这些模型也不能经过“洞悉”自行简化数据。

换句话说，你能够经过寻觅适宜的特征，来许多简化数据。率直来讲，假如你能为想做猜测的功用简化掉一切特征，那还有什么需求学习的呢？！这便是多么强壮的特征提取啊！

这意味着两件工作：首要，你应该保证你的确把握了这些简直相同的办法中的一种，而且一直不扔掉它。你真的不需求一起把握逻辑回归和线性支撑向量机，你只需挑选一个就够了。这些办法简直都是类似的，要害的不同就在于底层模型。深度学习还有些特别的东西，但线性模型在体现才能上简直都是相同的。尽管，练习时刻、处理方案的稀少度等或许会有些不同，但在大多数状况下你会得到相同的猜测功用。

其次，你应该了解一切的特征工程。这是一门艺术，不幸的是，简直一切的教科书都没有包括这一点，由于关于它的理论太少了。它的惯例化就像咱们的雾霾相同，还有很长的路要走。有时，特征需求取对数。每逢下降必定的自由度，便是脱节那些与猜测使命不相关的数据，能够明显下降你所需的练习集数量。

有些状况下这种类型的转化会难以想象的简略。例如，假如你正在做手写字体辨认，你就会发现有没有一个辨认度高的色彩并不重要，你只需有一个布景和远景就OK了。

我知道，教科书往往将算法模型描绘的反常强壮，如同只需你把数据扔给模型，他们就会把一些都做了。从理论和***的数据源上看它或许是对的。但很惋惜，咱们的时刻和数据都是有限的，所以寻觅包括信息大的特征是肯定有必要的。

3.最耗神的是模型挑选，而不是数据集的巨细

在大数据年代，许多你不想被人知道的工作都被你的主内存以数据集的办法***的记录下来。你的模型或许不需求花太多时刻就能跑完这些数据，可是却要花费十分多的时刻从原始数据中提取特征，使用穿插验证的办法来比较不同学习模型的途径和参数。

为了挑选适宜的模型，你需求许多的组合参数，再使用备份数据来评价它的体现。

问题来了，组合参数的爆发式增加。假如你只需两个参数，或许只需求花费1分钟就能完结练习，而且得到功用的评价成果（用适宜的评价像我上面说的那样）。但假如每个参数有5个候选值，那就需求履行5倍的穿插验证（把数据集分红5份，每个测验都跑5遍，在每一次迭代顶用不同的数据测验），这意味着你需求把上面的进程重复125次去找到一个好的模型，你要等候的就不是1分钟，而是两小时。

好消息是，在多参数的状况下你能够并行操作，由于每个部分都是独立运转的。这 种对每个独立数据集进行相同操作（切割，提取，转化等）的进程，被称为“密布并行”（没错，这是一个技能术语）。

这儿的坏消息大多针对大数据，由于这些都意味着很少需求杂乱模型的可扩展完成。在大多数状况下，只是经过对内存中的数据履行相同的非散布式算法，再把这种办法并行化就足够了。

当然，像用于TB级日志数据的广告优化和面向百万用户引荐的 learning global models这样的使用也是存在的，可是最常见的用例都是这儿描绘的类型。

***，具有许多数据并不意味着你都需求他们。***的问题在于底层学习的杂乱性。假如这个问题能被一个简略的模型处理，你就不需求用这么多的数据来查验模型，或许一个随机的数据子集就能够处理问题了。像我上面说的，一个好的特征体现能协助你急剧的下降所需求数据点的量。

综上所述

总归，知道怎么正确的评价，对下降你的模型在面临不知道数据时的危险是十分有协助的。把握适宜的特征提取办法，或许是协助你获得一个好的成果的***办法，***，并没有那么多大数据，经过散布式核算能够下降练习时刻。