现在，跟着云核算、移动互联网、物联网、大数据等技能的快速开展，企业逐渐认识到，数据的价值，对数据的发掘剖析才能已经成为企业的中心竞争力。关于互联网企业，最有价值的数据都蕴藏在网站的日志中。从日志中，咱们能够知道网站的拜访量，运用的运用量、用户的相关数据，运用偏好等要害信息，然后更好的改进服务质量，更好的满意用户的需求。

可是跟着企业的用户规划不断扩大，以及数据量的爆破式增加，日志的办理和剖析变得越来越具有应战性。近来，51CTO记者采访了【WOT2016互联网运维与开发者峰会】特邀讲师，又拍云CTO黄慧攀，就海量日志处理体系架构进行讨论。

黄慧攀是2010年参加又拍云，现任又拍云 CTO。他是 aLiLua Web 开发结构的作者，具有 14 年互联网从业经历，技能经历包括规模比较广，前期以前端 Web 开发为主，后期逐渐转到底层研制方向，在高功能网络服务、散布式存储体系等方面有较深化的研讨。跟着公司开展，团队不断扩大，相应责任细分，现在主要做技能规划和团队建造的作业。

黄慧攀此次将会在WOT 2016互联网运维与开发者峰会上带来主题为《海量日志处理体系架构》的讲演。那么海量日志关于企业来说为何如此重要呢？黄慧攀以为，日志的可发掘价值的确十分多，比方广告范畴能够经过日志回溯到某个详细的用户对什么产品或服务感兴趣，然后驱动给该用户投进什么类型的广告。这也是现在很抢手的大数据范畴中很重要的一项。而日志关于又拍云来说，重点是在剖析渠道全体功能，并在这些数据的基础上做体系优化。别的一个部分则是为给客户供给便当而做的核算剖析作业。

那么在信息爆破的年代，处理海量日志的应战又有哪些呢？海量日志的日志数据量十分大，大到单台服务器无法存储和处理的量级。现在，又拍云现在每天搜集到的拜访日志就超越4TB的紧缩数据，假如解压出来高达120TB文本数据。黄慧攀表明，处理如此巨大的数据量的确面对许多应战，光搜集存储这些原始日志都会成为问题，后续的处理和核算的难度就更大了。

现在，业界在处理海量日志选用比较盛行的Hadoop或Spark等散布式核算体系，这样的开源技能无需考虑体系架构。黄慧攀着重，假如要针对特定的事务场景，企业自己研制日志处理体系则需求必定的经历，比方怎么标准数据，怎么做数据散布处理和汇总数据等等。

尽管Hadoop和Spark都是业界比较盛行的开源技能，可是面向特定的事务场景很难做到一无是处。为此，又拍云别出心裁，开发了海量日志处理体系，来处理日处理TB级的紧缩日志数据的办法。至于运用了哪些技能，黄慧攀则卖起了关子，感兴趣的用户能够重视在WOT 2016互联网运维与开发者峰会第二天上午的 【大数据与运维】专场中黄慧攀的风趣共享。