100+天激烈赛程,40+国内顶级技术豪门对决,历经研发内部测试、正式环境测试和易观数据正式环境跑benchmark三大阶段。

100+天剧烈路程,40+国内***技能豪门对决,历经研制内部测验、正式环境测验和易观数据正式环境跑benchmark三大阶段。10月28日,易观OLAP算法大赛优胜名单出炉!

40+技能门派交锋

易观OLAP大赛可谓国内算法界“武林大会”,英豪帖一宣布就引起互联网各大技能门派积极响应。

招引来自美团点评、阿里云、小米、链家、搜狗、科大讯飞、联通、原速数据、乐见、AggreData、GBase 、Kyligence、PingCAP、LinkDoc、iflytek、hulu、上海睿民、热云数据、润乾、帆软软件、咪咕音乐、杭州玳数科技、上海跬智、千丁互联、北京健科云网、广州向量线科技、乐享全国、牛办科技、北京邮电大学、北京交通大学等40多家知名企业、科研单位和个人报名参与。

6组算法新人王诞生

本次易观OLAP算法大赛分为商业组和开源组两个组别进行,从7月敞开报名到10月正式环境跑benchmark。通过重重检测,总算决出6组易观OLAP算法新人王:

商业组三甲:

***名:PingCAP

PingCAP 是国内***家开源的新式数据库公司,其产品分布式高可用数据库 TiDB 支撑水平扩展,兼容MySql,支撑分布式事务,是大数据年代抱负的数据库集群和云数据库解决计划之一。在本次竞赛中,PingCAP运用自主研制的 Magic 引擎,运用多层pipeline、智能并发等技能,以***速度对数据进行暴力扫描,完成了杰出的核算作用,因而获得商业组***名的好成绩。

第二名:帆软软件

帆软团队在本次参赛运用的是帆软自主研制的直连分布式引擎。分布式存储系统依据Alluxio和HDFS,选用列式存储计划,以Spark作为基础,依据流式核算,辅以高功能查询算法,为直连引擎供给微弱的查询支撑。面临亿级数据和多维度杂乱场景时,直连分布式引擎能大幅进步有序漏斗的核算的功率和准确性。

第三名:GBase

GBase此次参赛用的是自己的产品GBase 8a MPP Cluster。GBase 8a选用自己混合存储,可处理PB等级以上的结构化数据。一起选用先进的数据压缩算法,有用进步IO功能。在数据处理上选用彻底并行的MPP + Share Nothing的分布式架构,支撑高并发,因而在有序漏斗的实时核算中功率较高。

易观OLAP算法大赛成果揭晓,开源组黑马放大招!  开源 第1张

易观OLAP算法大赛商业组颁奖典礼

开源组三甲:

***名:广州向量线科技 韦万和李本旺

在开源组竞赛中韦万和李本旺另辟蹊径,向北取经。运用目前国内不为人知的俄罗斯神级开源软件ClickHouse参赛。使用ClickHouse超强剖析功能和灵敏的架构特色,使得集群间节点的核算彻底并行化,一起优化底层的存储和上层的核算细节,发掘CPU cache、向量化履行和详细算法优化方面的潜力。凭仗在时效和精度上的优异体现,韦万和李本旺团队成为本届大赛***黑马,获得开源组***名。

第二名:美团点评 孙业锐

美团点评团队依据本身的事务优势经历,规划了本次参赛的解题思路。用bitmap快速过滤和依据时刻戳序列匹配的算法,使用Apache Spark、Alluxio等开源结构快速落地完成,运用了一系列工程优化办法,在每日数百亿条日志和百万特点的数据集上,完成有序漏斗的秒级查询。在易观正式数据环境中,在26亿数据,400万用户,几十个特点的场景下,美团点评团队均完成了快速查询。

第三名:北京邮电大学 卢跃凯

易观OLAP算法大赛还招引了来自核算机名门高校的个人选手。北京邮电大学的研讨生卢跃凯,选用了HDFS作为贮存,将Spark作为数据预处理和中心过滤算法完成。学习最长递增子序列的存储和更新思维,将查找每个用户转化率的时刻杂乱度变为了0(n),提升了漏斗核算的功率。

易观OLAP算法大赛成果揭晓,开源组黑马放大招!  开源 第2张

易观OLAP算法大赛开源组颁奖典礼

开源组10万元现金奖赏

易观OLAP大赛为每组前三名的团队颁布获奖证书,一起开源组***名还将获得UCloud供给的10万元现金奖赏。据悉,韦万和李本旺获得开源组***名后注册了自己的公司,将对算法技能进行更深化的研讨和落地实践。

易观OLAP算法大赛成果揭晓,开源组黑马放大招!  开源 第3张

开源组***名10万元现金奖赏颁发典礼

赛制公平具有含金量

2017易观OLAP算法大赛在“有序漏斗”的实时核算功率和准确度上得到突破性的好成绩,这离不开易观海量的数据支撑以及UCloud强壮的技能支撑。

一直以来,UCloud都是易观杰出的合作伙伴,本次大赛UCloud为避实就虚参赛团队供给了安稳的底层IT核算资源服务。竞赛在4台UCloud云主机16核、16G内存、SSD数据盘300G硬件的环境下进行。竞赛时现给出8个不同的场景,一起开端计时,每个场景的运转时刻须在8分钟以内,8个场景整体竞赛时刻在1小时内,以此调查参赛团队在不同场景下的实时核算精度和用时功率。每个场景依据拜见的数量、拜见的杂乱程度、拜见的特点、时刻窗口的巨细等差异赋予不同的权重。总分为单个场景乘以该场景权重的累加所得。在8个场景中,运转时刻最短且准确度***的自己取胜。在正式数据环境开跑阶段,还进行全程录像,保证竞赛效果的含金量。

作为易观A10峰会的重要项目,OLAP算法大赛不仅为技能黑马供给大展拳脚的道场,一起还为职业发掘出更多技能型人才和更优异解决计划。做技能领域的“伯乐”,让国际看到更多“黑马”,易观致力于推动大数据使用立异。未来,易观OLAP大赛获得的效果将用于数据产品的研制傍边,从技能使用层面实践“数以致用”。

转载请说明出处
知优网 » 易观OLAP算法大赛成果揭晓,开源组黑马放大招!

发表评论

您需要后才能发表评论