云存储选择适用于广泛的需求,但是要针对你的需求找到正确的存储类型,也意味着要找到延迟、易用性、数据完整性和成本之间的合适的平衡点。对象存储系统和Hadoop都是可行的云存储选择。但是在执行云端大数据分析的时候要考虑后者。

目标存储系统 vs Hadoop 云存储怎样选?(hadoop的存储系统是)  对象存储系统 云存储系统 大数据分析 第1张

挑选数不胜数,为你的运用挑选***的云存储体系并非易事。可是目标存储体系是一个挑选,尤其是假如你的运用要求拜访操控。而那些运用云进行大数据分析的则要考虑Hadoop。

目标存储体系,比方AWS S3、微软Azure Blob和谷歌云存储,能够在一个耐久稳固且高度可用的体系中存储恣意的目标,且独立于虚拟机实例之外。运用和用户能够在目标存储中运用简略的API拜访数据;这些一般都根据表特点状况搬运(REST)架构,可是也有面向编程言语的界面。

目标存储供给了数据上受限操作的拜访操控。数据办理员能够在bucket层级上(相似于目录)或许目标层级上(相似目录中的文件)运用拜访操控。存储目标的授权/认证经过云供给商的身份认证办理体系或许你的目录服务来办理。经过后者,你或许有一个本地的目录,同根据云的目录服务同步,稳固一切的拜访操控人物和进入单一注册库的特权。

提及存储,关于那些运用云进行大数据分析的还有额定的挑选考虑。比方AWS供给了弹性Map Reduce (EMR),这是一项Hadoop服务。Hadoop旨在同期文件体系作业,以HDFS著称。

当用户用EMR创建了一个Hadoop集群,他们能够从AWS S3或许一些其他的数据存储仿制数据到集群上的HDFS,或许也能够直接从S3拜访数据。HDFS运用本地存储,并且一般供给了比从S3康复更好的功能,可是在运转Hadoop作业之前,也需求时刻从S3仿制数据到HDFS。假如EMR集群要运转一段时刻,且针对多项作业运用相同的数据,或许值得额定的发动时刻来从S3仿制数据到HDFS。

云存储挑选适用于广泛的需求,可是要针对你的需求找到正确的存储类型,也意味着要找到推迟、易用性、数据完整性和本钱之间的适宜的平衡点。

操控归档本钱

云存储的另一个常用用例是归档。这个程序要需求较长时刻仿制数据来进行耐久的存储。下面是在操控归档本钱时需求考虑的三个内容:

  • 归档数据一次写入且很少读取。因而,***先考虑的便是受限的归档本钱。
  • 目标存储能够用来归档,可是除非你需求低推迟检索,开支或许要比所需高。
  • AWS供给的Glacier归档存储服务本钱比S3大幅削减。从Glacier检索数据用时数小时,因而并不适用于大多数运用。

原文链接:http://www.searchcloudcomputing.com.cn/showcontent_87943.htm

转载请说明出处
知优网 » 目标存储系统 vs Hadoop 云存储怎样选?(hadoop的存储系统是)

发表评论

您需要后才能发表评论