存储系统的演变第1部分:对象,文件还是块?

2018年2月22日 通过 迈克尔·尼奇

全球范围内传输和生成的数据比以往任何时候都要多。 IDC的分析师预计,到2025年,全球数据领域将增长到163 ZB。与2016年的16.1 ZB数据相比,增长了1000%以上。那么公司如何存储所有这些数据?哪种存储系统最适合存储大数据:文件,块或对象?

为什么数据增加了?

比以往更多的源和设备正在生成数据 –嵌入式系统和各种各样的设备正在收集数据并将其传输到大数据应用程序和解决方案,以进行实时分析。使用移动设备,社交媒体平台和在线购物的持续趋势每天都在产生大量数据。

公司还正在进行向客户提供数据的转型,以满足他们对前所未有的新闻和实时数据不断增长的需求。

根据Gartner的新预测,到2020年,超过一半的主要业务流程和系统将在组织中纳入IoT(物联网)的某些元素。这样一来,由大数据应用程序(存储在内部或外部存储)生成,传输和分析的数据量将大大增加。

如何处理增加?

由于大数据的增长,对可以处理和存档更多数字内容的存储解决方案的需求急剧增长。

但是,不仅需要更大的存储设备。数据存储的增加还意味着需要一个可以处理大数据结果的文件系统–存储数据分析。此外,许多存储需求将在内部以及使用诸如Amazon之类的服务在云中处理´企业使用S3或Microsoft Azure。

文件等旧存储方式 存储和块存储 不再提供大数据存储所需的内容。新的解决方案是 对象存储(也称为基于对象的存储).  

文件,块和对象存储之间的区别

文件和块存储是在网络附加存储(NAS)和存储区域网络(SAN)系统上存储数据的方法。

在NAS系统上,它将其存储公开为网络文件系统。将设备连接到NAS(网络附加存储)系统时,将显示可安装的文件系统,并且用户可以使用适当的访问权限来访问其文件。因此,NAS系统必须管理用户特权,文件锁定和其他安全措施,以便多个用户可以访问文件。通过NFS和SMB / CIFS协议处理对NAS的访问。与任何服务器或存储解决方案一样,文件系统负责在NAS中放置文件。这对于成千上万甚至数百万个文件非常有效,但对数十亿个文件却无效。

块存储以类似的方式工作,但是与文件存储不同(文件存储是在文件级别上管理的),数据存储在数据块中。几个块(例如,在SAN系统中)构建文件。一个块由一个地址组成,如果SAN应用程序对该地址发出SCSI-Request,则该应用程序将获得该块。然后,存储应用程序确定数据块在系统内部的存储位置以及特定的磁盘或存储介质上。存储应用程序还决定如何组合这些块以及如何对其进行访问。

SAN中的块没有与存储系统或应用程序相关的元数据。换句话说:块是没有描述,关联或所有者的数据段。一切都由SAN软件处理和控制。因此,SAN和块存储通常用于性能要求不高的应用程序,例如数据库站点或事务站点。

当文件和块存储多年运作良好时,为什么需要新的解决方案?

正在存储的数据已更改。现在正在生产的很多东西是 非结构化数据 -内容或材料将不再更改。这是对象存储发挥作用的地方。

对象存储将数据与元数据标签和唯一标识符捆绑在一起–应用程序通过此ID识别对象。元数据是可定制的,这意味着可以为每条数据输入更多的标识信息。每个对象都存储在一个平面地址空间中,这使它们更易于定位和检索数据。

对象存储系统内部的许多对象都存储在给定的存储磁盘上。纯对象存储只能保存文件(对象)的一个版本。如果用户进行更改,则同一文件的另一个版本将存储为新对象。因此,对象存储非常适合用于备份或存档解决方案,例如在线视频流站点。

对象存储与其他系统之间的主要区别在于对象存储对可以存储多少数据没有限制。此外,所有对象都通过应用程序本身进行管理。这意味着不需要实际的文件系统,因为该层已过时。因此,当应用程序向解决方案发送有关对象存储位置的存储查询时,将为对象提供巨大存储空间内的地址,并通过 应用程序本身.

由于数据管理非常简单,因此与基于文件存储或基于块存储的系统相比,可以更轻松地扩展对象存储解决方案。在数据呈指数增长的时代,这是一个巨大的好处。

结论

对象存储是海量数据的理想解决方案,因此,大型云服务提供商(如Amazon,Google等)经常使用对象存储。但是数据保护和数据恢复又如何呢?这些问题的答案将在本文的第二部分中披露…

图片版权:Gabi Schoenemann /  像素点

//www.pixelio.de/media/245932

载入更多评论
谢谢你的意见!您的评论必须先获得批准


新密码