关于分布式存储,你需要知道...

2020-07-30 16:54:11

随着互联网的不断发展,分布式存储将成为未来数据存储的新模式,这一点毋庸置疑。

  随着IPFS发展的火热,很多人可能对分布式存储耳熟能详,但是,大多数人对其概念或者知识点却了解得都过于分散,看了很多却“只见树木,不见森林”,学了很多往往只能“知其然,却不能知其所以然”。因此,有必要对分布式存储的相关知识做出解读。下面我们来看看关于分布式存储,我们需要知道的几点。


分布式存储


  ☛分布式存储的历史

  分布式存储最早是由谷歌提出的,其目的是通过廉价的服务器来解决大规模、高并发场景下的 Web 访问问题。它采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于后期服务器扩展。


  ☛分布式存储的崛起

  分布式存储的兴起与互联网的发展密不可分,互联网公司由于其大数据、轻资产的特点,通常使用大规模分布式存储系统。

  与传统的高端服务器、高端存储器和高端处理器不同的是,互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通 PC 服务器通过网络连接而成。由于互联网的业务发展迅猛,使得存储系统架构不能依靠传统的纵向扩展方式,即先买小型机,不够时再买中型机,甚至大型机。互联网后端的分布式系统要求支持横向扩展,即通过增加普通 PC 服务器来提高存储系统的整体处理能力。

  另外,随着服务器的不断加入,需要能够在软件层面实现自动负载均衡,使得系统的处理能力得到线性扩展。在这种情况下,分布式存储将成为大多数企业的必然选择。


  ☛分布式存储的发展

  目前市场中分布式存储系统是很热门的讨论话题,各种企业也倾向于搭建分布式存储系统。那么,分布式系统解决了企业的哪些问题呢?

  1、升级单机处理能力的性价比越来越低

  企业发现通过更换硬件做垂直扩展的方式来提升性能越来越不划算;

  2、单机处理能力存在瓶颈

  单颗处理器有自己的性能瓶颈,即使愿意花更多的钱去买计算能力也买不到了;

  3、出于稳定性和可用性的考虑

  如果采用单击系统,那么在这台机器正常的时候一切 OK ,一旦出问题,那么系统就完全不能用了。当然,可以考虑做容灾备份等方案,而这些方案就会让系统演变为分布式系统了;

  4、云存储和大数据发展的必然要求

  云存储和大数据是构建在分布式存储之上的应用。移动终端的计算能力和存储空间的强烈的需求,使得网盘、相册等云存储应用很快流行起来。云存储的核心还是后端的大规模分布式存储系统。大数据则更近一步,不仅需要存储海量数据,还需要通过合适的计算框架或者工具对这些数据进行分析,抽取其中有价值的部分。如果没有分布式存储,便谈不上对大数据进行分析。


  ☛分布式存储的种类

  分布式存储包含的种类繁多,除了传统意义上的分布式文件系统、分布式块存储和分布式对象存储外,还包括分布式数据库和分布式缓存等,但其中架构无外乎于三种:

  A、中间控制节点架构 - 以 HDFS 为代表的架构是典型的代表。

  B、完全无中心架构 – 计算模式,以 Ceph 为代表的架构是其典型的代表。

  C、完全无中心架构 – 一致性哈希,以 swift 为代表的架构是其典型的代表。


  随着互联网的不断发展,分布式存储将成为未来数据存储的新模式,这一点毋庸置疑。所以,对于分布式存储,我们应该多点关注,多点了解。


最新推荐