shutterfly（大数据时代，数据应该如何存储）
本文目录
大数据时代，数据应该如何存储
PB或多PB级基础设施与传统大规模数据集之间的差别简直就像白天和黑夜的差别，就像在笔记本电脑上处理数据和在RAID阵列上处理数据之间的差别。"
当Day在2009年加入Shutterfly时，存储已经成为该公司最大的开支，并且以飞快的速度增长。
"每N个PB的额外存储意味着我们需要另一个存储管理员来支持物理和逻辑基础设施，"Day表示，"面对大规模数据存储，系统会更频繁地出问题，任何管理超大存储的人经常都要处理硬件故障。大家都在试图解决的根本问题是：当你知道存储的一部分将在一段时间内出现问题，你应该如何确保数据可用性，同时确保不会降低性能？"RAID问题解决故障的标准答案是复制，通常以RAID阵列的形式。但Day表示，面对庞大规模的数据时，RAID解决问题的同时可能会制造更多问题。在传统RAID数据存储方案中，每个数据的副本都被镜像和存储在阵列的不同磁盘中，以确保完整性和可用性。但这意味着每个被镜像和存储的数据将需要其本身五倍以上的存储空间。随着RAID阵列中使用的磁盘越来越大（从密度和功耗的角度来看，3TB磁盘非常具有吸引力），更换故障驱动器的时间也将变得越来越长。
"实际上，我们使用RAID并不存在任何操作问题，"Day表示，"我们看到的是，随着磁盘变得越来越大，当任何组件发生故障时，我们回到一个完全冗余的系统的时间增加。生成校验是与数据集的大小成正比的。当我们开始使用1TB和2TB的磁盘时，回到完全冗余系统的时间变得很长。可以说，这种趋势并没有朝着正确的方向发展。"
对于Shutterfly而言，可靠性和可用性是非常关键的因素，这也是企业级存储的要求。Day表示，其快速膨胀的存储成本使商品系统变得更具吸引力。当Day及其团队在研究潜在技术解决方案以帮助控制存储成本时，他们对于一项叫做纠删码（erasure code）的技术非常感兴趣。
采用擦除代码技术的下一代存储
里德-所罗门纠删码最初作为前向纠错码（Forward Error Correction, FEC）用于不可靠通道的数据传输，例如外层空间探测的数据传输。这项技术还被用于CD和DVD来处理光盘上的故障，例如灰尘和划痕。一些存储供应商已经开始将纠删码纳入他们的解决方案中。使用纠删码，数据可以被分解成几块，单块分解数据是无用的，然后它们被分散到不同磁盘驱动器或者服务器。在任何使用，这些数据都可以完全重组，即使有些数据块因为磁盘故障已经丢失。换句话说，你不需要创建多个数据副本，单个数据就可以确保数据的完整性和可用性。
基于纠删码的解决方案的早期供应商之一是Cleversafe公司，他们添加了位置信息来创建其所谓的分散编码，让用户可以在不同位置（例如多个数据中心）存储数据块或者说数据片。
每个数据块就其自身而言是无用的，这样能够确保隐私性和安全性。因为信息分散技术使用单一数据来确保数据完整性和可用性，而不是像RAID一样使用多个副本，公司可以节省多达90%的存储成本。
"当你将试图重组数据时，你并不一定需要提供所有数据块，"Cleversafe公司产品策略、市场营销和客户解决方案副总裁Russ Kennedy表示，"你生成的数据块的数量，我们称之为宽度，我们将重组数据需要的最低数量称之为门槛。你生成的数据块的数量和重组需要的数量之间的差异决定了其可靠性。同时，即使你丢失节点和驱动器，你仍然能够得到原来形式的数据。"
sfly是什么意思
sfly
其他释义：
简称世纪飞扬
简称世纪飞扬
祸州世纪飞扬电子手艺有限义务公司,简称世纪飞扬（SFLY）,建立于2006年，经由过程对当局疑息化、企业疑息化战止业疑息化需供的周全了解，专业处置硬件产物的开辟取发卖、计较机体系散成纪...
短 语
LET’SFLY易生活商城
Shutterfly SFLY ThinkEquity买进
本文相关文章：
2021超级烂户双黑下款口子包借到（乐山不看征信不看大数据的贷款）
2025年8月20日 22:30
2025年6月28日 17:51
2025年6月15日 11:30
sql触发器（sql中的触发器与存储过程有什么相同点和不同点希望能专业点，谢谢）
2025年5月22日 19:00
更多文章：
2026年5月14日 10:15
2025年6月10日 01:40
2026年8月1日 22:00
2025年4月7日 03:02
2026年11月9日 13:30
2026年6月30日 05:10
2026年9月22日 11:00
QQ上下载娱乐空间有危害吗？王者荣耀推出“qq飞车”娱乐玩法模式，这个模式好玩吗你如何看待这个模式
2025年6月29日 21:00
2026年4月12日 21:45
100种禁用的视频软件下载，100种禁用的视频软件下载免费夜晚
2025年5月30日 22:41
2026年2月24日 04:45
2026年9月27日 17:40
2026年9月29日 03:40
html+css+js软件（学习html5+css3+js用什么软件）
2026年2月17日 18:00
2025年12月9日 12:45
泰拉瑞亚电脑版免费（请问电脑版如何下载正版泰拉瑞亚（免费的））
2026年9月17日 08:10
2026年5月19日 11:00
2026年2月9日 14:15
七龙珠手机版单机游戏（手机上有什么好玩点的七龙珠的游戏，求推荐）
2026年1月16日 20:45
2025年9月23日 23:15
