Filecoin、NeoFS、Sia和Swarm,分布式存储的解决方案比较

一直以来分布式存储都被称作下一代互联网Web 3.0的支柱,但是由于缺乏激励机制,其功能和普遍可访问性一直受到限制。

而这对于保证给用户提供随时可用的数据并在用户需要时迅速交付来说至关重要。否则,要在真正分布式的环境中作出承诺就很难。

自从区块链出现以来,就已经有各种项目开始探索用区块链来构建分布式存储市场的激励层,一些值得注意的存储解决方案开始在许多应用场景中与集中式储存争夺市场主导地位。

在本文中,我们将介绍分布式数据存储的主要概念,并考虑其潜在的应用,并将Neo的本机解决方案NeoFS与区块链行业的其他知名项目(Sia,Filecoin和Swarm)进行比较。

为什么要使用分布式数据存储?

在深入研究不同解决方案的优势之前,我们应该先考虑分布式存储(与集中式存储相比)的优势和挑战。

云存储的简单性和低维护量导致数据会被大规模的迁移到集中式服务器,无论是普通用户还是有大量存储需求的企业。由于规模经济,导致出现了大型数据孤岛,这些“孤岛”主要由亚马逊,微软,IBM和Google等巨头拥有并运营。

尽管公司之间的竞争可以为用户提供许多可供选择的服务商,但服务本身的性质通常引起人们对审查或滥用私人数据的可能性的关注。向云存储的转变也为数据盗窃创造了9更多机会。欧盟领先的隐私监管机构在其2019年报告中报告曾表示,有效数据泄露量比2018年增加了71%。

2005-2019年间美国的年度数据泄露事件和公开记录(来源:Statista.com)

分布式存储网络旨在以多种方式瓦解现有的云储存市场。

首先,大多数网络都在自由参与的市场原则下运作。这意味着任何人都可以参与网络,并且不必冒单个故障点的风险,而是将数据复制到整个分布式网络中的多个节点。

区块链集成还可以自然的包含公钥加密。数据通常在经过加密之后存储到主机,只有其合法所有者和所有者选择共享的任何一方才能解密。此过程可以使这些服务更不受审查机构和人为操纵的影响,还可以使因受到攻击所丢失的任何数据都无效。

此外,与区块链技术的集成提供了对激励层的访问,该激励层可用于奖励良好行为或惩罚恶意活动。这使得这些平台可以通过利用加密货币的全球性和无边界性来服务全球市场。

最后,分布式存储网络是一种经济高效的解决方案。与数据孤岛操作导致的大量开销不同,分布式网络利用了遍布全球的终端用户设备中未使用的存储容量,激励用户为网络贡献存储空间,理想情况下会产生大量供应,从而长期压低价格。

不利的一面是,分布式存储的技术复杂性也带了需要解决的问题,否则可能无法为终端用户提供与现有集中式服务可比的体验。

这些网络面临的显著挑战包括:原始可扩展性,维持开放的市场的激励基础设施的构建,以及确保动态分布于全球的动态网络的数据完整性。

分布式存储项目

尽管有相似之处,但分布式存储解决方案形态大小各异,通常具有独特的优先级和目标市场。让我们介绍以下这四个项目:

Filecoin

目前仍处于试验阶段,该计划由协议实验室发起。

协议实验室是广受欢迎的IPFS的创建者,其系统于2015年启动,是一种点对点的存储网络,旨在彻底改变数据在Internet上的分配方式。

与超文本传输协议(HTTP)(当前的Web标准)不同,IP是在Web标准中从托管数据的特定位置请求数据的,而IPFS请求仅指定数据的加密哈希值,可以将其视为类似指纹的标识符。

这种技术被称为内容寻址,它允许用户直接通过其标识符请求所需的内容,并连接到可以为其提供服务的任何节点。但是,这确实需要至少一个节点来努力存储该特定内容。

自IPFS发布以来,其主要弱点也凸显出来:需要激励节点固定内容并保证其可用性。这就是被设计为IPFS的基于区块链的激励层——Filecoin发挥作用的地方。尽管尚未正式发布,但该团队在4月份的路线图更新中报告说,其测试网上已验证的存储超过了5 PB。

NeoFS

NeoFS最初是在原始Neo白皮书中提出的有关集成分布式存储协议的建议。包含本机数据存储网络旨在通过授予应用程序存储、检索和管理链下数据的能力,为应用程序提供进一步的分布式功能。

该系统的最终设计由Neo SPCC创建,该研发团队旨在支持Neo生态系统并开发真正的分布式式云平台。

NeoFS通过商品或企业级硬件从用户那里获取存储空间,他们可以将未使用的HDD / SDD容量出租给网络,以换取GAS。通过在网络多图上使用集合点哈希值来确定性地计算数据放置,即使在分布式环境中,该解决方案也可通过消除节点之间不必要的元数据传输的需求来实现极高的可扩展性。

该解决方案还引入了一种交互式的零知识证明协议,该协议基于同态哈希来异步地保持整个网络的数据完整性。该协议提供一致的审核,未能通过审核会阻止付款,从而阻止节点尝试通过删除数据来“作恶”。

Sia

Sia于2013年构思出来,旨在通过使用区块链创建开放的市场,供用户购买或租用未使用的数据存储容量来瓦解云存储市场。

参与者就存储条件(例如容量和持续时间要求)达成一致,这些条件以加密服务级别协议(称为文件合同)的形式结算。这些将在Sia区块链上自动处理并完成。

自2016年6月首次发布稳定版以来,Sia在软件开发和存储网络增长方面均取得了持续的进步。根据siastats.info的数据,该网络最初侧重于归档应用程序,当前存储的数据超过800TB,并且在全球分布着300多个活动主机。

Swarm

Swarm被设计为以太坊Web 3.0堆栈的基础层,是一种分布式存储和通信基础架构,具有审查制度和抗DDOS设计。

该网络采用分布式的,内容寻址的块存储形式,利用以太坊的devp2p网络层进行另一端的发现和通信。以太坊还用于智能合约,以建立其激励基础设施,即Swarm Accounting Protocol或SWAP,向节点收取资源搜索费用,并向提供资源的节点提供奖励。

通过SWAP及其基于地址密钥的检索协议,Swarm打算创建一个环境,希望最大程度提高其获利能力的节点自然会缓存并存储可以频繁使用的内容。Swarm的激励方案仅可用于在TestNet上面,而且大多数数据是以无私方式存储的。

每个项目在各自理论和方式上的细微差异可能导致难以直接比较它们。为了解决这个问题,我们将潜在的用例分为三个点,并比较每个项目如何为应用程序场景提供服务。

备份和存档

分布式存储的最简单也是当今最常见的应用之一——云存储已受到个人和企业的广泛欢迎,为那些希望长期保留重要文件或在灾难发生时增加冗余设置的人们提供了一种资源。

为了与当今的云服务竞争,分布式存储提供商通常会将原始容量置于性能或带宽之上。这使其成为开放式分布式存储网络的理想用例,该网络可以在开放市场上出售任何设备的未使用空间,从而通过大量供应来降低价格。

由于NeoFS,Sia,Filecoin和Swarm都提供了类似的基础架构来支持开放数据存储市场,因此它们都可以从这种用例中受益。同样,每个项目都提供了一种数据复制机制来确保持久性,以应对分布式网络中固有的不确定性因素。每种协议都采用类似的方法,即使用纠删码或类似的技术来拆分数据,然后将副本分发到网络上的多个节点以实现冗余。

为了确保节点可以保持数据的访问性,对良好行为的鼓励和定期进行数据完整性检查(例如Filecoin提出的复制证明或NeoFS的零知识数据验证机制)使遵循规则的成本比尝试进行网络欺骗的成本低。

NeoFS零知识数据审核游戏,用于发现损坏或恶意的节点(来源:NeoFS)

在上述网络中,Sia当前在备份和归档用例上保持主导地位,这是所讨论的唯一具有有效主网的协议。Sia的另一独特优势进一步巩固了这一地位。其基于种子的文件恢复服务,使用户可以创建网络上存储的当前文件的快照。

该种子使用户可以随时随地从任何位置恢复这些文件,从而使其成为功能强大的工具。但是,该团队指出,该解决方案并不是“一劳永逸”的,因为用户必须确保文件合同保持活动状态才能还原文件。这意味着用户必须每隔几周手动访问Sia来续订合同,或预留自动续订的费用。

虚拟主机和内容分发

有时,目标并非主要是长时间保留数据,而是将数据快速提供给用户。这是Web前端的典型情况,也适用于经常访问的内容,例如音乐,视频或游戏流。

为了满足这些用户的需求并与数据中心竞争,这些应用程序的存储提供商可能会优先考虑性能和大带宽。此外,将内容放置在尽可能靠近用户的位置有助于减少满足检索请求所需的时间。

当谈到优化数据放置时,以太坊的Swarm提出了一种特别优雅的解决方案。通过其节点同步和缓存机制,Swarm被设计为充当“ 自动缩放弹性云 ”,其中特定内容的流行度的增长将增加附近缓存块的节点的数量,进而有助于优化路由。

最终结果是一个分布式系统,该系统自然地对其自身进行了配置以实现快速分发,使其成为此类应用程序场景的有力竞争者,尤其是对于已经以其他方式与以太坊集成的服务。

缓存如何优化最终用户的内容交付时间的示例(来源:Incapsula)

Filecoin还采用了一种激励机制来确保内容的快速交付。通过将网络划分为存储和检索市场,帮助区分不同类型的存储提供商(提供高容量的存储提供商和专注于快速检索的存储提供商),可以实现此目的。这可以帮助用户选择可以满足其需求的提供商,从而提供IPFS的基础结构,以用作响应式CDN /网络托管服务。

这两种方法也可以在NeoFS中看到。像Filecoin一样,开放市场允许客户在进行初始数据放置时进行自我优化。NeoFS上的存储节点可以在加入网络时定义其地理位置、存储类型、容量和价格,为租户在放置数据时提供重要信息。例如,公司可能希望专门针对基于美国的存储节点,以帮助更快地将数据传递给美国用户。

尽管可能需要进一步的发展,才能使所讨论的任何网络在一致的交付时间和成本方面持续挑战当今的云服务,但每个网络都表明,这几乎可以肯定是“何时”而不是“能否”的问题。

通过智能合约与链下数据进行交互

智能合约平台的创建为开发人员提供了一种设计用于非信任业务逻辑的环境,但是,这仅涵盖特定应用程序的一个方面。经常可能会要求用户通过集中式Web前端访问服务,从而重新引入信任要求,并且项目可能会运行或租用自己的服务器来处理应用程序所需的任何其他数据。

如上一节所述,尽管其中一些用例可以通过考虑到内容分发而设计的协议来满足,但区块链应用程序仍经常依赖于脱链数据存储,从而带来了对信任的担忧。为了允许创建真正的分布式应用程序,可以使用分布式脱链存储来托管两个用户界面并替换这些集中式后端。

在理想情况下,开发人员可以将代码编写到智能合约中,以从链外源请求一段数据,对数据进行处理,然后保留更改或继续进行操作。问题在于,智能合约本质上仅限于执行环境提供的指令和数据集。

存储操作将通过Neo3内置的oracle服务传递,以允许智能合约于分布式拖链储存进行交互(来源:Neo SPCC)

简单地说,如果虚拟机不具有访问链下服务的能力,则必须将数据存储在链上才能通过合约进行访问。

以这种方式在链上获取数据可提供彻底的冗余,但这伴随着每字节的极高价格,这不可能满足许多开发人员的需求,尤其是在需要越来越大的数据集的情况下。

尽管Sia和Filecoin都表示有兴趣通过跨链桥直接使智能合约可以访问脱链数据,但在设计合约与存储网络互操作之前,必须与区块链VM或oracle服务进行适当集成。

NeoFS是尝试提供此功能的已知分布式式存储网络中的第一个。Neo的本机oracle服务完成后,通过NeoVM运行的合同将能够请求甚至操作NeoFS链下存储的数据。这可以为集中后端提供一种功能替代方案,同时避免了对链上存储相关的高成本和通常不必要的冗余的需求。

这种集成使NeoFS成为唯一能够满足此应用场景的已知分布式存储系统,从而促进了可能成为第一个真正的分布式应用程序的创建,在该系统中,可以以分布式为应用程序的后端数据库和面向用户的前端提供服务。

总结

总而言之,区块链技术和分布式存储之间的最新结合已经创建了一些有光明前途的分布式存储网络,每个网络都具有确保其可访问性和可行性所需的激励层。尽管这些网络在整个潜在应用场景中的应用目前仍处于试验阶段,但它们已经威胁到了云储存的市场。

展望未来,Neo SPCC还打算通过添加Neo Lambda(一种用于分散式无服务器计算的服务)来进一步改善其技术堆栈。正如NeoFS允许应用程序将其数据存储需求移到链下一样,Neo Lambda也打算让它们卸载繁重的计算,从而实现了团队的目标,即创建一个真正的分散式云平台。

【免责声明】深链发布此信息目的在于传播更多信息,不代表本站任何观点、立场与投资暗示。如信息中侵犯知识产权,请及时来电或致函告之,本站将第一时间删除文章。
参与讨论
相关推荐
今日热文
TOP1
大牛市还没来,但山寨币的热度就快要结束了。
秘乐短视频是什么,其疯狂扩张的背后隐藏着哪些秘密和风险?
我倒下了,希望你们能成功。虽然心情复杂,“斗士”帕维尔·杜罗夫的话语依旧强硬和热血。
订阅深链