分布式存储赋能下的DApp:我们距离信息互联还有多远?
目录
摘要
第一章 大存储时代是否已经来到?
1.1 数据爆炸的时代
1.2 传统的解决方案
1.3 去中心化存储 VS 中心化存储
1.4 分布式存储的发展历程
第二章 去中心化存储介绍及基础技术
2.1 去中心化存储与「万物互联」的 DApp
2.2 为什么需要去中心化存储
2.2.1 数据所有权、安全性的需要
2.2.2 智能合约、DApp 的需要
2.3 去中心化存储的基础技术
第三章 去中心化存储基础设施
3.1 去中心化存储「三巨头」
3.1.1 Filecoin
3.1.2 Arweave
3.1.3 Stroj
3.2 存储设施分类
3.3 新的「挑战者们」
3.3.1 BNB Greenfield
3.3.3 OORT
第四章 分布式存储赋能下的 DApp 现状
4.1 分布式存储对 DApp 的优势及作用
4.2 DApp 开发框架及技术选型
4.3 分布式社交媒体平台
4.4 分布式信息管理平台
4.4.1 Genaro Network
4.4.2 Mirror
4.5 总结讨论:我们距离信息互联还有多远?
摘要
本份研报旨在让读者深入了解 Web3 分布式存储的发展历史以及现状,并让读者了解分布式存储的技术原理以及基础设置,并结合具体的 DApp 介绍,分布式存储下对 DApp 构建的优势与作用,最后引出分布式存储对信息互联网络的重要作用。希望能让对分布式存储领域感兴趣的读者了解分布式存储领域的发展脉络,并吸引更多投资者和开发者将目光投向该领域,为该领域的蓬勃发展增添源源不断的新鲜血液!
第一章 大存储时代是否已经来到?
1.1 数据爆炸的时代
现代社会正处于史无前例的信息大爆炸时代,也是数据作为主要生产要素的数字时代。数据量呈指数级地增长的同时,也对现有的数据存储体系提出了更高的要求,数据存储、数据管理、数据检索等一系列的需求纷至沓来。
Web3 建立去中心化分布存储,真正做到个人数据归属个人,谁产生谁拥有,而非传统的谁存储谁拥有。这种数据所有权的改变本质上是基于新的数据存储方式——分布式存储,它将数据分散存储在多个计算机节点上,而非集中存储在单个计算机上。通过这种方式可以提高存储系统的可靠性、可扩展性和性能。
1.2 传统的解决方案
传统的中心化云存储是一种将存储资源放到云上供用户存取的存储解决方案。以互联网云存储作为服务的商业模式历史悠久,赛道龙头亚马逊网络服务公司于 2006 年就推出了 Amazon Web Services (AWS),将自己的服务器和存储空间租借给用户,降低了开发者创建并管理服务器基础设施的开销。至 2022 年为止,整个互联网云服务市场已经变得非常庞大,市场规模超过了 2000 亿美金。国外的亚马逊、微软、谷歌,以及国内的阿里巴巴等公司代表了中心化云存储的头部企业,在这些巨头的合围下整个市场表现得异常集中:2022 年占比约为亚马逊 34%,微软 21%,谷歌 11%,阿里云 5%。
由于中心化存储将数据集中化导致相关数据量更大,更易受到批量化的攻击和泄露,进而导致中心化存储数据的安全性、隐私性和可持续性风险加剧,行业逐渐陷入瓶颈。另一方面,在当前的中心化存储模式下,用户将敏感数据上传,不但使用户失去了对自己数据的掌控权,还将数据泄漏的风险转移到云存储运营商侧。如果这些隐私信息发生数据丢失、损坏、泄露或被盗用,可能导致个人、企业乃至社会的重大损失,并使云存储运营商名誉扫地。
这些痛点让广大用户认识到,中心化存储本身仅仅是一种商业模式!中心化的云存储运营商可能因各种自身各种问题停止服务,而用户却无法对服务商的行为有任何约束和索赔的行为。这就造成用户往往倾向于将数据存储在规模更大、更有信用的服务商处,使头部公司的数据集中化程度越来越高,这造就了前文所述的巨头模式,也带来了数据一旦丢失就将存在大面积丢失的情况。
1.3 去中心化存储 VS 中心化存储
由于传统储存方案的巨大风险,去中心化存储的解决方案应运而生,也被认为是未来存储领域更广泛、更有效的一种存储方式,它既能提高存储数据的安全性,又能降低存储成本,这样看来去中心化存储的市场是巨大的,去中心化存储是最早出现并且最受关注的区块链基础设施之一。
中心化存储数据全部在应用平台服务器上,目前面临着如用户数据安全、所有权、隐私保护和可持续性等诸多问题。而去中心化存储的优势正在于数据可跨多位置复制并在多处被访问,减少了黑客通过单一节点攻击的安全性问题,能够有效进行数据确权和隐私保护,并使用户可以完全控制自己的数据。这样的安全性和隐私性是中心化网络所不具备的。
1.4 分布式存储的发展历程
作为 Filecoin 网络底层技术的 IPFS 是最早的去中心化存储方案, 上线时间可以追溯到 2014 年,IPFS 的愿景是取代 HTTP,使上网、下载更快以及安全性更高。
而从规模上来看,去中心化存储的发展趋势也非常喜人:根据 Filecoin 基金会发布的 2022 年度报告,Filecoin 总存储容量接近 19 EiB,占全球总存储容量的 1%。超过 300 PiB 数据通过社交层 Filecoin Plus 存储在网络上。已有近 4000 个存储供应商为 Filecoin 网络贡献数据容量。Filecoin 为加州大学伯克利分校 UnDergrounD Physics Group、Starling Lab 等个人、组织、政府机构提供存储服务,与 LockheeD Martin 公司合作计划在太空部署 IPFS。
根据 Web3 InDex 数据统计,Arweave 过去 90 天存储费用为 18.5 万美元,而 Storj 为 3.7 万美元。不难看出,无论是存储规模还是性能方面,去中心化存储仍然处于初创期。
第二章 去中心化存储介绍及基础技术
2.1 去中心化存储与「万物互联」的 DApp
随着 Web3 相关技术的发展,人们逐渐发现,数据所有权的问题愈来愈重要。
如今,对于一个用户而言,自己的数据往往被分散存储在了不同的应用中,由不同的红心话存储服务商所把持。一个 OG 可能在 Twitter,Youtube,知乎,微博都有自己的社交账号,同样的一条 Thread 的数据,在不同的社交平台却被不同的公司所控制,他们可以随意删除和修改自己的信息——用户数据的所有权似乎并不归用户所有。有没有办法能够让用户真正拥有数据所有权?
去中心化存储提供了这样的可能。在去中心化存储基础设施中,用户的数据不再由单一的服务提供商所拥有,而是分散后被网络中不同的节点所保存。在使用时,用户可以从不同的节点拿到「碎片」,并复原自己的数据。
利用去中心化存储基础设施,应用可以做到:不再把持或储存用户的数据,而是对用户发布在去中心化存储设施中的数据进行「索引」,并提供相应的服务。例如,Twitter 可以帮助用户发布自己的想法,并提供点赞和转发之类的服务功能,但数据仍然归用户所控制。这样的做法也并不和监管相对抗:当一条数据产生了恶劣的影响或者违背法律时,应用只需要不对该数据进行索引和展示即可,但数据本身仍然可以完整地保存在去中心化的系统中。
可以想像,利用上面的思路,一个用户可以让自己的数据在不同应用中流通,打破「数据的孤岛「。一言以蔽之,打造一个」万物互联「的 DApp 世界。
2.2 为什么需要去中心化存储
去中心化存储的发展,可以归因于两个动机:
2.2.1 数据所有权、安全性的需要
在存储领域,数据安全有三个重要的定义(CIA):
机密性(Confidentiality)。即用户的数据隐私不被泄漏。
完整性(Integrity)。即用户的数据不会被轻易的增删,用户可以拿到自己存储的完整数据。
可用性(Availability)。即用户可以随时拿到自己的数据,不会因为系统宕机或者被用户被禁止访问等原因,造成数据不可用的问题。
随着时间的推移,人们越来越意识到数据安全和数据所有权的重要性。在当前的中心化存储模式下,用户将个人数据上传到中心化存储服务中,很难避免隐私数据泄漏的问题。同时,云存储服务提供商可能会因为政治或者相关利益问题对用户的数据进行增删和修改。这样,用户数据的完整性往往和服务提供商的信用进行了绑定。而服务提供商的存储系统,面对越来越大的需求和性能压力,也可能出现宕机等问题,进而使得用户数据的可用性受到损害。
Bitcoin 第一次让人们去中心化系统的强大,在 Bitcoin 发行至今,整个网络几乎没有出现过宕机的情况。去中心化存储系统本身就有着更好的机密性和抗审查能力。人们开始畅想,去中心化存储是否能在数据所有权和安全性上提供更好的保障。
2.2.2 智能合约、DApp 的需要
自从 Ethereum 引入智能合约和 EVM 以来,区块链变成了去中心化的、可编程的分布式账本。智能合约的发明推动了 NFT、Defi 等场景和应用的萌芽。
作为图灵完备的编程语言,智能合约可以让不同的区块链节点执行相同功能的代码,并让他们对代码执行的结果产生共识。但是智能合约无法储存大量的数据。这是 Ethereum 等区块链本身的设计决定的。
Ethereum 数据存储设计图
在 Ethereum 中,各个账户的余额、Nonce 值等信息并不会直接存储在区块里,而是由各个节点计算整个世界状态树(包含各个账户的信息),并将状态树根的哈希值存储在区块中。而各个账户的信息,以及各个智能合约(智能合约是一种特殊的账户)存储的信息,就保存在状态树中。在 Ethereum 客户端的设计中,这些数据实际上是由各个节点保存在链下的 LevelDB 或者 RocksDB 中,由状态树根进行共识。因此,直接向区块链上的智能合约中存储数据是较为昂贵的。
实际应用中,我们需要安全可靠地保存一些关键数据。例如,在 NFT 应用中,我们可以在链上记录每个 NFT 的 ID 及其拥有者的对应关系,但是对于 NFT 本身的关键数据(metaData),却不能在链上进行持久化的存储,否则会带来大量的 Gas 开销。我们需要额外的方式对这些数据进行存储。
2.3 去中心化存储的基础技术
去中心化存储基础设施运用了多项密码学、分布式系统的关键技术来使得整个系统具有较高的可用性,同时保障存储的数据具有较高的机密性和完整性。
从整体上看,去中心化存储基础设施的核心思路是,将用户的一份文件,分成多个碎片,并对每个碎片进行多次重复,然后将结果分别存储在不同的节点或分区中。当用户需要获取原来的数据时,可以以一定的逻辑向全网的各个节点发起请求,恢复自己原来的数据。这其中可能用到的技术包括:
分布式哈希表(Distributed Hash Table,DHT):DHT 是一种分布式的键值存储系统,它可以在不同的节点之间高效地存储和检索数据。通过使用 DHT,去中心化存储可以在网络中找到数据的位置,实现快速访问。
数据分片(SharDing):为了提高存储效率和数据安全性,去中心化存储系统通常将数据分成多个碎片,并将这些碎片分布在不同的节点上。这可以降低单个节点的存储压力,提高数据的冗余性和可靠性。
数据加密:为了保护用户数据的隐私和安全,去中心化存储系统通常使用加密技术对数据进行加密。这样,即使数据在传输过程中被截获,攻击者也无法获取到原始的数据内容。
纠错码:它通过添加冗余信息来提高数据的容错能力。在去中心化存储中,纠删码可以帮助在数据丢失或损坏的情况下恢复数据,提高系统的可靠性。
此外,为了保证网络中数据的可用性,一般还需要对各个节点进行共识。而为了保证网络的去中心化,需要更多的节点参与数据的存储和共识,这又涉及以下的一些关键技术:
共识算法:去中心化存储通常使用区块链技术来实现自治和透明化。共识算法是区块链系统中的核心技术,它可以确保网络中的所有节点就数据的状态达成一致。
激励和惩罚机制:为了吸引更多的参与者加入去中心化存储网络,激励机制是至关重要的。通过设置合适的奖励和惩罚措施,激励机制可以鼓励参与者为网络提供更多的存储资源和带宽。例如,为了激励矿工进行稳定服务,Filecoin 网络要求矿工投入一部分区块奖励作为抵押品。如果矿工提前终止合约或下线,矿工将受到惩罚,抵押品将被烧毁,这个过程被称为「惩罚」。而诚实的矿工则会因为工作而受到较里。这样一来,整个系统不仅可以激励矿工在第一时间存储数据,而且能激励矿工持久且正确地存储数据,并维护他们对用户和网络的承诺。
网络路由和数据传输:为了实现高效的数据存储和检索,去中心化存储系统需要一个优化的网络路由和数据传输机制。这可以降低网络延迟,提高数据访问速度。
第三章 去中心化存储基础设施
3.1 去中心化存储「三巨头」
去中心化存储本质上服务于 Web3 生态的应用层,因此在解决方案上更加倾向于满足终端用户的需求,也就是用更高效、更低成本的方式执行数据存储、计算与调用的需求。Arweave、Filecoin 和 Storj 已经形成了独立的三个头部去中心化存储网络。
3.1.1 Filecoin
作为一种去中心化存储系统,Filecoin 旨在为人类最重要的信息提供安全和可靠的存储。它采用了一种创新的激励机制,使网络参与者能够提供存储空间并获得相应的奖励。Filecoin 可以与各种 DApp 开发平台结合使用,为开发者提供高度可靠的存储解决方案,确保数据的安全性和可访问性。
Filecoin 和 IPFS 是两个独立的互补协议,均由 Protocol Labs 创建。IPFS 允许对等点相互存储、请求和传输可验证的数据。Filecoin 旨在提供一个持久数据存储系统。它遵循时空证明和复制证明来保证矿工正确存储了他们承诺存储的数据。
Filecoin 上的去中心化存储已证明比 Web2 存储解决方案便宜 95% 以上。Filecoin 的大型 Web3 用例之一是 NFT 数据的存储,超过 9000 万个 NFT 存储在 Filecoin 上,这主要是由于 Filecoin 与 IPFS 的交互,IPFS 通常是 NFT 数据存储的首选。
优点:
去中心化—Filecoin 不是将信息存储在一个地方的集中式网络,而是创建一个分散式网络,其中数据在多个位置复制并可从任何地方访问。
极低成本—Filecoin 正试图通过临时存储的极低成本替代方案来扰乱当前的存储市场。
可扩展性—将全球数百万台计算机聚集在一起,创建一个巨大的存储网络,并激励它们存储数据。
缺点:
付费方式—不支持一次性付费存储数据,而是仅支持基于月租合同的系统存储数据。Filecoin 想租用世界各地服务器上多余的数据存储。这些服务器的所有者可以将空间出租给你我,以便按月保存我们的数据。类似于 Airbnb 如何成为(有时)入住酒店的更便宜的选择,Filecoin 的目标是成为比云存储行业的大玩家更便宜的选择。主要是 Filecoin 的经济模型:基于合约的存储可以更简单地认为是按需付费的模型。用户支付一个节点网络来永久存储数据,并且它还可以不信任地保证有人在那里实际存储他们所说的数据,并在商定的时间内存储。
事实上,每个企业都有自己的替代用例,在那种情况下如果他们需要永久存储,并且只需要支付一次费用就可以永久存储数据,而不是像 filecoin 那样按月支付合同费用和固定时间来存储数据,那么 Arweave 就会派上用场。
3.1.2 Arweave
Arweave 是一个基于区块链的去中心化存储平台,采用创新的可持续和永久的捐赠机制来支持数据存储。它于 2018 年发布。他们创建了 Arweave 来为人们和企业提供永久、低成本和去中心化的存储。为了激励矿工并为存储服务提供支付方式,Arweave 采用了一种名为 AR 的原生代币。
Arweave 向市场引入了一种全新的经济模型,这是在无许可加密网络出现之前从未有过的:永久存储。与 Arweave 交互的简单方法是使用 BunDlr,因为它是永久数据存储的,所以 Arweave(以及 BunDlr)不支持可变数据。但是可以上传更新版本,因此可以构建一个系统来促进可变数据的出现,但具有永久的编辑历史记录。
Arweave 的一个很酷的特性是它强调数据持久性。该平台旨在无限期地存储数据。确保它在未来几年内可供用户使用。通过采用独一无二的数据存储系统,Arweave 通过网络复制每条存储的数据,几乎不可能丢失。通过 Arweave,开发者可以实现大规模、永久性的数据存储,无需担心数据丢失或篡改。它为开发者提供了一种可靠且长期存储数据的解决方案,为 DApp 的数据管理提供了持久性保障。
优点:
Arweave 使用永久存储,用户只需支付一次性预付费用即可永久存储数据。该协议通过利用加密经济博弈论并创建捐赠基金来补偿矿工确保数据可用性、可靠性和持久性来实现这一点。Arweave 首次使用经济学来激励人们长期存储数据。这种组合使公共或私人数据永久化。Arweave 区块链每秒能够处理超过 5,000 笔交易。
缺点:
Arweave 特性能应用于以 HTML5 网页为主的数据保全,建立去中心化 H5-APP,但在实际使用中,我们发行该存证的应用场景较窄,目前可以看到目前在 Arweave 上存储的最多的是推特的一些反政府言论的截图,明确的反政府应用增多是令人担忧的。
Arweave 的特性是永不可篡改,这在程序开发上显得尤为困难,因为开发者上传到 Arweave 的程序必须任何错误都不能有,如果有错误,哪怕是一个标点,之前上传的内容都要作废,需要重新上传,势必造成大量无用垃圾堆积。另外,由于区块链的开放性,Arweave 上传的内容都是面向全社会开放的,不适合上传个人内容。
Arweave 主打主打一次性付费并获得永久文件存储,该模式较为简单,有一定风险会引发同质化项目出现利用相同的存储概念并打响价格战。
3.1.3 Stroj
Stroj 是一个去中心化的内容存储和分发网络,旨在提供快速、安全、低成本的 P2P 云存储服务,主要针对企业级客户,对标 Amazon Web Services (AWS) S3。Storj 于 2014 年成立,2017 年上线,Storj 目前运行的版本名为 Storj Next,于 2023 年 2 月启动,该版本引入了永久存储功能和代币存储奖励。Stroj 提供的去中心化存储服务,简单来说就是用户将需要存储的文件上传到网络,文件被分散存储到世界各地愿意贡献出存储空间的电脑中(存储节点),当用户需要使用文件时,再从网络中检索文件的位置,然后下载到本地电脑中。
然而不同于其他的去中心化存储网络,Storj 网络中不仅有用户和存储节点,还加入了卫星作为第三种角色,三者间形成了一种独立运作,又相互依存的关系。
-用户:使用 Uplink 客户端进行内容传输,Uplink 负责数据加 / 解密及分片。
-卫星:连接用户与存储节点,网络中的协调者。负责存储节点地址信息,元数据、维护节点声誉、支付及管理节点费用、审计节点、管理用户账户授权。卫星便会帮助用户寻找上传速度最快的节点,同时记录用户端和节点的支出和收益。
-存储节点:为用户提供存储空间和网络带宽。
截至 2023 年 5 月,Storj 有 6 个稳定运行的卫星,23600 个活跃节点,共储存 24.2PB。Storj 是一个着重 SLAs 级服务的去中心化存储服务,相 Filecoin 的去中心化、Arweave 具备 Smartweave 智能合约系统,Storj 没有利用区块链技术,且在中心化上有妥协,但这也让它在商用落地上领先于其他同类项目。
优点:
高级别加密 快速数据检索 实惠的价格 易于使用的用户体验
缺点:
Storj 自诩为去中心处存储中的 Uber,在中心化上有所妥协
3.2 存储设施分类
首先对现有的去中心化存储基础设施进行调研,主要从其架构和特点,目前的使用量,以及使用的成本三个方面入手,分析哪些设施更适合让 DApp」栖息「在其中。根据基础设施本身是否依托于一条完整的区块链设计,我们将其分为 Off-chain 存储设施和 On-chain 存储设施两类:
Off-chain 去中心化存储设施中,各个节点之间并非以组成一条区块链的形式存在,而是一个 P2P 的去中心化网络,数据直接被分散和存储在各个节点中。
On-chain 去中心化存储设施中,确实存在着一条区块链,存储着各个文件的证明。在区块链外,存在着诸多的存储服务提供商,来真正地存储文件和数据。
3.3 新的「挑战者们」
3.3.1 BNB Greenfield
三月份,Binance 发布了 BNB Greenfield。Greenfield 是一个区块链和存储平台,专注于促进分散的数据管理和访问,旨在通过简化数据的存储和管理,将数据所有权与 BNB SmartChain(BSC)上下文联系起来,从而改变数据经济。
作为 BNB 世界中「一币三链」的一环,Greenfield 与现有的中心化和去中心化存储基础设施的区别在于:
允许以以太坊兼容的地址形式创建和管理数据和资产。
允许以 BNB 作为基本资产,和 BSC 进行原生跨链,为 BSC 上的应用提供云存储。
为开发人员提供了与流行的现有 Web2 云存储类似的 API 原语和性能。
Greenfield 本质上是一条区块链,由区块链本身和存储服务提供商(Storage ProviDer)两层组成。
在链上,Greenfield 区块链维护用户账本,并将存储元数据作为通用区块链状态数据进行记录。其原生代币用于支付手续费和治理的是 BNB,从 BNB 智能链转移而来。用户向 Greenfield 发起的存储或提取文件请求,实际上会被包裹在区块中。
在链下,存储提供商(SP)是由使用 Greenfield 作为账本和唯一真实数据来源的组织或个人提供的存储服务基础设施。每个 SP 负责响应用户上传和下载数据的请求,同时还充当用户权限和身份验证的守门员。
BNB Greenfield 区块链和 SP 一起构成了一个去中心化的对象存储系统。值得一提的是,以 Greenfield 为存储基础设施的应用,可以很方便的和 BSC、BNB Beacon Chain 进行跨链。
由于,Greenfield 测试网刚刚发布不久,主网将在今年第三季度发布,所以暂时还没有较多的生态入驻。
在笔者看来,BNB Greenfield 存储设施主要是 BNB 相关社区的一环,肯定会对 BNB 的价值产生积极影响。Greenfield 使得 BSC 有着更好的使用体验,得到更高的认可。随着越来越多的项目和用户选择使用 BSC,BNB 和 Greenfield 的整体需求和价值将得到提高。通过跨链切换和整个生态系统的互联互通,BNB 可以在生态系统中的各种应用中得到更广泛的应用,构建一个互利共赢的生态系统。
3.3.2 Filswan
今年 1 月,Binance Labs 宣布启动第 4 季孵化计划,被选中的项目有机会获得 Binance Labs 提供的初始资金投资以及项目发展的多方面支持,其中 Filswan 成功入围第 4 季孵化,共获得了 300 万美元的融资。
FilSwan 近日宣布首款跨链产品 multichain.storage 成功上线 Polygon 主网。该产品使用户能够通过 Polygon 稳定币支付 IPFS/Filecoin 存储,成功地降低了操作门槛并简化了 Web3 存储中的 dApps 开发过程。
FilSwan 是一支来自加拿大的团队。从 2017 年起就深耕云计算和区块链行业,合作院校有加拿大的 Mcgill 大学,Concordia 大学等。多次获得加拿大政府,加拿大自然科学基金会关于区块链云计算方向的研发拨款,也是加拿大下一代网络卓越项目。FilSwan 致力于打造去中心化的存储和计算的方案。FilSwan 的产品服务通过边缘计算技术,IPFS/Filecoin 存储技术和去中心化账本技术得以大幅度增强。FilSwan 产品被广泛应用于大学院校,VR/AR 以及高性能计算公司等。FilSwan 的用户可以在距离自己最近的节点上以最低的成本执行计算任务。
3.3.3 OORT
OORT:去中心化云服务+公链、Web3 和元宇宙的基础设施、为用户提供企业级性能去中心化的底层基础设施云服务。OORT 可提供整套具有互联网规模的 Web3 数据解决方案,旨在为终端用户和开发者带来 Web2 原生般的用户体验。
优势:安全、开放、抗审查,抵御单点故障、抵抗数据泄露(全部数据都在边缘节点加密)网络攻击,互联网规模的可延展性、99.99%+可用性 、超低延迟 、99.99%+耐用性。
核心技术,优化闲置算力,增加 IDC 和各类矿工收益,多元物理机聚合器+多币种(比如:Storj、Filecoin、Chia、Crust、Swarm、Arweave、Ethereum、Helium 等各类去中心化存储、去中心化计算、去中心化节点网络矿币的存量和增量矿工)双挖兼容+(web2 和 web3)大规模商用订单利润收入、同赛道差异化竞争,同赛道赋能兼容、深挖 Web2 和 Web3 的需求端。
第四章 分布式存储赋能下的 DApp 现状
4.1 分布式存储对 DApp 的优势及作用
在 DApp 应用程序中,分布式存储通常用于存储智能合约代码、用户数据、交易数据、身份验证数据等等。对于开发人员来说,合理地应用分布式存储技术,除了具有安全性和可靠性,还可以带来一些其他的优势,例如:
1)高可用性和安全性
由于数据存储在多个节点上,因此即使某个节点出现故障,数据仍然可以从其他节点中访问到。在分布式存储中,数据通常被分散存储在多个节点上,每个节点只存储数据的一部分,这样一旦有节点出现故障,其它节点也能够正常提供服务,确保了数据的可靠性。
2)高性能和响应性
在传统的应用程序中,服务器需要处理大量的数据请求,容易导致性能瓶颈。而在 DApp 中,由于数据被分散存储在多个节点上,每个节点只需要处理自己所存储的数据请求,从而减轻了服务器的负载,提高了应用程序的性能。此外,由于分布式存储能够无限扩展,DApp 也能够无限扩展,从而提高了应用程序的扩展性。
4.2 DApp 开发框架及技术选型
Ethereum + IPFS:以太坊是当今最受欢迎的 DApp 开发平台,其具备高度可编程性和智能合约功能,成为构建去中心化应用程序的首选平台。IPFS(InterPlanetary File System)则是一种备受欢迎的去中心化存储系统,通过分布式协议解决了传统中心化存储的挑战。结合以太坊和 IPFS,开发者得以在强大的环境中构建可靠、安全且高度可扩展的去中心化应用。
Truffle Suite:Truffle Suite 是专为以太坊生态系统而设计的一整套开发工具。其中的 Truffle 是一种开发环境、测试框架和资产流水线,被广泛选择用于构建 DApp。通过与 IPFS 的集成,Truffle Suite 能够实现去中心化存储,为开发者提供全面的功能和便利。
Embark:Embark 是一个简化 DApp 开发和部署过程的框架。借助 Embark,开发者可以轻松创建和管理各个方面的 DApp,包括智能合约、前端界面以及存储和 Whisper 通信等功能。Embark 与 IPFS 等去中心化技术集成,为开发者提供便捷的存储和通信能力,进一步加强了 DApp 的去中心化特性。
HarDhat:HarDhat 是一个强大的开发环境,用于编译、部署、测试和调试以太坊软件。它提供全面的支持,使开发者能够高效地进行智能合约开发和调试工作。HarDhat 可以与 IPFS 或其他去中心化存储解决方案集成,满足 DApp 对可靠存储的需求。
Ganache:作为 Truffle Suite 的一部分,Ganache 是一个功能强大的工具,可用于创建私有的以太坊区块链。通过使用 Ganache,开发者可以在安全且确定性的环境中进行 DApp 的测试和调试工作。它提供了一种快速而可靠的方法,使开发者能够模拟不同的区块链场景,并确保 DApp 在各种情况下的稳定性和一致性。
Web3.js / Ethers.js:Web3.js 和 Ethers.js 是两个流行的 JavaScript 库,用于实现应用程序与以太坊区块链的交互。这些库提供了丰富的功能,包括与智能合约的交互、账户管理、数据查询等。无论是与 IPFS 还是其他去中心化存储系统结合使用,Web3.js 和 Ethers.js 都为开发者提供了强大的工具,使其能够轻松地构建基于以太坊的应用程序。
Moralis:Moralis 是一个全托管的后端服务,专为 DApp 开发而设计。它提供了强大的功能,使开发者能够将精力集中在前端开发上,而无需担心复杂的后端架构。Moralis 支持 IPFS 作为去中心化存储方案,为开发者提供了可靠的存储解决方案,使其能够轻松地将数据存储在 IPFS 网络中。
Arweave:Arweave 是一个去中心化存储网络,采用创新的可持续和永久的捐赠机制来支持数据存储。通过 Arweave,开发者可以实现大规模、永久性的数据存储,无需担心数据丢失或篡改。它为开发者提供了一种可靠且长期存储数据的解决方案,为 DApp 的数据管理提供了持久性保障。
Filecoin:作为一种去中心化存储系统,Filecoin 旨在为人类最重要的信息提供安全和可靠的存储。它采用了一种创新的激励机制,使网络参与者能够提供存储空间并获得相应的奖励。Filecoin 可以与各种 DApp 开发平台结合使用,为开发者提供高度可靠的存储解决方案,确保数据的安全性和可访问性。
Textile 是一个强大的工具集,旨在简化在 IPFS 上构建应用程序的过程,为开发人员提供更加简单和便捷的开发体验。Textile 的工具集包含了各种功能,帮助开发者克服在使用 IPFS 进行应用程序开发时可能遇到的复杂性和挑战。
4.3 分布式社交媒体平台
去中心化社交媒体平台的对 web3 的发展非常有意义,如果想要一个开放和免费的互联网,就需要开放和免费的社交媒体网络。大多数互联网用户将大部分时间花在主要社交媒体平台上。传统的交媒体平台决定了用户能看到什么和不能看到什么,有权审查他们不喜欢的内容/个人资料,并控制所有用户数据。web2 社交平台没有可移植性。每个人的个人资料、朋友关系和内容被锁定到特定网络并归网络运营商所有。并且随时可能发生封号等行为,正基于此,web3 生态里催生了分布式社交媒体平台,可以为开发者解锁网络效应。对于主要的中心化平台来说,这是一条巨大的护城河。
Mask Network、RSS3、Lens Protocols 和 CyberConnect 是当前具有代表性的四个分布式社交媒体协议。它们都致力于为用户提供更安全、去中心化、高效的数据存储和访问服务。下面将从数据存储、数据访问、数据安全性、奖励机制四个角度对它们进行比较。
数据存储:
Mask Network 运行在 Ethereum、Binance Smart Chain 和 Polygon 之上,并具有社区治理和去中心化数据存储功能。
RSS3 使用了一种名为 RSS3 Core 的数据格式,它基于 JSON-LD 语言,可以轻松地进行数据交换和共享,同时也支持其他数据格式。RSS3 的数据存储则是采用去中心化的 IPFS 协议。
Lens Protocols 基于以太坊和波卡两个主要区块链平台,通过跨链桥将它们连接在一起。用户可以在两个平台之间自由地转移数字资产,实现跨链互操作性。
CyberConnect 使用了类似于 IPFS 和 Filecoin 的分布式存储协议来存储数据,同时还结合了智能合约和加密算法来确保数据的安全性。
数据访问:
Mask Network 通过用户友好的 Chrome 扩展程序和社交媒体平台接口,可以方便地进行数据访问、共享和交换。
RSS3 除了已接入以太坊、Polygon、BSC、Arbitrum、Flow 和 xDAI 等,还为 Mask Network、Polygon、Arweave、Misskey、ShowMe 等生态项目提供了数据索引与分发。
Lens Protocol 利用跨链桥连接以太坊和波卡,实现资产跨链转移。该跨链桥采用了多签名机制,确保了资产的安全性和可靠性。
CyberConnect 提供了一个名为 CyberConnect Gateway 的接口,用户可以通过这个接口来查找和访问存储在网络上的数据。
数据安全性:
Mask Network 使用了加密算法和智能合约来保护用户数据的安全性,同时也支持多重签名等技术,以确保交易和存储的安全性。允许用户通过公钥密码学在社交媒体上加密和解密内容。
RSS3 使用了分布式存储和加密算法来保护用户数据的安全性,同时还支持身份验证等技术,防止未经授权的访问。
Lens Protocol 为用户提供流动性池,使得用户可以进行资产交易和流动性提供。该协议支持 AMM 和定价模型两种流动性池。
CyberConnect 使用了类似于 IPFS 和 Filecoin 的分布式存储协议来确保数据的安全性,同时还使用了加密算法、智能合约和身份验证等技术。
奖励机制:
Mask Network 用户可以在 Twitter 和 Facebook 上执行以下活动(无需离开网站或安装其他应用程序):通过 Uniswap DEX 交易代币;捐赠资金并通过红包发送加密货币;利用 Initial Twitter Offering (ITO) 筹集加密项目资金;借由去中心化文件存储服务上传和附加(可选加密)文件到你的贴文。
RSS3 的奖励机制是基于 RSS3 代币的。RSS3 代币主要用于激励用户分享和访问数据,还可以用于支持应用程序和社区的发展。用户可以通过分享自己的数据和参与社区治理等方式获得 RSS3 代币。
在奖励机制方面,这四个项目都采用了类似的方式,即通过代币激励用户参与社区建设和贡献,从而促进社区的发展和增强其稳定性。不同之处在于代币的名称、用途和获取方式不同,这反映了这些项目在设计奖励机制时的不同考虑和定位。例如,Mask Network 注重社区治理和决策,因此其奖励机制强调 MASK 代币的参与价值;RSS3 注重数据分享和访问,因此其奖励机制主要围绕 RSS3 代币的获得和使用展开;Lens Protocol 注重数据存储和访问,因此其奖励机制重点放在提供存储和计算资源上;CyberConnect 同样注重数据存储和访问,但它强调了代币在社区治理中的作用。
4.4 分布式信息管理平台
4.4.1 Genaro Network
Genaro Network 是一个基于区块链的存储网络,它提供了一个去中心化的平台,用户可以在上面存储和分享数据。
数据存储:Genaro Network 使用了一种名为 Genaro EDen 的分布式存储解决方案。这个解决方案类似于 IPFS 和 Swarm,但是它更加注重数据的安全性和可靠性。Genaro EDen 支持各种类型和结构的数据,包括文件、图片、视频等。
数据访问:Genaro Network 提供了一个用户友好的接口,用户可以通过这个接口方便地查找、检索和访问存储在网络上的数据。此外,Genaro Network 还提供了一种名为 Genaro Sharer 的应用,用户可以通过这个应用分享他们的数据。
数据安全性:Genaro Network 非常重视数据的安全性。它采用了一种名为 SPoR(Sentinel Proof of Retrievability)的技术,这种技术可以确保数据在存储和传输过程中的安全性。此外,Genaro Network 还采用了加密和身份验证技术来保护用户数据,防止未经授权的访问。
奖励机制:Genaro Network 有一个独特的奖励机制,通过这个机制激励用户共享数据、提供存储和访问服务。用户可以通过分享数据和提供存储空间来获得 GNX(Genaro Network Tokens)作为奖励。这个奖励机制有助于维护分布式网络的稳定性和安全性。
4.4.2 Mirror
Mirror 是一个基于区块链的发布平台,它允许创作者创建、拥有和货币化他们的作品。
数据存储:Mirror 通过 Arweave 实现了数据的永久存储,包括创作者发布的内容及其所有相关更改、验证作者身份真实性所需的所有信息。Arweave 不仅提供永久性的数据存储功能,而且只需在第一次上传时支付一次费用。
数据访问:Mirror 提供了一个用户友好的网页界面,用户可以通过这个界面方便地查找、检索和访问存储在平台上的内容。此外,因为所有的内容都存储在区块链上,所以任何人都可以使用以太坊的工具来直接访问这些数据。
数据安全性:Mirror 使用了区块链的加密技术来保护用户数据的安全性。每个用户都有一个与其以太坊钱包关联的账户,只有通过这个钱包,用户才能发布或修改他们的内容。这确保了只有内容的真正所有者才能控制这些内容。
奖励机制:Mirror 有一个独特的奖励机制,通过这个机制激励用户创建和分享内容。用户可以通过发布内容和参与投票来获得 MIRROR 代币作为奖励。这个奖励机制有助于维护平台的活跃性和多样性。
4.5 总结讨论:我们距离信息互联还有多远?
信息互联是指通过网络实现各种设备、系统、软件、服务等的相互连接和通讯,是数字化时代的基础设施之一。在过去几十年的发展中,信息互联技术不断地进步和普及,促进了社会、经济、文化等领域的快速发展。但是,当前信息互联技术也存在一些不足之处。其中,数据中心集中化存储和云计算主导的服务模式是两个最明显的问题。
传统的「云端存储」,是指所有用户数据都被集中存储在少数的数据中心中。这样的存储方式存在单点故障风险,如果其中一个数据中心出现故障,将会对大量用户造成影响。此外,集中化存储还存在着数据隐私泄露和滥用等问题,用户的数据完全由中心化的服务提供商控制和管理。
云计算主导的服务模式则是指绝大多数的在线服务都是通过云计算来实现的,这些服务通常由少数几家大型互联网公司垄断。这种情况导致了数据的流通和处理主要由少数大公司掌控,造成了数据的垄断和掌握权集中化的问题。
随着区块链技术的发展和应用,分布式存储技术的应用也得到了更广泛的推广。以太坊和 IPFS 之间的集成让 DApp 的开发和使用变得更加简单和有效,也为信息互联的发展提供了新的思路和可能性。传统的中心化应用程序存在诸如隐私泄露、数据依赖、系统崩溃等问题,而 DApp 在去中心化的基础上,通过区块链技术和智能合约,使应用程序更加透明、安全、可靠和具有更高的去中心化程度。随着技术的不断进步和应用场景的不断扩展,DApp 在未来的发展中将会发挥更加重要的作用。
分布式存储在区块链应用层的创新通过内置的商业、推荐以及存储等机制,将重构以往 Web2.0 时代下的企业商业模式和生产关系,从根本上解决的数据垄断、隐私安全和利润榨取等问题,或成为未来社交、内容和电子商务应用程序的支柱。
参考文献
2022 年末总结:去中心化存储的现状与未来
https://www.odaily.news/post/5183978
为什么我们需要去中心化存储?
https://foresightnews.pro/article/detail/16883
去中心化存储报告:WEB3.0 发展基石
https://www.odaily.news/post/5181314
Web3 Storages : Arweave vs IPFS vs Filecoin, which to choose ? | by makeDEVeasy | CoinsBench
https://coinsbench.com/web3-storages-arweave-vs-ipfs-vs-filecoin-which-to-choose-77b5efde4b41
Storj Network Statistics - Grafana (storjstats.info)
https://storjstats.info/d/storj/storj-network-statistics?orgId=1
The Web3 InDex
https://web3index.org/
Storj (github.com)
https://github.com/storj
Storj:颠覆 AWS 的分布式存储网络?
https://www.web3sj.com/news/65638/
Oort | The Web3 Data Cloud (oortech.com)
https://www.oortech.com/
FilSwan
https://www.filswan.com/homepage/
来源:律动
来源链接:https://www.theblockbeats.info/news/42594
关于 Oort
Oort 是一个完全去中心化的数据云,提供无与伦比的隐私性、可靠性和成本效益。Oort 的愿景是让每个用户都可以轻松理解、管理并使用自己的数据,让自然语言成为用户与数据交互所需的唯一工具。Oort 是Web3数据云领域的领先者,将数据管理与人工智能技术相结合,并通过其企业级产品性能在分布式数据基础设施方面独占鳌头。Oort 的核心技术得到了美国专利和学术出版物的背书,并已与 40 多个项目/公司以及 20 多所美国名牌大学(例如哈佛、麻省理工、芝加哥大学等)建立了牢固的合作伙伴或客户关系。更多详情https://www.oortech.com。
免责声明:本文不构成投资建议,用户应考虑本文中的任何意见、观点或结论是否符合其特定状况,及遵守所在国家和地区的相关法律法规。同时本网站部分推送的文章内容未及时与原作者联系,在已知出处的情况下均已注明来源,版权归原作者所有,内容为原作者个人观点,并不代表本网站赞同其观点和对其真实性负责,若涉及版权问题,敬请原作者联系我们删除,感谢每一位作者的辛苦创作与付出!
本文2023-06-15 23:07:15发表“解码web3”栏目。
本文链接:https://www.bgcaijingpro.com/article/8.html
金铲子:错过SOL手机,千万别再错过BNB生态手机CoralPhone
90503
OORT在深圳数据交易所上市,扩大其亚洲人工智能市场影响力
90809
Web3市场营销思维转型:从市场到操盘思维
90568
Web3市场营销思维转型:以投资型用户为中心构建全新框架
90887
项目方必备指南:Web3 KOL投放手册
90614
Web3高阶认知:二级基金、KOL、交易所、VC、技术、营销、BD、项目方、散户
90598
三分钟了解 OORT Datahub:引领去中心化数据收集与标注行业
90883
a16z谈项目入市策略:以注意力和Token为驱动,打造去中心化社区
90615
京东进军加密支付:京东稳定币,让支付更简单!
90496
以太坊创始人V神 :要超越Token经济,围绕正外部性的业务&激励&治理-综合力量博弈!
90624
阅读排行
- 行业观察:GameFi为什么萎靡不振?为啥都去做平台了?
- Crypto行业必备工具:防诈骗/反撸神级工具
- Web3投融资的Token合规之路:SAFT协议解析
- 12种最重要的Web3编程语言(2022年)
- GPT聚合版 OneGPT- 聚合ChatGPT、文心一言、通义千问、POE、Bard、New Bing等多个平台
- 哪里是 Web3 的福地?
- 京东进军加密支付:京东稳定币,让支付更简单!
- BUDAOLABS主办的9月8号WEB3技术应用高峰论坛圆满结束
- GBFA AI WEB3 亚洲数字经济投资论坛
- 由AIGP全程赞助,BUDAO LABS联合主办的AI+WEB3主题的分论坛,11.13号下午在泰国博览会B论坛举行!