Web3.0数据基础设施：挑战与机遇

文摘

Web 3.0 的出现标志着一个历史性的转折点。它开启了 Web 历史上的一个新时代，其定义是访问权、所有权和治理权从当今的 Internet 巨头到 Internet 的每个用户的彻底转移。Web 3.0 背后的想法是创建一个可以准确解释您的输入、理解您传达的内容并允许完全控制您想要消费的内容类型的互联网。

发表于：IEEE Network （第 37 卷，第 1 期，2023 年 1 月/2 月）
页数：4 - 5
出版日期：2023 年 4 月 27 日
ISSN 信息：
DOI：10.1109/MNET.2023.10110018
出版商：IEEE

Web3.0的数据基础设施为什么重要？

Web3.0的出现标志着历史性的转折点。它开启了互联网历史上的一个新时代，这个时代的定义是从今天的互联网巨头向互联网的每一个用户实现对接入、所有权和治理的彻底转移。Web3.0的理念是创造一个能够准确解释你的输入、理解你所传达的意思、并完全控制你想要消费的内容类型的互联网。Web3.0的兴起带来了对去中心化数据基础设施的需求，使用户能够具备以下关键特征存储、检索和维护他们的数据:

• 隐私 - 数据在用户端进行加密，编码（例如Reed-Solomon码，喷泉码），分片成多个部分，然后存储在地理分布的位置。这个过程提供了更高的系统可靠性和安全性，使数据仅对数据所有者可访问。

• 不可变性 - 数据记录保持不变，存储可以随时随地进行验证。

• 低成本 - 相对于传统数据存储，大量的PB级数据可以以极低的成本进行存储。

Web3.0云存储的市场规模非常巨大。目前的云存储市场价值为800亿美元，预计到2029年将增长到3760亿美元。Web3.0存储的最佳用例之一是数据归档。现在，60％的互联网数据被视为归档数据；到2024年，这个数字将增长到80％。目前，归档数据存储市场主要使用磁带来存储他们的数据 - 类似于VCR。相比磁带，Web3.0存储是一种更安全、更经济实惠的选择。

现有解决方案

目前已经存在一些提供Web 3.0存储解决方案的项目，例如Filecoin、Oort、Arweave和Storj，每个项目都有其优点和缺点。这些项目共享相同的目标，即确保存储的数据始终可访问，同时安全且不可变。虽然每个项目都有自己实现目标的方法，但实施安全和不可变性的基本理念是相同的。安全性是通过提供用户私钥的端到端数据加密来确保的。区块链技术通过精细跟踪和验证数据存储在关键时刻发挥了至关重要的作用，从而保证了不可变性。这些先进的系统不仅维护信息的完整性，而且通过提供代币激励，创造了一个全球的存储提供商网络。这种奖励制度鼓励参与，并在全球范围内促进了一个分散的、安全的数据存储环境。除了存储解决方案外，Oort是一个提供综合Web 3.0数据解决方案的数据云，包括Web托管、数据仓库和数据归档，这些都是去中心化的。

总的来说，Web 3.0数据基础设施面临着四个关键挑战——技术、监管、采用和标准化。

技术障碍

对于Web3.0基础设施来说，可扩展性是至关重要的。为了与Web2.0云服务提供商竞争，Web3.0基础设施必须具备Web2.0相当的容量和性能，以处理大量数据并保证隐私。例如，基于去中心化网络托管的视频流和其他数据密集型应用程序需要存储和检索冷数据以及热数据（分别是不经常访问的数据和存储在数据库中经常访问的数据），以促进摩擦少的用户体验。不幸的是，目前的去中心化网络无法在互联网规模上托管热数据。跨行业和领域的客户和用户需要实时可靠地访问数据，而没有互联网规模的热数据支持意味着没有视频流或其他需要速度的内容传递。由于现有的 Web3.0 基础设施无法在互联网规模上托管热数据，因此技术上的障碍是Web3.0数据基础设施面临的关键挑战之一。为了与Web2.0云服务提供商竞争，Web3.0基础设施必须具有Web2.0可比较的容量和性能，以处理大量数据并保证隐私。例如，托管在分散网络上的视频流和其他数据密集型应用程序需要存储和检索冷数据和热数据（分别是不经常访问和经常访问存储在数据库中的数据），以促进无缝的用户体验。不幸的是，当前的分散网络无法托管互联网规模上的热数据。各行各业的客户和用户需要即时、可靠地访问数据。没有针对互联网规模的热数据的支持，就没有视频流或其他需要速度为一切的内容传输。

监管障碍

当我们考虑高度监管的行业，如保险业的运作方式时，监管的影响变得非常明显。在大多数情况下，政府要求保险公司始终知道其保单持有人的数据存储在哪里，甚至可能要求保险公司在不同的数据中心存储多个数据副本。然而，随着去中心化技术变得成熟并证明了其安全性和可靠性，监管规定也将随着时间的推移而发生相应的演变。在高度监管的行业，例如保险业，监管政策的影响显而易见。在大多数情况下，政府要求保险公司始终知道其投保人数据存储的确切位置，甚至可能要求保险公司在不同的数据中心存储该数据的多个副本。然而，随着去中心化技术的成熟和安全性可靠性得到证明，监管政策也会随之逐步发展。

采用相关的障碍

大规模采用的结果是信任。由于当前Web 3.0数据基础设施的规模相对较小，它们没有像已建立的集中式服务提供商一样接受过同样强度的测试。低水平的采用率和稀缺的使用案例使得去中心化存储网络很难，甚至不可能评估它们的容量和性能，或预见可能会在更多用户加入后成为危机的风险。想象一下黑客多频繁地攻击 Facebook 或 Google，无论攻击是否成功，这些攻击的大部分失败都很重要，因为这表明目标正在填补安全漏洞和改进他们的系统，并有助于他们逐渐建立与用户的信任。此外，Web3.0的易用性是主流采用的重要前提。世界上大部分人将会发现仅仅登陆就很困难、令人烦恼并且让人望而却步——更不用说实际使用Web3.0产品了。复杂的用户体验阻碍了加密社区之外的人们看到Web3.0如何产生收入、造福世界，并简单地使生活更轻松。

标准化

标准化进程必须涉及到W3C。Tim Berners-Lee最近声明，他不支持Web3，因为W3C已经为语义网络定义了Web 3.0标准。选择将其命名为Web3本身就是一个尴尬的选择。目前的影响是，全球对Web3的接受程度正在受到非正式标准的影响，而不是真正的可信标准。一些新的倡议提出了Web5和Web7等概念，这使得这个领域非常不稳定。Web3.0社区与W3C之间的合作将有助于实现透明和全球标准。

机会

为了实现与Web2.0相当的用户体验和系统性能，我们需要一组新的基础协议（分散式协议，如Filecoin，也称为Layer-1解决方案）和中间件协议（即Layer-2解决方案），以改善分散式基础设施的当前工作流程。

以下是Web 3.0成功所必需的关键发展的列表：

• Web2.0兼容的API，如AWS S3 API和SQL API，数以千万计的Web2.0开发人员需要这些著名的API格式，以便在没有陡峭的学习曲线的情况下实现无缝的转换到Web3.0。

• 资源使用证明：Layer-1存储解决方案通常提供存储证明以实现数据不变性。然而，Layer-2服务需要消耗大量其他资源以实现快速数据访问和处理，例如CPU和带宽。这些资源使用的证明对于在分散式网络中进行资源分配（例如负载平衡）是必要的。

• CDN（内容分发网络）缓存常访问内容：CDN在加速内容以构建低延迟流媒体服务或数据库服务方面至关重要，这在当前现有的Web 3.0项目中并不成熟。

• 文件索引和检索：数据应该从地理分布式存储节点快速访问和检索。

Web 3.0数据基础设施在支持相同类型的数据密集型服务，并在可靠性和可信度方面自诩与中心化的云老大相当之前，还有很长的路要走。今天，这些新兴网络面临着许多技术、监管、采用和标准化障碍。尽管后三个障碍需要时间才能克服，但Web 3.0社区一直在努力打破限制分散式数据解决方案潜力的技术障碍。在不久的将来，我们将看到在Web 3.0基础设施上运行的生态系统蓬勃发展。

作者

Sean Yang

Sean (Sichao) Yang（ysc@ntlabs.io）是Oortech的联合创始人和首席技术官。他在伊利诺伊大学香槟分校获得了电子与计算机工程系的博士学位和数学系的硕士学位。他的博士研究方向是博弈论及其在分布式网络资源分配和优化中的应用。他曾是高通公司的高级工程师，是第四代和第五代移动通信设计和开发的主要贡献者之一。他还担任高通公司的车联网和自动驾驶技术领域的技术负责人，并拥有多项发明专利。他还担任哥伦比亚大学的兼职教授，并指导了哥伦比亚大学和麦吉尔大学的博士生。他发表了许多期刊和会议论文，并担任《运筹学与管理科学》、《IEEE网络》、《游戏与经济行为》等杂志的审稿人。他还在IEEE GLOBECOM、IEEE Summit on Communications Futures等IEEE会议上发表了邀请演讲和教程。

Max Li

Max (Chong) Li是哥伦比亚大学（纽约市）电气工程系的教师，也是Oortech的创始人兼首席执行官。他曾在高通公司工作，研究4G LTE和5G系统设计。他是IEEE的高级会员，并担任中美商会科技经济委员会主席。他拥有200多项国际/美国专利。他积极发表学术论文，发表于包括IEEE会议记录、IEEE信息论传输、IEEE通信杂志、Automatica等顶级期刊上。他曾担任通信和控制学会最负盛名的期刊和会议的审稿人、委员和联合主席。他是加拿大自然科学和工程研究理事会的拨款审查委员会成员。他是《强化学习的网络物理系统》（Taylor & Francis CRC出版社）一书的作者。他广泛涉猎信息理论、机器学习、分布式数据库和计算系统（如区块链）、网络控制和通信、高级电信技术（5G及以上）的PHY/MAC系统设计等多个研究领域。

来源：IEEE Network 

pdf原文🔗https://ieeexplore.ieee.org/document/10110018/?denied=

作者：SeanYang，MaxLi

翻译：chatgpt

免责声明：本文不构成投资建议，用户应考虑本文中的任何意见、观点或结论是否符合其特定状况，及遵守所在国家和地区的相关法律法规。同时本网站部分推送的文章内容未及时与原作者联系，在已知出处的情况下均已注明来源，版权归原作者所有，内容为原作者个人观点，并不代表本网站赞同其观点和对其真实性负责，若涉及版权问题，敬请原作者联系我们删除，感谢每一位作者的辛苦创作与付出！