Децентрализация хранения когда-то была одной из популярных ниш в блокчейн-индустрии. Filecoin, будучи ведущим проектом предыдущего бычьего рынка, имел рыночную капитализацию, которая в какой-то момент превышала 10 миллиардов долларов. Arweave, благодаря концепции постоянного хранения, также достигла максимальной капитализации в 3,5 миллиарда долларов. Однако, с учетом того, что доступность холодного хранения данных была поставлена под сомнение, необходимость в постоянном хранении также подверглась сомнению, и будущее децентрализованного хранения оказалось под вопросом.
Недавно появление Walrus привлекло новое внимание к долгое время затихшему сектору хранения данных. Проект Shelby, запущенный в сотрудничестве Aptos и Jump Crypto, нацелен на дальнейшее развитие децентрализованного хранения в области горячего хранения данных. Так смогут ли децентрализованные хранилища вернуться и предложить решения для более широких сценариев использования? Или это очередная волна краткосрочной спекуляции? В данной статье будут рассмотрены пути развития четырех проектов: Filecoin, Arweave, Walrus и Shelby, проанализированы изменения нарратива децентрализованного хранения и обсуждены перспективы и вызовы его популяризации.
Filecoin: Поверхностное хранение, по сути майнинг
Filecoin является одним из ранних проектов альткойнов, его направление развития сосредоточено на Децентрализации. Это общая характеристика ранних альткойнов - искать смысл Децентрализации в различных традиционных областях. Filecoin сочетает хранение и Децентрализацию, указывая на риски доверия, связанные с централизованными поставщиками услуг хранения данных, и предлагает решение для Децентрализованного хранения.
Однако некоторые аспекты, которые Filecoin пожертвовал ради реализации Децентрализации, стали болевыми точками, которые позже попытались решить такие проекты, как Arweave или Walrus. Чтобы понять, почему Filecoin по сути является только проектом майнинг-криптовалюты, необходимо понять объективные ограничения его базовой технологии IPFS в обработке горячих данных.
IPFS:Децентрализация архитектуры ограничена瓶颈 передачи
IPFS(Межзвездная файловая система) появилась около 2015 года с целью революционизировать традиционный протокол HTTP через адресацию по содержимому. Основной недостаток IPFS заключается в крайне медленной скорости получения. В эпоху, когда традиционные сервисы данных могут обеспечивать отклик за миллисекунды, получение файла в IPFS все еще занимает десятки секунд, что затрудняет его продвижение в реальных приложениях и объясняет, почему, кроме нескольких блокчейн-проектов, традиционные отрасли редко его используют.
P2P-протокол, лежащий в основе IPFS, в основном подходит для "холодных данных" - статического контента, который редко изменяется, такого как видео, изображения и документы. Однако при обработке горячих данных, таких как динамические веб-страницы, онлайн-игры или приложения искусственного интеллекта, P2P-протокол не имеет очевидных преимуществ по сравнению с традиционными CDN.
Несмотря на то, что IPFS сам по себе не является блокчейном, его концепция дизайна, основанная на направленном ациклическом графе (DAG), высоко совместима со многими публичными блокчейнами и протоколами Web3, что делает его естественно подходящим в качестве базовой строительной структуры для блокчейна. Поэтому, даже если ему не хватает практической ценности, как базовому каркасу для повествования о блокчейне, этого уже достаточно. Ранние проекты-клоны просто нуждались в рабочем каркасе, чтобы нарисовать грандиозное видение, но когда Filecoin достиг определенной стадии развития, ограничения, связанные с IPFS, начали препятствовать его продвижению.
Логика майнинг-монет под оболочкой хранения
Дизайн IPFS изначально был направлен на то, чтобы позволить пользователям одновременно хранить данные и стать частью сети хранения. Однако в условиях отсутствия экономических стимулов пользователям трудно активно использовать эту систему, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство пользователей будут просто хранить файлы в IPFS, но не будут вносить свой вклад в свое пространство для хранения и не будут хранить файлы других. Именно на этом фоне появился Filecoin.
В токеномической модели Filecoin выделяют три основных роли: пользователи отвечают за оплату расходов на хранение данных; майнеры хранилищ получают токеновые стимулы за хранение данных пользователей; майнеры поиска предоставляют данные по запросу пользователей и получают вознаграждение.
В этой модели существует потенциальное пространство для злоупотреблений. Хранители данных могут заполнить мусорными данными после предоставления пространства для хранения, чтобы получить вознаграждение. Поскольку эти мусорные данные не будут извлекаться, даже если они будут потеряны, это не приведет к срабатыванию механизма наказания для хранителей данных. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус на основе доказательства репликации Filecoin может лишь гарантировать, что пользовательские данные не были удалены без разрешения, но не может помешать майнерам заполнять мусорными данными.
Работа Filecoin в значительной степени зависит от постоянных вложений майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранилище. Несмотря на то что проект продолжает развиваться, на текущем этапе экосистема Filecoin больше соответствует определению "логики майнинг-криптовалюты", чем определению "приложение-ориентированного" проекта хранения.
Arweave: Долгосрочная стратегия: плюсы и минусы
Если цель дизайна Filecoin заключается в создании стимулирующей и проверяемой Децентрализации "облака данных", то Arweave идет в другом направлении: предоставление возможности постоянного хранения данных. Arweave не пытается создать распределённую вычислительную платформу, вся его система строится на одной ключевой гипотезе - важные данные должны храниться один раз и оставаться в сети навсегда. Этот крайний долгосрочный подход делает Arweave совершенно отличным от Filecoin, начиная от механизмов и моделей стимулов и заканчивая требованиями к аппаратному обеспечению и нарративными аспектами.
Arweave использует биткойн в качестве объекта изучения, пытаясь постоянно оптимизировать свою сеть постоянного хранения на протяжении долгих периодов, измеряемых годами. Arweave не обращает внимания на маркетинг и не заботится о конкурентах и тенденциях рынка. Он просто движется вперед по пути итерации сетевой архитектуры, даже если никто не интересуется, потому что это суть команды разработчиков Arweave: долгосрочная стратегия. Благодаря долгосрочной стратегии Arweave пользовался огромной популярностью в прошлом бычьем рынке; и из-за долгосрочной стратегии, даже упав на дно, Arweave все еще может пережить несколько раундов бычьих и медвежьих рынков. Но будет ли у Arweave место в будущем децентрализованном хранении?
С момента версии 1.5 до последней версии 2.9 основной сети Arweave, несмотря на потерю рыночного интереса, она продолжала работать над тем, чтобы позволить более широкому кругу майнеров участвовать в сети с минимальными затратами и стимулировать майнеров максимально хранить данные, постоянно повышая устойчивость всей сети. Arweave осознает, что она не соответствует рыночным предпочтениям, и придерживается консервативного подхода, не обнимая майнерские сообщества, экосистема полностью остановилась, обновляя основную сеть с минимальными затратами, постоянно снижая аппаратные барьеры без ущерба для безопасности сети.
Обзор пути обновления 1.5-2.9
Версия Arweave 1.5 выявила уязвимость, позволяющую майнерам полагаться на стек GPU, а не на реальное хранилище, чтобы оптимизировать вероятность создания блока. Чтобы сдержать эту тенденцию, версия 1.7 вводит алгоритм RandomX, ограничивающий использование специализированной вычислительной мощности и требующий участия универсальных CPU в майнинге, тем самым ослабляя централизацию вычислительной мощности.
В версии 2.0 Arweave использует SPoA, преобразуя доказательство данных в упрощённый путь структуры Меркла, и вводит транзакции формата 2 для уменьшения нагрузки на синхронизацию. Эта архитектура снижает давление на сетевую пропускную способность, значительно увеличивая кооперативные способности узлов. Тем не менее, некоторые майнеры всё ещё могут избегать ответственности за реальное хранение данных, используя стратегию централизованных высокоскоростных хранилищ.
Для исправления этого уклона, в версии 2.4 была введена механика SPoRA, которая включает глобальный индекс и медленный хеш-случайный доступ, что заставляет майнеров действительно владеть блоками данных для участия в эффективном создании блоков, тем самым ослабляя эффект накопления вычислительной мощности на уровне механики. В результате, майнеры начали обращать внимание на скорость доступа к хранилищу, что способствовало применению SSD и устройств с высокой скоростью чтения и записи. В версии 2.6 была введена хеш-цепочка для контроля темпа создания блоков, что сбалансировало предельную пользу высокопроизводительных устройств и предоставило средним и мелким майнерам справедливое пространство для участия.
Последующие версии进一步加强уют сетевые кооперации и разнообразие хранилищ: 2.7 вводит кооперативное майнинг и механизм пула, повышая конкурентоспособность мелких майнеров; 2.8 представляет сложный механизм упаковки, позволяя низкоскоростным устройствам с большой емкостью гибко участвовать; 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно повышая эффективность и снижая зависимость от вычислений, завершая замкнутую цепочку модели майнинга, ориентированной на данные.
В целом, путь обновления Arweave ясно демонстрирует его долгосрочную стратегию, ориентированную на хранение: одновременно противодействуя тенденции концентрации вычислительной мощности, он продолжает снижать порог участия, обеспечивая возможность долгосрочной работы протокола.
Walrus: Объятия горячих данных — это просто хайп или скрытая мудрость?
Дизайн Walrus полностью отличается от Filecoin и Arweave. Начальная точка Filecoin заключается в создании децентрализованной и проверяемой системы хранения, ценой чего является холодное хранение данных; начальная точка Arweave заключается в создании цепочной Александрийской библиотеки, способной навсегда хранить данные, ценой чего является недостаток сценариев; начальная точка Walrus заключается в оптимизации затрат на хранение протокола горячих данных.
Магия модифицированных кодов: инновации в стоимости или старая идея в новой упаковке?
В плане проектирования затрат на хранение Walrus считает, что затраты на хранение Filecoin и Arweave являются неоправданными, так как оба используют архитектуру полного копирования, основное преимущество которой заключается в том, что каждый узел хранит полную копию, что обеспечивает высокую устойчивость к сбоям и независимость между узлами. Эта архитектура гарантирует, что даже если часть узлов выходит из строя, сеть все равно сохраняет доступность данных. Однако это также означает, что системе требуется множественная избыточность копий для поддержания надежности, что, в свою очередь, увеличивает затраты на хранение. Особенно в дизайне Arweave механизм консенсуса сам по себе поощряет избыточное хранение узлов для повышения безопасности данных. В отличие от этого, Filecoin более гибок в контроле затрат, но ценой этого является то, что некоторые дешевые хранилища могут иметь более высокий риск потери данных. Walrus пытается найти баланс между двумя подходами, его механизм контролирует затраты на копирование, одновременно повышая доступность за счет структурированной избыточности, тем самым создавая новый компромисс между доступностью данных и эффективностью затрат.
Технология Redstuff, разработанная Walrus, является ключевой для снижения избыточности узлов. Она основана на кодировании Рида-Соломона ( RS ). Кодирование RS - это очень традиционный алгоритм коррекции ошибок, который позволяет удваивать набор данных за счет добавления избыточных фрагментов ( erasure code ) для восстановления исходных данных. От CD-ROM до спутниковой связи и QR-кодов, оно часто используется в повседневной жизни.
Коды исправления позволяют пользователям получить блок данных, например, размером 1 МБ, а затем "увеличить" его до 2 МБ, где дополнительные 1 МБ представляют собой специальные данные, называемые кодами исправления. Если любой байт в блоке потерян, пользователь может легко восстановить эти байты с помощью кода. Даже если потерян целый блок размером до 1 МБ, блок можно восстановить полностью. Технология позволяет компьютерам считывать все данные с CD-ROM, даже если он поврежден.
В настоящее время наиболее распространен код RS. Способ реализации заключается в том, чтобы начать с k информационных блоков, построить соответствующий многочлен и оценить его в различных координатах x, чтобы получить кодированные блоки. Используя коды коррекции ошибок RS, вероятность случайной выборки потери больших объемов данных очень мала.
Какова главная особенность Redstuff? Благодаря усовершенствованному алгоритму кодирования с коррекцией ошибок, Walrus может быстро и надежно кодировать неструктурированные блоки данных в меньшие фрагменты, которые распределенно хранятся в сети узлов хранения. Даже если потеряно до двух третей фрагментов, оригинальный блок данных можно быстро восстановить, используя часть фрагментов. Это становится возможным при поддержании фактора репликации всего лишь от 4 до 5 раз.
Поэтому разумно определить Walrus как легковесный протокол избыточности и восстановления, переосмысленный в контексте Децентрализации. В отличие от традиционных кодов с удалением (, таких как Reed-Solomon ), RedStuff больше не стремится к строгой математической согласованности, а делает реалистичные компромиссы, касающиеся распределения данных, проверки хранения и вычислительных затрат. Эта модель отказывается от механизма мгновенной декодировки, необходимого для централизованного планирования, и вместо этого использует Proof на блокчейне для проверки наличия у узлов конкретных копий данных, что позволяет адаптироваться к более динамичной и маргинализированной сетевой структуре.
Ядро дизайна RedStuff состоит в разделении данных на две категории: основные срезы и второстепенные срезы. Основные срезы используются для восстановления исходных данных, их создание и распределение строго контролируется, порог восстановления составляет f+1, и требуется 2f+1 подписей в качестве подтверждения доступности; второстепенные срезы генерируются простыми операциями, такими как XOR-комбинации, и служат для обеспечения гибкой устойчивости к ошибкам, улучшая общую надежность системы. Эта структура по сути снижает требования к согласованности данных - позволяет различным узлам временно хранить разные версии данных.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Децентрализация хранения: от FIL до Walrus технологическая эволюция и будущие вызовы
Децентрализация хранения: развитие и будущее
Децентрализация хранения когда-то была одной из популярных ниш в блокчейн-индустрии. Filecoin, будучи ведущим проектом предыдущего бычьего рынка, имел рыночную капитализацию, которая в какой-то момент превышала 10 миллиардов долларов. Arweave, благодаря концепции постоянного хранения, также достигла максимальной капитализации в 3,5 миллиарда долларов. Однако, с учетом того, что доступность холодного хранения данных была поставлена под сомнение, необходимость в постоянном хранении также подверглась сомнению, и будущее децентрализованного хранения оказалось под вопросом.
Недавно появление Walrus привлекло новое внимание к долгое время затихшему сектору хранения данных. Проект Shelby, запущенный в сотрудничестве Aptos и Jump Crypto, нацелен на дальнейшее развитие децентрализованного хранения в области горячего хранения данных. Так смогут ли децентрализованные хранилища вернуться и предложить решения для более широких сценариев использования? Или это очередная волна краткосрочной спекуляции? В данной статье будут рассмотрены пути развития четырех проектов: Filecoin, Arweave, Walrus и Shelby, проанализированы изменения нарратива децентрализованного хранения и обсуждены перспективы и вызовы его популяризации.
Filecoin: Поверхностное хранение, по сути майнинг
Filecoin является одним из ранних проектов альткойнов, его направление развития сосредоточено на Децентрализации. Это общая характеристика ранних альткойнов - искать смысл Децентрализации в различных традиционных областях. Filecoin сочетает хранение и Децентрализацию, указывая на риски доверия, связанные с централизованными поставщиками услуг хранения данных, и предлагает решение для Децентрализованного хранения.
Однако некоторые аспекты, которые Filecoin пожертвовал ради реализации Децентрализации, стали болевыми точками, которые позже попытались решить такие проекты, как Arweave или Walrus. Чтобы понять, почему Filecoin по сути является только проектом майнинг-криптовалюты, необходимо понять объективные ограничения его базовой технологии IPFS в обработке горячих данных.
IPFS:Децентрализация архитектуры ограничена瓶颈 передачи
IPFS(Межзвездная файловая система) появилась около 2015 года с целью революционизировать традиционный протокол HTTP через адресацию по содержимому. Основной недостаток IPFS заключается в крайне медленной скорости получения. В эпоху, когда традиционные сервисы данных могут обеспечивать отклик за миллисекунды, получение файла в IPFS все еще занимает десятки секунд, что затрудняет его продвижение в реальных приложениях и объясняет, почему, кроме нескольких блокчейн-проектов, традиционные отрасли редко его используют.
P2P-протокол, лежащий в основе IPFS, в основном подходит для "холодных данных" - статического контента, который редко изменяется, такого как видео, изображения и документы. Однако при обработке горячих данных, таких как динамические веб-страницы, онлайн-игры или приложения искусственного интеллекта, P2P-протокол не имеет очевидных преимуществ по сравнению с традиционными CDN.
Несмотря на то, что IPFS сам по себе не является блокчейном, его концепция дизайна, основанная на направленном ациклическом графе (DAG), высоко совместима со многими публичными блокчейнами и протоколами Web3, что делает его естественно подходящим в качестве базовой строительной структуры для блокчейна. Поэтому, даже если ему не хватает практической ценности, как базовому каркасу для повествования о блокчейне, этого уже достаточно. Ранние проекты-клоны просто нуждались в рабочем каркасе, чтобы нарисовать грандиозное видение, но когда Filecoin достиг определенной стадии развития, ограничения, связанные с IPFS, начали препятствовать его продвижению.
Логика майнинг-монет под оболочкой хранения
Дизайн IPFS изначально был направлен на то, чтобы позволить пользователям одновременно хранить данные и стать частью сети хранения. Однако в условиях отсутствия экономических стимулов пользователям трудно активно использовать эту систему, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство пользователей будут просто хранить файлы в IPFS, но не будут вносить свой вклад в свое пространство для хранения и не будут хранить файлы других. Именно на этом фоне появился Filecoin.
В токеномической модели Filecoin выделяют три основных роли: пользователи отвечают за оплату расходов на хранение данных; майнеры хранилищ получают токеновые стимулы за хранение данных пользователей; майнеры поиска предоставляют данные по запросу пользователей и получают вознаграждение.
В этой модели существует потенциальное пространство для злоупотреблений. Хранители данных могут заполнить мусорными данными после предоставления пространства для хранения, чтобы получить вознаграждение. Поскольку эти мусорные данные не будут извлекаться, даже если они будут потеряны, это не приведет к срабатыванию механизма наказания для хранителей данных. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус на основе доказательства репликации Filecoin может лишь гарантировать, что пользовательские данные не были удалены без разрешения, но не может помешать майнерам заполнять мусорными данными.
Работа Filecoin в значительной степени зависит от постоянных вложений майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранилище. Несмотря на то что проект продолжает развиваться, на текущем этапе экосистема Filecoin больше соответствует определению "логики майнинг-криптовалюты", чем определению "приложение-ориентированного" проекта хранения.
Arweave: Долгосрочная стратегия: плюсы и минусы
Если цель дизайна Filecoin заключается в создании стимулирующей и проверяемой Децентрализации "облака данных", то Arweave идет в другом направлении: предоставление возможности постоянного хранения данных. Arweave не пытается создать распределённую вычислительную платформу, вся его система строится на одной ключевой гипотезе - важные данные должны храниться один раз и оставаться в сети навсегда. Этот крайний долгосрочный подход делает Arweave совершенно отличным от Filecoin, начиная от механизмов и моделей стимулов и заканчивая требованиями к аппаратному обеспечению и нарративными аспектами.
Arweave использует биткойн в качестве объекта изучения, пытаясь постоянно оптимизировать свою сеть постоянного хранения на протяжении долгих периодов, измеряемых годами. Arweave не обращает внимания на маркетинг и не заботится о конкурентах и тенденциях рынка. Он просто движется вперед по пути итерации сетевой архитектуры, даже если никто не интересуется, потому что это суть команды разработчиков Arweave: долгосрочная стратегия. Благодаря долгосрочной стратегии Arweave пользовался огромной популярностью в прошлом бычьем рынке; и из-за долгосрочной стратегии, даже упав на дно, Arweave все еще может пережить несколько раундов бычьих и медвежьих рынков. Но будет ли у Arweave место в будущем децентрализованном хранении?
С момента версии 1.5 до последней версии 2.9 основной сети Arweave, несмотря на потерю рыночного интереса, она продолжала работать над тем, чтобы позволить более широкому кругу майнеров участвовать в сети с минимальными затратами и стимулировать майнеров максимально хранить данные, постоянно повышая устойчивость всей сети. Arweave осознает, что она не соответствует рыночным предпочтениям, и придерживается консервативного подхода, не обнимая майнерские сообщества, экосистема полностью остановилась, обновляя основную сеть с минимальными затратами, постоянно снижая аппаратные барьеры без ущерба для безопасности сети.
Обзор пути обновления 1.5-2.9
Версия Arweave 1.5 выявила уязвимость, позволяющую майнерам полагаться на стек GPU, а не на реальное хранилище, чтобы оптимизировать вероятность создания блока. Чтобы сдержать эту тенденцию, версия 1.7 вводит алгоритм RandomX, ограничивающий использование специализированной вычислительной мощности и требующий участия универсальных CPU в майнинге, тем самым ослабляя централизацию вычислительной мощности.
В версии 2.0 Arweave использует SPoA, преобразуя доказательство данных в упрощённый путь структуры Меркла, и вводит транзакции формата 2 для уменьшения нагрузки на синхронизацию. Эта архитектура снижает давление на сетевую пропускную способность, значительно увеличивая кооперативные способности узлов. Тем не менее, некоторые майнеры всё ещё могут избегать ответственности за реальное хранение данных, используя стратегию централизованных высокоскоростных хранилищ.
Для исправления этого уклона, в версии 2.4 была введена механика SPoRA, которая включает глобальный индекс и медленный хеш-случайный доступ, что заставляет майнеров действительно владеть блоками данных для участия в эффективном создании блоков, тем самым ослабляя эффект накопления вычислительной мощности на уровне механики. В результате, майнеры начали обращать внимание на скорость доступа к хранилищу, что способствовало применению SSD и устройств с высокой скоростью чтения и записи. В версии 2.6 была введена хеш-цепочка для контроля темпа создания блоков, что сбалансировало предельную пользу высокопроизводительных устройств и предоставило средним и мелким майнерам справедливое пространство для участия.
Последующие версии进一步加强уют сетевые кооперации и разнообразие хранилищ: 2.7 вводит кооперативное майнинг и механизм пула, повышая конкурентоспособность мелких майнеров; 2.8 представляет сложный механизм упаковки, позволяя низкоскоростным устройствам с большой емкостью гибко участвовать; 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно повышая эффективность и снижая зависимость от вычислений, завершая замкнутую цепочку модели майнинга, ориентированной на данные.
В целом, путь обновления Arweave ясно демонстрирует его долгосрочную стратегию, ориентированную на хранение: одновременно противодействуя тенденции концентрации вычислительной мощности, он продолжает снижать порог участия, обеспечивая возможность долгосрочной работы протокола.
Walrus: Объятия горячих данных — это просто хайп или скрытая мудрость?
Дизайн Walrus полностью отличается от Filecoin и Arweave. Начальная точка Filecoin заключается в создании децентрализованной и проверяемой системы хранения, ценой чего является холодное хранение данных; начальная точка Arweave заключается в создании цепочной Александрийской библиотеки, способной навсегда хранить данные, ценой чего является недостаток сценариев; начальная точка Walrus заключается в оптимизации затрат на хранение протокола горячих данных.
Магия модифицированных кодов: инновации в стоимости или старая идея в новой упаковке?
В плане проектирования затрат на хранение Walrus считает, что затраты на хранение Filecoin и Arweave являются неоправданными, так как оба используют архитектуру полного копирования, основное преимущество которой заключается в том, что каждый узел хранит полную копию, что обеспечивает высокую устойчивость к сбоям и независимость между узлами. Эта архитектура гарантирует, что даже если часть узлов выходит из строя, сеть все равно сохраняет доступность данных. Однако это также означает, что системе требуется множественная избыточность копий для поддержания надежности, что, в свою очередь, увеличивает затраты на хранение. Особенно в дизайне Arweave механизм консенсуса сам по себе поощряет избыточное хранение узлов для повышения безопасности данных. В отличие от этого, Filecoin более гибок в контроле затрат, но ценой этого является то, что некоторые дешевые хранилища могут иметь более высокий риск потери данных. Walrus пытается найти баланс между двумя подходами, его механизм контролирует затраты на копирование, одновременно повышая доступность за счет структурированной избыточности, тем самым создавая новый компромисс между доступностью данных и эффективностью затрат.
Технология Redstuff, разработанная Walrus, является ключевой для снижения избыточности узлов. Она основана на кодировании Рида-Соломона ( RS ). Кодирование RS - это очень традиционный алгоритм коррекции ошибок, который позволяет удваивать набор данных за счет добавления избыточных фрагментов ( erasure code ) для восстановления исходных данных. От CD-ROM до спутниковой связи и QR-кодов, оно часто используется в повседневной жизни.
Коды исправления позволяют пользователям получить блок данных, например, размером 1 МБ, а затем "увеличить" его до 2 МБ, где дополнительные 1 МБ представляют собой специальные данные, называемые кодами исправления. Если любой байт в блоке потерян, пользователь может легко восстановить эти байты с помощью кода. Даже если потерян целый блок размером до 1 МБ, блок можно восстановить полностью. Технология позволяет компьютерам считывать все данные с CD-ROM, даже если он поврежден.
В настоящее время наиболее распространен код RS. Способ реализации заключается в том, чтобы начать с k информационных блоков, построить соответствующий многочлен и оценить его в различных координатах x, чтобы получить кодированные блоки. Используя коды коррекции ошибок RS, вероятность случайной выборки потери больших объемов данных очень мала.
Какова главная особенность Redstuff? Благодаря усовершенствованному алгоритму кодирования с коррекцией ошибок, Walrus может быстро и надежно кодировать неструктурированные блоки данных в меньшие фрагменты, которые распределенно хранятся в сети узлов хранения. Даже если потеряно до двух третей фрагментов, оригинальный блок данных можно быстро восстановить, используя часть фрагментов. Это становится возможным при поддержании фактора репликации всего лишь от 4 до 5 раз.
Поэтому разумно определить Walrus как легковесный протокол избыточности и восстановления, переосмысленный в контексте Децентрализации. В отличие от традиционных кодов с удалением (, таких как Reed-Solomon ), RedStuff больше не стремится к строгой математической согласованности, а делает реалистичные компромиссы, касающиеся распределения данных, проверки хранения и вычислительных затрат. Эта модель отказывается от механизма мгновенной декодировки, необходимого для централизованного планирования, и вместо этого использует Proof на блокчейне для проверки наличия у узлов конкретных копий данных, что позволяет адаптироваться к более динамичной и маргинализированной сетевой структуре.
Ядро дизайна RedStuff состоит в разделении данных на две категории: основные срезы и второстепенные срезы. Основные срезы используются для восстановления исходных данных, их создание и распределение строго контролируется, порог восстановления составляет f+1, и требуется 2f+1 подписей в качестве подтверждения доступности; второстепенные срезы генерируются простыми операциями, такими как XOR-комбинации, и служат для обеспечения гибкой устойчивости к ошибкам, улучшая общую надежность системы. Эта структура по сути снижает требования к согласованности данных - позволяет различным узлам временно хранить разные версии данных.