С момента выпуска фильма «Аватар» в 2009 году он запустил первую битву трехмерных фильмов с беспрецедентными реальными изображениями. В качестве огромного вклада в это Weta Digital внесла свой вклад в визуальное оформление всего фильма. В своей серверной ферме площадью 10 000 квадратных футов в Новой Зеландии ее компьютерный кластер обрабатывал до 1,4 миллиона задач в день и обрабатывал 8 ГБ данных в секунду. Тем не менее, он продолжал работать более месяца, прежде чем все рендеринги были завершены. Работа.
С большим развертыванием машин и инвестициями в затраты, "Аватар" достиг впечатляющих результатов в истории кино.
3 января того же года Сатоси Накамото добыл генезис-блок биткоина на небольшом сервере в Хельсинки, Финляндия, и получил блок-награду в 50 BTC. С первого дня криптовалюты вычислительная мощность играет очень важную роль в отрасли.
Самая длинная цепь служит не только доказательством последовательности событий, но и доказательством того, что она произошла из самого большого пула вычислительной мощности ЦП.
—— Биткойн Whitepaper
В контексте механизма консенсуса PoW вклад вычислительной мощности обеспечивает гарантию безопасности цепочки. В то же время постоянно растущий хешрейт также может доказать постоянные инвестиции майнеров в вычислительные мощности и положительные ожидания дохода. Реальный спрос отрасли на вычислительные мощности также в значительной степени способствовал развитию производителей чипов. Чипы для майнинговых машин прошли этапы разработки, такие как CPU, GPU, FPGA и ASIC. В настоящее время машины для майнинга биткойнов обычно представляют собой чипы, основанные на технологии ASIC (Application Specific Ingrated Circuit), которые могут эффективно выполнять определенные алгоритмы, такие как SHA-256. Огромные экономические выгоды, приносимые биткоином, также повысили спрос на вычислительные мощности в связанном с ним майнинге. Однако чрезмерно специализированное оборудование и кластерные эффекты вызвали сифонный эффект у собственных участников, будь то майнеры или производители майнингового оборудования. Все они демонстрируют тенденцию капиталоемкого концентрированного развития.
С появлением смарт-контрактов Ethereum его программируемость, компонуемость и другие особенности сформировали широкий спектр применений, особенно в области DeFi, что привело к тому, что цена ETH выросла до самого уровня, в то время как он все еще находится в консенсусе PoW Сложность майнинга Ethereum на этом этапе также растет. Требования майнеров к вычислительной мощности для машин для майнинга Ethereum также растут день ото дня. Однако, в отличие от Биткойна, который использует чипы ASIC, Ethereum необходимо использовать графический процессор (GPU) для вычислений майнинга, такой как серия Nvidia RTX. Таким образом, он больше подходит для участия общего вычислительного оборудования. Это даже спровоцировало конкуренцию на рынке графических процессоров, что привело к тому, что высокопроизводительных видеокарт на рынке не было в наличии.
Когда наступило 30 ноября 2022 года, разработанный OpenAI ChatGPT также продемонстрировал эпохальное значение в области искусственного интеллекта. Пользователи изумились новым опытом, принесенным ChatGPT, который может выполнять различные предложенные пользователями задачи на основе контекста, так же как настоящий человек. Требовать. В новой версии, запущенной в сентябре этого года, генеративный искусственный интеллект, добавляющий мультимодальные функции, такие как голос и изображения, привел пользовательский опыт на новый уровень.
Однако GPT4 имеет свыше одного триллиона параметров, участвующих в предварительном обучении модели и последующей настройке. Это две части с наибольшим спросом на вычислительную мощность в области искусственного интеллекта. На этапе предварительного обучения изучается большое количество текста для освоения языковых образцов, грамматики и связанного контекста. Это позволяет понимать языковые образцы для генерации согласованного и контекстуального текста на основе ввода. После предварительного обучения GPT4 настраивается для лучшей адаптации к определенным типам контента или стилей и улучшения производительности и специализации в конкретных сценариях спроса.
Поскольку архитектура Transformer, принятая GPT, вводит механизм самовнимания, этот механизм позволяет модели одновременно обращать внимание на взаимосвязь между различными частями последовательности при обработке входной последовательности. Поэтому спрос на вычислительные мощности резко возрос. Особенно при обработке длинных последовательностей требуется большой объем параллельных вычислений и хранение большого количества оценок внимания, что также требует большого объема памяти и возможностей высокоскоростной передачи данных. В настоящее время мейнстрим LLM с той же архитектурой имеет огромный спрос на высокопроизводительные графические процессоры, что также показывает, что инвестиционные затраты в области больших моделей ИИ огромны. По оценкам SemiAnalysis, стоимость обучения модели GPT4 достигает $63 млн. Чтобы добиться хорошего интерактивного опыта, GPT4 также необходимо инвестировать много вычислительной мощности в повседневные операции, чтобы поддерживать свои повседневные операции.
Здесь нам нужно понять текущие основные типы аппаратного обеспечения для вычислительной мощности. Какие сценарии спроса на вычислительную мощность могут быть обработаны соответственно ЦП, ГПУ, ППЛ и АСИК.
• Исходя из архитектурной схемы центрального и графического процессоров, графический процессор содержит больше ядер, что позволяет графическому процессору обрабатывать несколько вычислительных задач одновременно. Параллельные вычисления обладают более сильными вычислительными возможностями и подходят для обработки большого количества вычислительных задач, поэтому в сферах машинного обучения и глубокого обучения получили широкое применение. Центральный процессор имеет меньшее количество ядер и более интенсивно подходит для обработки одной сложной вычислительной или последовательной задачи, но он не так эффективен, как GPU при обработке задач параллельных вычислений. В задачах рендеринга и задачах нейронных сетей обычно требуется обработка большого количества повторяющихся вычислений и параллельных вычислений, поэтому графический процессор более эффективен и подходит, чем центральный процессор в этом аспекте.
• FPGA (Field Programmable Gate Array) программируемый массив вентильных матриц — это полуконструкторская схема в области интегральной схемы, специализированной для конкретного применения (ASIC). Массив состоит из большого количества маленьких блоков обработки, FPGA можно рассматривать как программируемую цифровую логическую схему на одном кристалле. В настоящее время основное применение фокусируется на аппаратном ускорении, а другие задачи по-прежнему выполняются на процессоре, что позволяет FPGA и ЦПУ работать вместе.
• ASIC (Application Specific Integrated Circuit) относится к интегральной схеме, разработанной для удовлетворения конкретных потребностей пользователя и потребностей конкретных электронных систем. По сравнению с универсальными интегральными схемами, ASIC имеет преимущества более небольшого размера, более низкого энергопотребления, улучшенной надежности, улучшенной производительности, улучшенной конфиденциальности и сниженных затрат в ходе массового производства. Поэтому в собственном сценарии майнинга биткойнов, который требует выполнение только конкретных вычислительных задач, ASIC наиболее подходящий. Google также запустил TPU (Tensor Processing Unit), специально разработанный для машинного обучения в качестве типа ASIC, но в настоящее время он в основном предоставляет услуги аренды вычислительной мощности через Google Cloud.
• ASIC По сравнению с FPGA, ASIC представляет собой специализированную интегральную схему, и интегральная схема фиксируется после завершения проектирования. FPGA интегрирует в массив большое количество основных элементов цифровой схемы и памяти. Разработчики могут определить схему, запрограммировав конфигурацию FPGA, и это программирование можно заменить. Однако, учитывая текущую скорость обновления в области ИИ, кастомизированные или полукастомизированные чипы не могут быть вовремя отрегулированы и перенастроены для выполнения различных задач или адаптации к новым алгоритмам. Поэтому общая адаптивность и гибкость GPU позволяют ему блистать в области ИИ. Крупные производители графических процессоров также провели соответствующие оптимизации для адаптации графических процессоров в области искусственного интеллекта. Взяв в качестве примера Nvidia, она выпустила графические процессоры серии Tesla и архитектуры Ampere, разработанные специально для глубокого обучения. Это оборудование содержит аппаратные блоки (тензорные ядра), оптимизированные для машинного обучения и вычислений глубокого обучения, которые позволяют графическому процессору работать более эффективно и результативно. Низкое энергопотребление для прямого и обратного распространения нейронных сетей. Кроме того, для поддержки разработки ИИ предоставляется широкий спектр инструментов и библиотек, таких как CUDA (Compute Unified Device Architecture), помогающий разработчикам использовать графические процессоры для параллельных вычислений общего назначения.
Децентрализованная вычислительная мощность относится к методу предоставления вычислительной мощности через распределенные вычислительные ресурсы. Этот децентрализованный подход обычно сочетается с технологией блокчейн или аналогичной технологией распределенного реестра для объединения простаивающих вычислительных ресурсов и распределения их между пользователями, нуждающимися в совместном использовании ресурсов, транзакциях и управлении.
• Высокий спрос на вычислительное оборудование. Процветание экономики создателей привело обработку цифровых медиа в эру универсального творчества. Потребность в рендеринге визуальных эффектов выросла, и появились специализированные студии аутсорсинга рендеринга, облачные платформы рендеринга и другие формы. Однако для этого подхода также требуется вложить много собственных средств в начальное приобретение аппаратного обеспечения для вычислений.
• Вычислительная мощность аппаратного обеспечения поступает из одного источника. Развитие области искусственного интеллекта усилило спрос на вычислительное оборудование. Ведущие компании по производству GPU во главе с Nvidia заработали много денег в этом соревновании по вычислительной мощности искусственного интеллекта. Ее производственная мощность даже стала ключевым фактором, который может ограничить развитие определенной отрасли. Рыночная капитализация Nvidia в этом году также впервые превысила триллион долларов США.
• Предоставление вычислительной мощности по-прежнему в основном зависит от централизованных облачных платформ. Тем, кто действительно выигрывает от взрывного роста спроса на высокопроизводительные вычисления, являются централизованные облачные поставщики, представленные AWS. Они запустили услуги облачных вычислений с использованием графических процессоров. Возьмем, к примеру, текущий AWS p4d.24xlarge, аренда одного такого сервера HPC, специализирующегося на машинном обучении, содержащего восемь графических процессоров Nvidia A100 40GB, стоит 32,8 доллара в час, и его валовая прибыльная маржа оценивается в 61%. Это также заставило других облачных гигантов устремиться участвовать и запасаться оборудованием, чтобы получить максимальное преимущество на ранних этапах развития отрасли.
• Политическое, человеческое вмешательство и другие факторы приводят к неравному развитию отрасли. Неравновесие. Не трудно заметить, что владение и концентрация графических процессоров более смещены в сторону организаций и стран с изобилием средств и технологий и зависят от высокопроизводительных вычислительных кластеров. Это привело к тому, что чипы и полупроводниковые производители, представленные Соединенными Штатами, также вводят более строгие ограничения на экспорт искусственного интеллекта, чтобы ослабить исследовательские возможности других стран в области общего искусственного интеллекта.
• Распределение вычислительных ресурсов слишком концентрировано. Инициатива развития в области искусственного интеллекта находится в руках нескольких гигантских компаний. В настоящее время гиганты, представленные OpenAI, имеют благословение Microsoft, а за ними стоят богатые вычислительные ресурсы, предоставленные Microsoft Azure. Это делает каждый новый продукт OpenAI переформированием и интеграцией текущей индустрии искусственного интеллекта, что затрудняет другим командам догнать в области больших моделей.
Итак, сталкиваясь с высокими затратами на оборудование, географическими ограничениями и неравномерным индустриальным развитием, есть ли другие решения?
Платформа децентрализованной вычислительной мощности появилась по мере необходимости времени. Цель платформы - создать открытый, прозрачный и саморегулируемый рынок для более эффективного использования глобальных вычислительных ресурсов.
Высокие цены на оборудование и искусственный контроль со стороны поставщиков создали почву для строительства децентрализованных сетей вычислительной мощности.
• С точки зрения состава децентрализованной вычислительной мощности, различные поставщики вычислительной мощности варьируются от персональных компьютеров до небольшого оборудования интернета вещей, такого как центры обработки данных, IDC и т. д., и накопленная вычислительная мощность может обеспечить более гибкие и масштабируемые вычислительные решения, тем самым помогая более эффективно использовать ограниченные ресурсы более широкому кругу разработчиков и организаций в области искусственного интеллекта. Децентрализованное совместное использование вычислительной мощности может быть достигнуто за счет простоя вычислительной мощности физических лиц или организаций. Однако доступность и стабильность этой вычислительной мощности зависят от ограничений использования пользователей или верхнего предела совместного использования.
• Возможным потенциальным источником высококачественной вычислительной мощности является вычислительная мощность, предоставленная непосредственно путем преобразования соответствующих шахт после того, как Ethereum будет преобразован в PoS. человеческие ресурсы. Возьмем в качестве примера Coreweave, ведущего поставщика интегрированной вычислительной мощности на базе GPU в Соединенных Штатах. Ранее это было крупнейшее фермерское хозяйство по добыче Ethereum в Северной Америке и основано на полной инфраструктуре, которая была построена. Кроме того, утилизированные добычные машины Ethereum также содержат большое количество бездействующих GPU. Сообщалось, что в пик эпохи добычи Ethereum онлайн работало около 27 миллионов GPU. Оживление этих GPU также может стать важной частью децентрализованной сети вычислительной мощности.
• С технической точки зрения децентрализованные вычислительные ресурсы используются при визуализации графики и видео-транскодировании. Такие вычисления являются сложными. Для низкоуровневых задач экономическая система, объединяющая технологию блокчейн и web3, может принести осязаемые доходные стимулы участникам сети и накапливать эффективные бизнес-модели и клиентские группы, обеспечивая при этом безопасную передачу информационных данных. В области искусственного интеллекта требуется большое количество параллельных вычислений, коммуникаций и синхронизации между узлами, а также очень высокие требования к сетевой среде и другим аспектам. Поэтому текущие приложения также сосредоточены на тонкой настройке, выводе, AIGC и других более прикладных уровнях.
• С точки зрения бизнес-логики рынок, который просто покупает и продает вычислительную мощность, лишен воображения, и отрасль может заниматься только цепочкой поставок и ценообразованием. Однако именно это является преимуществами централизованных облачных сервисов. Поэтому потолок рынка низок, и здесь нет места для большего воображения, поэтому мы также видим, что сети, которые изначально занимались простым графическим рендерингом, ищут трансформацию в области искусственного интеллекта. Например, Render Network и 2023 Q1 также запустили нативный интегрированный набор инструментов Stability AI, с помощью которого пользователи могут выполнять стабильные операции диффузии, а бизнес больше не ограничивается операциями рендеринга, но расширяется на область искусственного интеллекта.
• С точки зрения основных групп клиентов очевидно, что крупные клиенты B-стороны предпочтут централизованные интегрированные облачные услуги. Обычно у них достаточный бюджет, они занимаются разработкой крупных базовых моделей и требуют более эффективной формы агрегации вычислительной мощности; поэтому децентрализованная вычислительная мощность обслуживает скорее малые и средние разработческие команды или отдельных лиц, которые в основном занимаются доведением моделей до совершенства или разработкой уровня приложений, которые не имеют высоких требований к форме предоставляемой вычислительной мощности. Они более чувствительны к ценам. Децентрализованная вычислительная мощность может фундаментально снизить начальные инвестиции, поэтому общая стоимость использования также ниже. Основываясь на ранее рассчитанной стоимости Gensyn, вычислительная мощность преобразуется в эквивалентное значение, предоставленное V100. Вычислительная мощность, цена Gensyn всего лишь 0,4 доллара в час, что на 80% ниже эквивалентной вычислительной мощности AWS в 2 доллара в час. Хотя эта часть бизнеса не составляет большей части расходов в текущей отрасли, по мере расширения сценариев использования приложений ИИ, будущий размер рынка нельзя недооценивать.
• С точки зрения предоставляемых услуг можно сказать, что текущий проект больше напоминает концепцию децентрализованной облачной платформы, предоставляя полный комплекс управления от разработки, развертывания, онлайн, распространения и транзакций. Преимущество заключается в том, что это привлекает разработчиков, которые могут использовать соответствующие компоненты инструментов для упрощения разработки и развертывания и повышения эффективности; в то же время это может привлечь пользователей для использования этих полных прикладных продуктов на платформе, формируя экологический ров на основе собственной сети вычислительной мощности. Но это также выдвигает более высокие требования к операциям проекта. Как привлечь отличных разработчиков и пользователей и добиться удержания особенно важно.
Сеть Render - глобальная платформа рендеринга на основе блокчейна, цель которой заключается в помощи создателям в цифровом творчестве. Она позволяет создателям расширять работу по GPU-рендерингу до глобальных узлов GPU по запросу, обеспечивая более быструю и дешевую возможность рендеринга. После подтверждения создателем результатов рендеринга сеть блокчейна отправляет код на узел. Награды в виде монет. По сравнению с традиционными методами реализации визуальных эффектов, установка локальной инфраструктуры рендеринга или добавление соответствующих расходов на GPU к приобретенным облачным услугам требует больших входных инвестиций.
С момента своего основания в 2017 году пользователи сети Render Network обработали более 16 миллионов кадров и почти 500 000 сцен. Данные, опубликованные сетью Render Network за второй квартал 2023 года, также показывают, что как количество задач по обработке кадров, так и количество активных узлов увеличиваются. Кроме того, Render Network и первый квартал 2023 года также запустили интегрированный нативно набор инструментов для искусственного интеллекта Stability AI. Пользователи могут использовать эту функцию для введения операций по стабильному диффузии, и бизнес больше не ограничивается операциями по рендерингу, а расширяется на поле искусственного интеллекта.
Livepeer предоставляет услуги мгновенного транскодирования видео для создателей через участников сети, вкладывающих свою собственную вычислительную мощность GPU и пропускную способность. Вещатели могут завершить транскодирование различных типов видео, отправляя видео в Livepeer и распространяя их на различных конечных пользователей, тем самым реализуя распространение видеоконтента. В то же время вы можете легко оплатить в законной валюте получение услуг, таких как транскодирование, передача и хранение видео.
В сети Livepeer любой может вносить личные вычислительные ресурсы (ЦП, ГПУ и пропускную способность) для транскодирования и распространения видео с целью заработка комиссий. Нативный токен (LPT) представляет права и интересы участников сети. Количество заложенных токенов определяет вес узла в сети, тем самым влияя на его шансы получения задач по транскодированию. В то же время LPT также играет роль в направлении узлов на безопасное, надежное и быстрое выполнение назначенных задач.
В текущей экосистеме в области искусственного интеллекта основные участники могут быть грубо разделены на:
Начиная с стороны спроса, существуют очевидные различия в требованиях к вычислительной мощности на разных этапах отрасли. Возьмем разработку базовой модели в качестве примера: на этапе предварительного обучения требуется очень высокая параллельная вычислительная мощность, хранение, коммуникации и т. д., чтобы обеспечить эффективность результатов обучения. Для выполнения связанных задач требуется большой кластер вычислительной мощности. В настоящее время основная поставка вычислительной мощности в основном зависит от самостоятельно построенных компьютерных помещений и централизованных облачных сервисных платформ. На последующих этапах тонкой настройки модели, реального времени рассуждений и разработки приложений требования к параллельным вычислениям и межузловым коммуникациям не так высоки. Именно здесь децентрализованная вычислительная мощность может полностью раскрыть свой потенциал.
Если посмотреть на проекты, которые ранее приобрели немалую популярность, то Akash Nework предпринял несколько попыток в направлении децентрализованных вычислительных мощностей:
Сеть Akash объединяет различные технологические компоненты, чтобы пользователи могли эффективно и гибко развертывать и управлять приложениями в децентрализованной облачной среде. Пользователи могут использовать технологию контейнеров Docker для упаковки приложений, а затем развертывать и масштабировать их через Kubernetes через CloudMOS на облачных ресурсах, предоставляемых Akash. Akash использует подход «обратного аукциона», что делает цену ниже, чем у традиционных облачных сервисов.
Akash Network также объявил в августе этого года, что запустит шестое обновление своей основной сети, включающее поддержку графических процессоров в своих облачных услугах и предоставляющее вычислительную мощность большему количеству команд искусственного интеллекта в будущем.
Проект Gensyn.ai, который в этом году привлек много внимания в индустрии, был возглавлен a16z и завершил серию A финансирования в размере 43 миллиона долларов США. Судя по документам, опубликованным до сих пор, проект представляет собой основную сеть на основе протокола L1 PoS сети Polkadot, с акцентом на глубокое обучение. Он стремится расширить границы машинного обучения, создавая глобальную суперкомпьютерную сеть кластеров. Эта сеть объединяет устройства от центров обработки данных с избыточной вычислительной мощностью до ПК, которые потенциально могут внести свой вклад в личные графические процессоры, специализированные ASIC и SoC.
Для решения некоторых проблем, существующих в децентрализованной вычислительной мощности, Gensyn опирается на новые теоретические исследования в академии:
Принять вероятное обучение доказательств, то есть использовать метаданные процесса оптимизации на основе градиента для построения доказательств выполнения соответствующей задачи с целью ускорения процесса верификации;
Протокол на основе графов Pinpoint Protocol, GPP, служит мостом, соединяющим офлайн-выполнение DNN (Deep Neural Network) и фреймворк смарт-контрактов на блокчейне, решая противоречия, которые легко возникают на различных аппаратных устройствах, и обеспечивая согласованность верификации.
Метод поощрения, аналогичный Truebit, через комбинацию стейкинга и наказания, устанавливает инцентивную систему, которая позволяет экономически рациональным участникам честно выполнять назначенные задачи. Механизм использует криптографию и методы теории игр. Эта система верификации является необходимой для поддержания целостности и надежности крупных вычислений по обучению модели.
Тем не менее, стоит отметить, что приведенный выше контент больше относится к решению уровня проверки выполнения задачи, а не к децентрализованным вычислительным мощностям для достижения функций обучения модели в качестве основного акцента в проектном документе, особенно о параллельных вычислениях и распределенной оптимизации связи, синхронизации и других вопросах между аппаратным обеспечением. В настоящее время частое взаимодействие между узлами, подверженное влиянию сетевой задержки (Latency) и пропускной способности (Bandwidth), увеличивает время итерации и затраты на связь. Это не только не приведет к фактической оптимизации, но и снизит эффективность обучения. Подход Gensyn к управлению взаимодействием узлов и параллельными вычислениями при обучении модели может включать сложные координационные протоколы для управления распределенной природой вычислений. Тем не менее, без более подробной технической информации или более глубокого понимания их конкретных методов, точный механизм, с помощью которого Gensyn достигает крупномасштабного обучения моделей через свою сеть, не будет по-настоящему раскрыт до тех пор, пока проект не будет запущен.
Мы также обратили внимание на протокол вычислительной матрицы Edge (EMC), который использует технологию блокчейн для применения вычислительной мощности к искусственному интеллекту, рендерингу и научным исследованиям. , Доступ к искусственному интеллекту в электронной коммерции и другим типам сценариев, задачи распределяются на разные узлы вычислительной мощности через упругое вычисление. Этот метод не только повышает эффективность вычислительной мощности, но и обеспечивает безопасность передачи данных. В то же время он предоставляет рынок вычислительной мощности, где пользователи могут получать доступ к вычислительным ресурсам и обмениваться ими. Это удобно для разработчиков для более быстрой развертки и достижения пользователей. Совместно с экономической формой Web3, поставщики вычислительной мощности также могут получать реальные выгоды и субсидии от протоколов на основе фактического использования пользователей, а разработчики искусственного интеллекта также могут получать более низкие затраты на рассуждение и рендеринг. Ниже представлен обзор его основных компонентов и функций:
Также ожидается, что будут запущены продукты RWA на основе GPU. Ключевым моментом здесь является оживление аппаратного обеспечения, которое изначально было установлено в компьютерной комнате, и его разделение и циркуляция в форме RWA для получения дополнительной ликвидности. Высококачественные GPU могут быть использованы в качестве основного актива RWA. Причина в том, что вычислительная мощность может рассматриваться как твердая валюта в области искусственного интеллекта. В настоящее время существует очевидное противоречие между спросом и предложением, и это противоречие не может быть решено в краткосрочной перспективе, поэтому цена на GPU относительно стабильна.
Кроме того, внедрение кластеров вычислительной мощности путем развертывания компьютерных комнат IDC также является ключевой частью протокола EMC. Это позволяет не только видеокартам работать в единой среде, но и более эффективно обрабатывать связанные с ними крупномасштабные задачи, потребляющие вычислительную мощность, такие как предварительное обучение модели. Это удовлетворяет потребности профессиональных пользователей. В то же время компьютерная комната IDC также может централизованно размещать и запускать большое количество видеокарт, чтобы обеспечить технические характеристики одного и того же типа высококачественного оборудования, что упрощает их упаковку на рынке в качестве продуктов RWA и открывает новые идеи для DeFi.
В последние годы академическое сообщество также разработало новые технические теории и практики применения в области вычислительной мощности. В качестве дополнения и оптимизации облачных вычислений, вычислительная мощность является частью искусственного интеллекта, который ускоряется от облака к краю и в все более маленькие устройства Интернета вещей. Эти устройства Интернета вещей часто имеют небольшой размер, поэтому легковесное машинное обучение предпочтительно для решения проблем, таких как энергопотребление, задержка и точность.
Network3 построена путем создания специального искусственного интеллекта Layer2 для предоставления разработчикам искусственного интеллекта по всему миру оптимизации и сжатия алгоритмов моделей искусственного интеллекта, федеративного обучения, краевых вычислений и вычислений конфиденциальности. Предоставлять услуги, чтобы помочь им быстро, удобно и эффективно обучать или верифицировать модели. Используя большое количество умных устройств IoT, можно сосредоточиться на небольших моделях для предоставления соответствующей вычислительной мощности, и, создавая среду доверенного выполнения (TEE), пользователи могут завершить соответствующее обучение, загружая только градиенты модели, чтобы обеспечить конфиденциальность и безопасность данных, относящихся к пользователю.
• С развитием искусственного интеллекта и других областей многие отрасли претерпят огромные изменения в их основной логике, вычислительная мощность поднимется на более важную позицию, и различные аспекты, связанные с ней, также вызовут обширные исследования в отрасли. Децентрализованные сети вычислительной мощности имеют свои преимущества, могут снизить риск централизации и также могут служить дополнением к централизованной вычислительной мощности.
• И команды в области искусственного интеллекта также стоят перед дилеммой. Выбор между использованием больших обученных моделей для создания собственных продуктов или участием в обучении больших моделей в своих регионах в основном диалектический. Поэтому децентрализованная вычислительная мощность может удовлетворить различные бизнес-потребности. Этот тренд развития приветствуется, и с обновлением технологий и итерацией алгоритмов неизбежно будут достигнуты прорывы в ключевых областях.
• Не бойтесь, просто разберитесь медленно.
Ссылка
https://www.semianalysis.com/p/gpt-4-архитектура-инфраструктура
https://medium.com/render-token/render-network-q2-highlights-part-2-network-statistics-ac5aa6bfa4e5
https://know.rendernetwork.com/
https://medium.com/livepeer-blog/an-overview-of-the-livepeer-network-and-lpt-44985f9321ff
https://www.youtube.com/watch?v=FDA9wqZmsY8
https://mirror.xyz/1kx.eth/q0s9RCH43JCDq8Z2w2Zo6S5SYcFt9ZQaRITzR4G7a_k
https://mirror.xyz/gensyn.eth/_K2v2uuFZdNnsHxVL3Bjrs4GORu3COCMJZJi7_MxByo
https://docs.gensyn.ai/litepaper/#solution
https://a16zcrypto.com/posts/announcement/investing-in-gensyn/
https://www.pinecone.io/learn/chunking-strategies/
https://akash.network/blog/the-fast-evolving-ai-landscape/
https://aws.amazon.com/cn/blogs/compute/amazon-ec2-p4d-instances-deep-dive/
https://manual.edgematrix.pro/emc-network/what-is-emc-and-poc
С момента выпуска фильма «Аватар» в 2009 году он запустил первую битву трехмерных фильмов с беспрецедентными реальными изображениями. В качестве огромного вклада в это Weta Digital внесла свой вклад в визуальное оформление всего фильма. В своей серверной ферме площадью 10 000 квадратных футов в Новой Зеландии ее компьютерный кластер обрабатывал до 1,4 миллиона задач в день и обрабатывал 8 ГБ данных в секунду. Тем не менее, он продолжал работать более месяца, прежде чем все рендеринги были завершены. Работа.
С большим развертыванием машин и инвестициями в затраты, "Аватар" достиг впечатляющих результатов в истории кино.
3 января того же года Сатоси Накамото добыл генезис-блок биткоина на небольшом сервере в Хельсинки, Финляндия, и получил блок-награду в 50 BTC. С первого дня криптовалюты вычислительная мощность играет очень важную роль в отрасли.
Самая длинная цепь служит не только доказательством последовательности событий, но и доказательством того, что она произошла из самого большого пула вычислительной мощности ЦП.
—— Биткойн Whitepaper
В контексте механизма консенсуса PoW вклад вычислительной мощности обеспечивает гарантию безопасности цепочки. В то же время постоянно растущий хешрейт также может доказать постоянные инвестиции майнеров в вычислительные мощности и положительные ожидания дохода. Реальный спрос отрасли на вычислительные мощности также в значительной степени способствовал развитию производителей чипов. Чипы для майнинговых машин прошли этапы разработки, такие как CPU, GPU, FPGA и ASIC. В настоящее время машины для майнинга биткойнов обычно представляют собой чипы, основанные на технологии ASIC (Application Specific Ingrated Circuit), которые могут эффективно выполнять определенные алгоритмы, такие как SHA-256. Огромные экономические выгоды, приносимые биткоином, также повысили спрос на вычислительные мощности в связанном с ним майнинге. Однако чрезмерно специализированное оборудование и кластерные эффекты вызвали сифонный эффект у собственных участников, будь то майнеры или производители майнингового оборудования. Все они демонстрируют тенденцию капиталоемкого концентрированного развития.
С появлением смарт-контрактов Ethereum его программируемость, компонуемость и другие особенности сформировали широкий спектр применений, особенно в области DeFi, что привело к тому, что цена ETH выросла до самого уровня, в то время как он все еще находится в консенсусе PoW Сложность майнинга Ethereum на этом этапе также растет. Требования майнеров к вычислительной мощности для машин для майнинга Ethereum также растут день ото дня. Однако, в отличие от Биткойна, который использует чипы ASIC, Ethereum необходимо использовать графический процессор (GPU) для вычислений майнинга, такой как серия Nvidia RTX. Таким образом, он больше подходит для участия общего вычислительного оборудования. Это даже спровоцировало конкуренцию на рынке графических процессоров, что привело к тому, что высокопроизводительных видеокарт на рынке не было в наличии.
Когда наступило 30 ноября 2022 года, разработанный OpenAI ChatGPT также продемонстрировал эпохальное значение в области искусственного интеллекта. Пользователи изумились новым опытом, принесенным ChatGPT, который может выполнять различные предложенные пользователями задачи на основе контекста, так же как настоящий человек. Требовать. В новой версии, запущенной в сентябре этого года, генеративный искусственный интеллект, добавляющий мультимодальные функции, такие как голос и изображения, привел пользовательский опыт на новый уровень.
Однако GPT4 имеет свыше одного триллиона параметров, участвующих в предварительном обучении модели и последующей настройке. Это две части с наибольшим спросом на вычислительную мощность в области искусственного интеллекта. На этапе предварительного обучения изучается большое количество текста для освоения языковых образцов, грамматики и связанного контекста. Это позволяет понимать языковые образцы для генерации согласованного и контекстуального текста на основе ввода. После предварительного обучения GPT4 настраивается для лучшей адаптации к определенным типам контента или стилей и улучшения производительности и специализации в конкретных сценариях спроса.
Поскольку архитектура Transformer, принятая GPT, вводит механизм самовнимания, этот механизм позволяет модели одновременно обращать внимание на взаимосвязь между различными частями последовательности при обработке входной последовательности. Поэтому спрос на вычислительные мощности резко возрос. Особенно при обработке длинных последовательностей требуется большой объем параллельных вычислений и хранение большого количества оценок внимания, что также требует большого объема памяти и возможностей высокоскоростной передачи данных. В настоящее время мейнстрим LLM с той же архитектурой имеет огромный спрос на высокопроизводительные графические процессоры, что также показывает, что инвестиционные затраты в области больших моделей ИИ огромны. По оценкам SemiAnalysis, стоимость обучения модели GPT4 достигает $63 млн. Чтобы добиться хорошего интерактивного опыта, GPT4 также необходимо инвестировать много вычислительной мощности в повседневные операции, чтобы поддерживать свои повседневные операции.
Здесь нам нужно понять текущие основные типы аппаратного обеспечения для вычислительной мощности. Какие сценарии спроса на вычислительную мощность могут быть обработаны соответственно ЦП, ГПУ, ППЛ и АСИК.
• Исходя из архитектурной схемы центрального и графического процессоров, графический процессор содержит больше ядер, что позволяет графическому процессору обрабатывать несколько вычислительных задач одновременно. Параллельные вычисления обладают более сильными вычислительными возможностями и подходят для обработки большого количества вычислительных задач, поэтому в сферах машинного обучения и глубокого обучения получили широкое применение. Центральный процессор имеет меньшее количество ядер и более интенсивно подходит для обработки одной сложной вычислительной или последовательной задачи, но он не так эффективен, как GPU при обработке задач параллельных вычислений. В задачах рендеринга и задачах нейронных сетей обычно требуется обработка большого количества повторяющихся вычислений и параллельных вычислений, поэтому графический процессор более эффективен и подходит, чем центральный процессор в этом аспекте.
• FPGA (Field Programmable Gate Array) программируемый массив вентильных матриц — это полуконструкторская схема в области интегральной схемы, специализированной для конкретного применения (ASIC). Массив состоит из большого количества маленьких блоков обработки, FPGA можно рассматривать как программируемую цифровую логическую схему на одном кристалле. В настоящее время основное применение фокусируется на аппаратном ускорении, а другие задачи по-прежнему выполняются на процессоре, что позволяет FPGA и ЦПУ работать вместе.
• ASIC (Application Specific Integrated Circuit) относится к интегральной схеме, разработанной для удовлетворения конкретных потребностей пользователя и потребностей конкретных электронных систем. По сравнению с универсальными интегральными схемами, ASIC имеет преимущества более небольшого размера, более низкого энергопотребления, улучшенной надежности, улучшенной производительности, улучшенной конфиденциальности и сниженных затрат в ходе массового производства. Поэтому в собственном сценарии майнинга биткойнов, который требует выполнение только конкретных вычислительных задач, ASIC наиболее подходящий. Google также запустил TPU (Tensor Processing Unit), специально разработанный для машинного обучения в качестве типа ASIC, но в настоящее время он в основном предоставляет услуги аренды вычислительной мощности через Google Cloud.
• ASIC По сравнению с FPGA, ASIC представляет собой специализированную интегральную схему, и интегральная схема фиксируется после завершения проектирования. FPGA интегрирует в массив большое количество основных элементов цифровой схемы и памяти. Разработчики могут определить схему, запрограммировав конфигурацию FPGA, и это программирование можно заменить. Однако, учитывая текущую скорость обновления в области ИИ, кастомизированные или полукастомизированные чипы не могут быть вовремя отрегулированы и перенастроены для выполнения различных задач или адаптации к новым алгоритмам. Поэтому общая адаптивность и гибкость GPU позволяют ему блистать в области ИИ. Крупные производители графических процессоров также провели соответствующие оптимизации для адаптации графических процессоров в области искусственного интеллекта. Взяв в качестве примера Nvidia, она выпустила графические процессоры серии Tesla и архитектуры Ampere, разработанные специально для глубокого обучения. Это оборудование содержит аппаратные блоки (тензорные ядра), оптимизированные для машинного обучения и вычислений глубокого обучения, которые позволяют графическому процессору работать более эффективно и результативно. Низкое энергопотребление для прямого и обратного распространения нейронных сетей. Кроме того, для поддержки разработки ИИ предоставляется широкий спектр инструментов и библиотек, таких как CUDA (Compute Unified Device Architecture), помогающий разработчикам использовать графические процессоры для параллельных вычислений общего назначения.
Децентрализованная вычислительная мощность относится к методу предоставления вычислительной мощности через распределенные вычислительные ресурсы. Этот децентрализованный подход обычно сочетается с технологией блокчейн или аналогичной технологией распределенного реестра для объединения простаивающих вычислительных ресурсов и распределения их между пользователями, нуждающимися в совместном использовании ресурсов, транзакциях и управлении.
• Высокий спрос на вычислительное оборудование. Процветание экономики создателей привело обработку цифровых медиа в эру универсального творчества. Потребность в рендеринге визуальных эффектов выросла, и появились специализированные студии аутсорсинга рендеринга, облачные платформы рендеринга и другие формы. Однако для этого подхода также требуется вложить много собственных средств в начальное приобретение аппаратного обеспечения для вычислений.
• Вычислительная мощность аппаратного обеспечения поступает из одного источника. Развитие области искусственного интеллекта усилило спрос на вычислительное оборудование. Ведущие компании по производству GPU во главе с Nvidia заработали много денег в этом соревновании по вычислительной мощности искусственного интеллекта. Ее производственная мощность даже стала ключевым фактором, который может ограничить развитие определенной отрасли. Рыночная капитализация Nvidia в этом году также впервые превысила триллион долларов США.
• Предоставление вычислительной мощности по-прежнему в основном зависит от централизованных облачных платформ. Тем, кто действительно выигрывает от взрывного роста спроса на высокопроизводительные вычисления, являются централизованные облачные поставщики, представленные AWS. Они запустили услуги облачных вычислений с использованием графических процессоров. Возьмем, к примеру, текущий AWS p4d.24xlarge, аренда одного такого сервера HPC, специализирующегося на машинном обучении, содержащего восемь графических процессоров Nvidia A100 40GB, стоит 32,8 доллара в час, и его валовая прибыльная маржа оценивается в 61%. Это также заставило других облачных гигантов устремиться участвовать и запасаться оборудованием, чтобы получить максимальное преимущество на ранних этапах развития отрасли.
• Политическое, человеческое вмешательство и другие факторы приводят к неравному развитию отрасли. Неравновесие. Не трудно заметить, что владение и концентрация графических процессоров более смещены в сторону организаций и стран с изобилием средств и технологий и зависят от высокопроизводительных вычислительных кластеров. Это привело к тому, что чипы и полупроводниковые производители, представленные Соединенными Штатами, также вводят более строгие ограничения на экспорт искусственного интеллекта, чтобы ослабить исследовательские возможности других стран в области общего искусственного интеллекта.
• Распределение вычислительных ресурсов слишком концентрировано. Инициатива развития в области искусственного интеллекта находится в руках нескольких гигантских компаний. В настоящее время гиганты, представленные OpenAI, имеют благословение Microsoft, а за ними стоят богатые вычислительные ресурсы, предоставленные Microsoft Azure. Это делает каждый новый продукт OpenAI переформированием и интеграцией текущей индустрии искусственного интеллекта, что затрудняет другим командам догнать в области больших моделей.
Итак, сталкиваясь с высокими затратами на оборудование, географическими ограничениями и неравномерным индустриальным развитием, есть ли другие решения?
Платформа децентрализованной вычислительной мощности появилась по мере необходимости времени. Цель платформы - создать открытый, прозрачный и саморегулируемый рынок для более эффективного использования глобальных вычислительных ресурсов.
Высокие цены на оборудование и искусственный контроль со стороны поставщиков создали почву для строительства децентрализованных сетей вычислительной мощности.
• С точки зрения состава децентрализованной вычислительной мощности, различные поставщики вычислительной мощности варьируются от персональных компьютеров до небольшого оборудования интернета вещей, такого как центры обработки данных, IDC и т. д., и накопленная вычислительная мощность может обеспечить более гибкие и масштабируемые вычислительные решения, тем самым помогая более эффективно использовать ограниченные ресурсы более широкому кругу разработчиков и организаций в области искусственного интеллекта. Децентрализованное совместное использование вычислительной мощности может быть достигнуто за счет простоя вычислительной мощности физических лиц или организаций. Однако доступность и стабильность этой вычислительной мощности зависят от ограничений использования пользователей или верхнего предела совместного использования.
• Возможным потенциальным источником высококачественной вычислительной мощности является вычислительная мощность, предоставленная непосредственно путем преобразования соответствующих шахт после того, как Ethereum будет преобразован в PoS. человеческие ресурсы. Возьмем в качестве примера Coreweave, ведущего поставщика интегрированной вычислительной мощности на базе GPU в Соединенных Штатах. Ранее это было крупнейшее фермерское хозяйство по добыче Ethereum в Северной Америке и основано на полной инфраструктуре, которая была построена. Кроме того, утилизированные добычные машины Ethereum также содержат большое количество бездействующих GPU. Сообщалось, что в пик эпохи добычи Ethereum онлайн работало около 27 миллионов GPU. Оживление этих GPU также может стать важной частью децентрализованной сети вычислительной мощности.
• С технической точки зрения децентрализованные вычислительные ресурсы используются при визуализации графики и видео-транскодировании. Такие вычисления являются сложными. Для низкоуровневых задач экономическая система, объединяющая технологию блокчейн и web3, может принести осязаемые доходные стимулы участникам сети и накапливать эффективные бизнес-модели и клиентские группы, обеспечивая при этом безопасную передачу информационных данных. В области искусственного интеллекта требуется большое количество параллельных вычислений, коммуникаций и синхронизации между узлами, а также очень высокие требования к сетевой среде и другим аспектам. Поэтому текущие приложения также сосредоточены на тонкой настройке, выводе, AIGC и других более прикладных уровнях.
• С точки зрения бизнес-логики рынок, который просто покупает и продает вычислительную мощность, лишен воображения, и отрасль может заниматься только цепочкой поставок и ценообразованием. Однако именно это является преимуществами централизованных облачных сервисов. Поэтому потолок рынка низок, и здесь нет места для большего воображения, поэтому мы также видим, что сети, которые изначально занимались простым графическим рендерингом, ищут трансформацию в области искусственного интеллекта. Например, Render Network и 2023 Q1 также запустили нативный интегрированный набор инструментов Stability AI, с помощью которого пользователи могут выполнять стабильные операции диффузии, а бизнес больше не ограничивается операциями рендеринга, но расширяется на область искусственного интеллекта.
• С точки зрения основных групп клиентов очевидно, что крупные клиенты B-стороны предпочтут централизованные интегрированные облачные услуги. Обычно у них достаточный бюджет, они занимаются разработкой крупных базовых моделей и требуют более эффективной формы агрегации вычислительной мощности; поэтому децентрализованная вычислительная мощность обслуживает скорее малые и средние разработческие команды или отдельных лиц, которые в основном занимаются доведением моделей до совершенства или разработкой уровня приложений, которые не имеют высоких требований к форме предоставляемой вычислительной мощности. Они более чувствительны к ценам. Децентрализованная вычислительная мощность может фундаментально снизить начальные инвестиции, поэтому общая стоимость использования также ниже. Основываясь на ранее рассчитанной стоимости Gensyn, вычислительная мощность преобразуется в эквивалентное значение, предоставленное V100. Вычислительная мощность, цена Gensyn всего лишь 0,4 доллара в час, что на 80% ниже эквивалентной вычислительной мощности AWS в 2 доллара в час. Хотя эта часть бизнеса не составляет большей части расходов в текущей отрасли, по мере расширения сценариев использования приложений ИИ, будущий размер рынка нельзя недооценивать.
• С точки зрения предоставляемых услуг можно сказать, что текущий проект больше напоминает концепцию децентрализованной облачной платформы, предоставляя полный комплекс управления от разработки, развертывания, онлайн, распространения и транзакций. Преимущество заключается в том, что это привлекает разработчиков, которые могут использовать соответствующие компоненты инструментов для упрощения разработки и развертывания и повышения эффективности; в то же время это может привлечь пользователей для использования этих полных прикладных продуктов на платформе, формируя экологический ров на основе собственной сети вычислительной мощности. Но это также выдвигает более высокие требования к операциям проекта. Как привлечь отличных разработчиков и пользователей и добиться удержания особенно важно.
Сеть Render - глобальная платформа рендеринга на основе блокчейна, цель которой заключается в помощи создателям в цифровом творчестве. Она позволяет создателям расширять работу по GPU-рендерингу до глобальных узлов GPU по запросу, обеспечивая более быструю и дешевую возможность рендеринга. После подтверждения создателем результатов рендеринга сеть блокчейна отправляет код на узел. Награды в виде монет. По сравнению с традиционными методами реализации визуальных эффектов, установка локальной инфраструктуры рендеринга или добавление соответствующих расходов на GPU к приобретенным облачным услугам требует больших входных инвестиций.
С момента своего основания в 2017 году пользователи сети Render Network обработали более 16 миллионов кадров и почти 500 000 сцен. Данные, опубликованные сетью Render Network за второй квартал 2023 года, также показывают, что как количество задач по обработке кадров, так и количество активных узлов увеличиваются. Кроме того, Render Network и первый квартал 2023 года также запустили интегрированный нативно набор инструментов для искусственного интеллекта Stability AI. Пользователи могут использовать эту функцию для введения операций по стабильному диффузии, и бизнес больше не ограничивается операциями по рендерингу, а расширяется на поле искусственного интеллекта.
Livepeer предоставляет услуги мгновенного транскодирования видео для создателей через участников сети, вкладывающих свою собственную вычислительную мощность GPU и пропускную способность. Вещатели могут завершить транскодирование различных типов видео, отправляя видео в Livepeer и распространяя их на различных конечных пользователей, тем самым реализуя распространение видеоконтента. В то же время вы можете легко оплатить в законной валюте получение услуг, таких как транскодирование, передача и хранение видео.
В сети Livepeer любой может вносить личные вычислительные ресурсы (ЦП, ГПУ и пропускную способность) для транскодирования и распространения видео с целью заработка комиссий. Нативный токен (LPT) представляет права и интересы участников сети. Количество заложенных токенов определяет вес узла в сети, тем самым влияя на его шансы получения задач по транскодированию. В то же время LPT также играет роль в направлении узлов на безопасное, надежное и быстрое выполнение назначенных задач.
В текущей экосистеме в области искусственного интеллекта основные участники могут быть грубо разделены на:
Начиная с стороны спроса, существуют очевидные различия в требованиях к вычислительной мощности на разных этапах отрасли. Возьмем разработку базовой модели в качестве примера: на этапе предварительного обучения требуется очень высокая параллельная вычислительная мощность, хранение, коммуникации и т. д., чтобы обеспечить эффективность результатов обучения. Для выполнения связанных задач требуется большой кластер вычислительной мощности. В настоящее время основная поставка вычислительной мощности в основном зависит от самостоятельно построенных компьютерных помещений и централизованных облачных сервисных платформ. На последующих этапах тонкой настройки модели, реального времени рассуждений и разработки приложений требования к параллельным вычислениям и межузловым коммуникациям не так высоки. Именно здесь децентрализованная вычислительная мощность может полностью раскрыть свой потенциал.
Если посмотреть на проекты, которые ранее приобрели немалую популярность, то Akash Nework предпринял несколько попыток в направлении децентрализованных вычислительных мощностей:
Сеть Akash объединяет различные технологические компоненты, чтобы пользователи могли эффективно и гибко развертывать и управлять приложениями в децентрализованной облачной среде. Пользователи могут использовать технологию контейнеров Docker для упаковки приложений, а затем развертывать и масштабировать их через Kubernetes через CloudMOS на облачных ресурсах, предоставляемых Akash. Akash использует подход «обратного аукциона», что делает цену ниже, чем у традиционных облачных сервисов.
Akash Network также объявил в августе этого года, что запустит шестое обновление своей основной сети, включающее поддержку графических процессоров в своих облачных услугах и предоставляющее вычислительную мощность большему количеству команд искусственного интеллекта в будущем.
Проект Gensyn.ai, который в этом году привлек много внимания в индустрии, был возглавлен a16z и завершил серию A финансирования в размере 43 миллиона долларов США. Судя по документам, опубликованным до сих пор, проект представляет собой основную сеть на основе протокола L1 PoS сети Polkadot, с акцентом на глубокое обучение. Он стремится расширить границы машинного обучения, создавая глобальную суперкомпьютерную сеть кластеров. Эта сеть объединяет устройства от центров обработки данных с избыточной вычислительной мощностью до ПК, которые потенциально могут внести свой вклад в личные графические процессоры, специализированные ASIC и SoC.
Для решения некоторых проблем, существующих в децентрализованной вычислительной мощности, Gensyn опирается на новые теоретические исследования в академии:
Принять вероятное обучение доказательств, то есть использовать метаданные процесса оптимизации на основе градиента для построения доказательств выполнения соответствующей задачи с целью ускорения процесса верификации;
Протокол на основе графов Pinpoint Protocol, GPP, служит мостом, соединяющим офлайн-выполнение DNN (Deep Neural Network) и фреймворк смарт-контрактов на блокчейне, решая противоречия, которые легко возникают на различных аппаратных устройствах, и обеспечивая согласованность верификации.
Метод поощрения, аналогичный Truebit, через комбинацию стейкинга и наказания, устанавливает инцентивную систему, которая позволяет экономически рациональным участникам честно выполнять назначенные задачи. Механизм использует криптографию и методы теории игр. Эта система верификации является необходимой для поддержания целостности и надежности крупных вычислений по обучению модели.
Тем не менее, стоит отметить, что приведенный выше контент больше относится к решению уровня проверки выполнения задачи, а не к децентрализованным вычислительным мощностям для достижения функций обучения модели в качестве основного акцента в проектном документе, особенно о параллельных вычислениях и распределенной оптимизации связи, синхронизации и других вопросах между аппаратным обеспечением. В настоящее время частое взаимодействие между узлами, подверженное влиянию сетевой задержки (Latency) и пропускной способности (Bandwidth), увеличивает время итерации и затраты на связь. Это не только не приведет к фактической оптимизации, но и снизит эффективность обучения. Подход Gensyn к управлению взаимодействием узлов и параллельными вычислениями при обучении модели может включать сложные координационные протоколы для управления распределенной природой вычислений. Тем не менее, без более подробной технической информации или более глубокого понимания их конкретных методов, точный механизм, с помощью которого Gensyn достигает крупномасштабного обучения моделей через свою сеть, не будет по-настоящему раскрыт до тех пор, пока проект не будет запущен.
Мы также обратили внимание на протокол вычислительной матрицы Edge (EMC), который использует технологию блокчейн для применения вычислительной мощности к искусственному интеллекту, рендерингу и научным исследованиям. , Доступ к искусственному интеллекту в электронной коммерции и другим типам сценариев, задачи распределяются на разные узлы вычислительной мощности через упругое вычисление. Этот метод не только повышает эффективность вычислительной мощности, но и обеспечивает безопасность передачи данных. В то же время он предоставляет рынок вычислительной мощности, где пользователи могут получать доступ к вычислительным ресурсам и обмениваться ими. Это удобно для разработчиков для более быстрой развертки и достижения пользователей. Совместно с экономической формой Web3, поставщики вычислительной мощности также могут получать реальные выгоды и субсидии от протоколов на основе фактического использования пользователей, а разработчики искусственного интеллекта также могут получать более низкие затраты на рассуждение и рендеринг. Ниже представлен обзор его основных компонентов и функций:
Также ожидается, что будут запущены продукты RWA на основе GPU. Ключевым моментом здесь является оживление аппаратного обеспечения, которое изначально было установлено в компьютерной комнате, и его разделение и циркуляция в форме RWA для получения дополнительной ликвидности. Высококачественные GPU могут быть использованы в качестве основного актива RWA. Причина в том, что вычислительная мощность может рассматриваться как твердая валюта в области искусственного интеллекта. В настоящее время существует очевидное противоречие между спросом и предложением, и это противоречие не может быть решено в краткосрочной перспективе, поэтому цена на GPU относительно стабильна.
Кроме того, внедрение кластеров вычислительной мощности путем развертывания компьютерных комнат IDC также является ключевой частью протокола EMC. Это позволяет не только видеокартам работать в единой среде, но и более эффективно обрабатывать связанные с ними крупномасштабные задачи, потребляющие вычислительную мощность, такие как предварительное обучение модели. Это удовлетворяет потребности профессиональных пользователей. В то же время компьютерная комната IDC также может централизованно размещать и запускать большое количество видеокарт, чтобы обеспечить технические характеристики одного и того же типа высококачественного оборудования, что упрощает их упаковку на рынке в качестве продуктов RWA и открывает новые идеи для DeFi.
В последние годы академическое сообщество также разработало новые технические теории и практики применения в области вычислительной мощности. В качестве дополнения и оптимизации облачных вычислений, вычислительная мощность является частью искусственного интеллекта, который ускоряется от облака к краю и в все более маленькие устройства Интернета вещей. Эти устройства Интернета вещей часто имеют небольшой размер, поэтому легковесное машинное обучение предпочтительно для решения проблем, таких как энергопотребление, задержка и точность.
Network3 построена путем создания специального искусственного интеллекта Layer2 для предоставления разработчикам искусственного интеллекта по всему миру оптимизации и сжатия алгоритмов моделей искусственного интеллекта, федеративного обучения, краевых вычислений и вычислений конфиденциальности. Предоставлять услуги, чтобы помочь им быстро, удобно и эффективно обучать или верифицировать модели. Используя большое количество умных устройств IoT, можно сосредоточиться на небольших моделях для предоставления соответствующей вычислительной мощности, и, создавая среду доверенного выполнения (TEE), пользователи могут завершить соответствующее обучение, загружая только градиенты модели, чтобы обеспечить конфиденциальность и безопасность данных, относящихся к пользователю.
• С развитием искусственного интеллекта и других областей многие отрасли претерпят огромные изменения в их основной логике, вычислительная мощность поднимется на более важную позицию, и различные аспекты, связанные с ней, также вызовут обширные исследования в отрасли. Децентрализованные сети вычислительной мощности имеют свои преимущества, могут снизить риск централизации и также могут служить дополнением к централизованной вычислительной мощности.
• И команды в области искусственного интеллекта также стоят перед дилеммой. Выбор между использованием больших обученных моделей для создания собственных продуктов или участием в обучении больших моделей в своих регионах в основном диалектический. Поэтому децентрализованная вычислительная мощность может удовлетворить различные бизнес-потребности. Этот тренд развития приветствуется, и с обновлением технологий и итерацией алгоритмов неизбежно будут достигнуты прорывы в ключевых областях.
• Не бойтесь, просто разберитесь медленно.
Ссылка
https://www.semianalysis.com/p/gpt-4-архитектура-инфраструктура
https://medium.com/render-token/render-network-q2-highlights-part-2-network-statistics-ac5aa6bfa4e5
https://know.rendernetwork.com/
https://medium.com/livepeer-blog/an-overview-of-the-livepeer-network-and-lpt-44985f9321ff
https://www.youtube.com/watch?v=FDA9wqZmsY8
https://mirror.xyz/1kx.eth/q0s9RCH43JCDq8Z2w2Zo6S5SYcFt9ZQaRITzR4G7a_k
https://mirror.xyz/gensyn.eth/_K2v2uuFZdNnsHxVL3Bjrs4GORu3COCMJZJi7_MxByo
https://docs.gensyn.ai/litepaper/#solution
https://a16zcrypto.com/posts/announcement/investing-in-gensyn/
https://www.pinecone.io/learn/chunking-strategies/
https://akash.network/blog/the-fast-evolving-ai-landscape/
https://aws.amazon.com/cn/blogs/compute/amazon-ec2-p4d-instances-deep-dive/
https://manual.edgematrix.pro/emc-network/what-is-emc-and-poc