Como a tecnologia de alta tecnologia de crescimento mais rápido na história da humanidade, os grandes modelos têm atraído a atenção de todos. O Web3, que era apenas uma coisa de ontem, está a ser cada vez mais desafiado legalmente. Mas, como tecnologias completamente diferentes, não há substituição entre as duas. O responsável pelo "AI+Crypto Studio" na Ilha de Todas as Coisas - Sr. Tian Hongfei, irá discutir consigo os problemas enfrentados no desenvolvimento de grandes modelos e como as empresas no campo do web3 estão empenhadas em resolver esses problemas.

Problemas da Indústria de Grandes Modelos e Como Incorporar o Web3 para Resolvê-los

Como todos sabemos, a indústria da Internet entrou na fase de oligopólio após 2015, e os países ao redor do mundo realizaram análises antitruste das empresas de plataformas. O surgimento de grandes modelos intensifica ainda mais a posição de monopólio dos oligopólios. Os grandes modelos incluem algoritmos, poder computacional e dados:

• No campo dos algoritmos, embora haja um grau de monopólio, os algoritmos podem permanecer amplamente abertos devido às forças de código aberto e à rivalidade das universidades de pesquisa, bem como desconfiança das pessoas em relação aos oligarcas;
• Em termos de potência de computação, devido ao custo extremamente elevado de treinar grandes modelos, apenas grandes empresas podem suportar essa potência de computação, o que resulta essencialmente na produção de algoritmos ser completamente controlada por grandes empresas;
• Em termos de dados, enquanto o treino de modelos grandes depende de dados públicos, os dados públicos em breve se esgotarão com base no crescimento dos parâmetros dos modelos grandes, e portanto o crescimento contínuo dos modelos grandes depende de dados privados. Embora a quantidade absoluta de dados possuída por um grande número de pequenas empresas seja enorme, é difícil utilizá-la isoladamente, portanto as grandes empresas ainda têm um monopólio sobre os dados.

Como resultado, a era do Big Model está mais centralmente controlada do que nunca, e o mundo do futuro provavelmente será controlado por um punhado ou até mesmo por um único computador. (Mesmo no mundo descentralizado da Web3, o End Game proposto por Vitalik para o Ethereum será executado por uma máquina gigante fora do bloco.)

Além disso, a empresa OpenAI que desenvolveu o ChatGPT tem apenas mais de 20 funcionários principais. Devido a várias razões, o algoritmo do ChatGPT ainda não foi disponibilizado em open source. A natureza original da empresa sem fins lucrativos foi alterada para lucro limitado. À medida que várias aplicações que dependem do ChatGPT têm alterado a vida humana, algumas modificações ao modelo ChatGPT terão um grande impacto nos seres humanos. Comparado com o princípio do Google de não fazer o mal, o ChatGPT tem um impacto mais profundo nas pessoas.

Portanto, a credibilidade computacional do modelo tornar-se-á uma questão importante. Embora a OpenAI possa ser operada sem fins lucrativos, o controle do poder por algumas pessoas ainda terá muitas consequências adversas. (Em contraste, embora o Ethereum End Game proposto por Vitalik seja produzido por uma máquina, manterá transparência através de uma verificação muito fácil pelo público.)

Ao mesmo tempo, ainda existem problemas na indústria de modelos grandes: escassez de potência de computação, dados de treinamento disponíveis prestes a serem consumidos e compartilhamento de modelos. Segundo as estatísticas, antes de 2021, o problema na indústria de inteligência artificial é a falta de dados, e todas as empresas de aprendizado profundo estão à procura de dados em indústrias verticais; e após os grandes modelos, a falta de potência de computação torna-se um obstáculo.

O desenvolvimento de modelos grandes é dividido em várias etapas: coleta de dados, pré-processamento de dados, treinamento de modelo, ajuste fino do modelo e inferência de consulta de implantação. A partir destas etapas, vamos descrever brevemente a contribuição da blockchain para os modelos grandes e como combater o dano da concentração excessiva de modelos grandes.

• Em termos de dados, uma vez que os dados públicos serão consumidos após 2030, quantidades mais valiosas e maiores de dados privados precisam ser utilizadas enquanto se protege a privacidade através da tecnologia blockchain;
• Em termos de anotação de dados, os tokens podem ser usados para incentivar a anotação em larga escala e verificação de dados;
• Na fase de treino do modelo, a partilha de potência de computação é alcançada através da partilha de modelo e treino colaborativo;
• Durante a fase de afinação do modelo, a participação da comunidade pode ser incentivada através de tokens;
• Na fase de consulta do utilizador e cálculo de raciocínio, a blockchain pode proteger a privacidade dos dados do utilizador.

Em particular:

1) Poder de computação escasso

O poder de computação é um fator de produção necessário para modelos grandes e é o fator de produção mais caro nos dias de hoje, tanto que startups recém-financiadas têm que transferir 80% dos seus fundos para a NVIDIA para comprar GPUs. Empresas que produzem seus próprios modelos grandes têm que gastar pelo menos $50 milhões para construir seus próprios data centers, enquanto pequenas startups têm que adquirir serviços caros de computação em nuvem.

No entanto, a popularidade a curto prazo de grandes modelos e o enorme consumo de recursos computacionais pelos próprios grandes modelos excederam em grande medida a capacidade de fornecimento da NVIDIA. Segundo as estatísticas, a demanda por energia computacional de grandes modelos duplica a cada poucos meses. Entre 2012 e 2018, a demanda por energia computacional aumentou 300.000 vezes, e o custo de cálculos de grandes modelos aumentou 31 vezes a cada ano.

Para as empresas de Internet chinesas, elas também têm de enfrentar o embargo dos EUA sobre GPUs de alta qualidade. Pode dizer-se que o elevado custo de formação é a razão central pela qual a tecnologia de modelos grandes é controlada por poucas pessoas.

Então, como resolver o problema de potência de computação de modelos grandes através da blockchain?

Considerando a produção de modelos grandes, esta é principalmente dividida em treino de modelo grande, ajuste fino e cálculo de inferência de consulta de usuário. Embora os modelos grandes sejam notoriamente caros de treinar, uma versão de um modelo grande só precisa ser gerada uma vez. Na maioria das vezes, para os usuários de serviços de modelos grandes, apenas a computação inferencial é necessária. De acordo com estatísticas da AWS, isso também é confirmado, 80% da potência de computação é realmente consumida em cálculos de inferência.

Embora o treinamento de modelos grandes exija capacidades de comunicação de alta velocidade entre GPUs, não pode ser concluído na rede (a menos que escolha trocar a extensão de tempo por baixo custo). Mas os cálculos de inferência podem ser feitos em uma única GPU. A sintonia fina é baseada no grande modelo que foi gerado e fornecido dados profissionais, portanto, requer muito menos recursos computacionais do que o treinamento de modelos grandes.

Quando se trata de renderização de gráficos, é claro que as GPUs de consumidor têm um desempenho melhor do que as GPUs empresariais e ficam ociosas a maior parte do tempo. Desde que a Universidade da Califórnia, em Berkeley, lançou o SETI para procurar alienígenas em 1999, e a Computação em Grade se tornou popular em 2000, houve algumas arquiteturas técnicas que usam recursos de computação ociosos para colaborar na conclusão de algumas tarefas de computação enormes. Antes do surgimento da blockchain, essas colaborações geralmente eram focadas em tarefas científicas e dependiam do entusiasmo e da participação de bem-estar público dos participantes, limitando o alcance de impacto. Agora, usando a tecnologia de blockchain, sua ampla gama de aplicações pode ser incentivada através de tokens.

Assim como o projeto de computação em nuvem descentralizada Akash, foi estabelecida uma rede de computação geral, e os utilizadores podem implementar modelos de aprendizagem automática para cálculos de raciocínio e renderização de imagens. Existem também projetos de IA baseados em blockchain, como Bittensor, Modulus Lab, Giza e ChainML, todos eles direcionados para cálculos de inferência de consulta.

O protocolo de computação de IA blockchain Gensyn e a plataforma de IA generativa de código aberto Together estão determinados a construir uma rede de computação descentralizada que serve o treinamento de modelos grandes.

Desafio: Para redes de computação descentralizadas, a dificuldade reside não apenas em redes de comunicação de baixa velocidade e pouco fiáveis, incapacidade de sincronizar estados computacionais, lidar com múltiplos tipos de ambientes de computação do tipo GPU, mas também lidar com incentivos económicos, trapaças dos participantes, prova de carga de trabalho, segurança, proteção da privacidade e ataques anti-spam.

2) Dados escassos e correção de dados

O algoritmo central do grande modelo, Aprendizagem por Reforço a partir do Feedback Humano (RLHF), requer a participação humana na afinação do treino para corrigir erros e eliminar viés e informação prejudicial. A OpenAI utilizou RLHF para aperfeiçoar o GPT3 e gerar o ChatGPT. No processo, a OpenAI encontrou especialistas do Grupo do Facebook e pagou trabalhadores quenianos $2 por hora. O treino de otimização muitas vezes requer a participação de especialistas humanos em dados de áreas especializadas, e a sua implementação pode ser totalmente combinada com formas de incentivar a participação da comunidade através de tokens.

A indústria de Redes de Infraestrutura Física Descentralizada (DePINs) utiliza tokens para incentivar as pessoas a partilhar dados reais e em tempo real do mundo físico, de acordo com sensores para vários modelos de treino. Incluindo: React recolhe dados de consumo de energia, DIMO recolhe dados de condução de veículos, WeatherXM recolhe dados meteorológicos, e Hivemapper recolhe dados de mapas através de incentivos em tokens para encorajar as pessoas a marcar sinais de trânsito e ajudar o seu algoritmo de aprendizagem de máquina RLHF a melhorar a precisão.

Ao mesmo tempo, à medida que os parâmetros dos grandes modelos aumentam, os dados públicos existentes serão esgotados até 2030, e o progresso contínuo dos grandes modelos terá de depender de dados privados. A quantidade de dados privados é 10 vezes maior do que a de dados públicos, mas está dispersa nas mãos de empresas e indivíduos, e é privada e confidencial por natureza, tornando difícil explorá-la. Surge um duplo dilema. Por um lado, o grande modelo precisa de dados, mas embora a parte com os dados precise do grande modelo, ela não quer ceder os dados ao grande modelo. Este duplo problema também pode ser resolvido através da tecnologia no campo da blockchain.

Para modelos de inferência de código aberto, porque requerem menos recursos computacionais, o modelo pode ser transferido para o segmento de dados para execução; para modelos não públicos ou grandes, os dados precisam ser dessensibilizados e carregados no final do modelo. Os métodos de dessensibilização incluem dados sintéticos e provas de conhecimento zero.

Quer o modelo seja transferido para o lado dos dados ou os dados sejam carregados para o lado do modelo, o problema da autoridade precisa ser resolvido para evitar fraudes de modelo ou dados.

Desafio: Embora os incentivos de token do Web3 possam ajudar a resolver este problema, o problema da fraude precisa ser resolvido.

3) Colaboração de modelo

Na comunidade Civitai, a maior plataforma de partilha de modelos de pintura de IA do mundo, as pessoas partilham modelos e podem facilmente copiar um modelo e modificá-lo para gerar um modelo que satisfaça os seus próprios requisitos.

Bittensor, um projeto de blockchain de código aberto e duplo consenso de IA iniciante, projetou um conjunto de modelos descentralizados de incentivo a tokens. Com base no mecanismo de colaboração de uma mistura de especialistas, ele produz conjuntamente um modelo de resolução de problemas e suporta a destilação de conhecimento, que pode ser compartilhada entre modelos. Informações, treinamento acelerado, que proporciona a inúmeras startups a oportunidade de participar em grandes modelos.

Como uma rede unificada para serviços off-chain, como automação, oráculos e IA compartilhada, Autonolas projetou um quadro de colaboração para agentes chegarem a um consenso através do Tendermint.

Desafio: O treino de muitos modelos ainda requer muita comunicação, e a confiabilidade e eficiência temporal do treino distribuído continuam a ser obstáculos enormes;

Grandes modelos e inovação em Web3

Em conjunto com o acima discutido como o Web3 pode ser utilizado para resolver alguns dos problemas na grande indústria de modelagem. A combinação de duas forças importantes resultará em algumas aplicações inovadoras.

1) Use ChatGPT para escrever contratos inteligentes

Recentemente, um artista de NFT usou prompts para operar o ChatGPT sem qualquer conhecimento de programação para lançar o seu próprio contrato inteligente e emitir o token Turboner. O artista usou o YouTube para gravar o processo de criação durante uma semana, inspirando todos a usar o ChatGPT. Participar na criação de contratos inteligentes.

2) Pagamento cripto capacita gestão inteligente

O desenvolvimento de grandes modelos melhorou muito a inteligência dos assistentes inteligentes, e combinado com pagamentos encriptados, os assistentes inteligentes serão capazes de coordenar mais recursos e colaborar em mais tarefas no mercado de assistentes inteligentes. O AutoGPT demonstra a dependência de um cartão de crédito fornecido pelo utilizador, e pode ajudar o utilizador a automatizar a compra de recursos de computação na nuvem e a reserva de voos, mas é limitado pelo login automático ou outra autenticação de segurança, e as capacidades do AutoGPT são severamente limitadas pelo login automático ou outra autenticação de segurança. O design do Sistema de Agentes Múltiplos (MAS), incluindo o Protocolo de Rede de Contratos, inclui a colaboração de vários assistentes inteligentes num mercado aberto, e se apoiado por tokens, essa colaboração quebrará a colaboração limitada baseada na confiança e se tornará uma colaboração em maior escala baseada na economia de mercado, tal como a sociedade humana passa de uma sociedade primitiva para uma sociedade monetária.

3) zkML (Aprendizado de Máquina de Conhecimento Zero)

A aplicação da tecnologia zkp (Prova de Conhecimento Zero) em blockchain é dividida em duas categorias. Uma é resolver o desempenho do blockchain transferindo os requisitos de computação para fora da cadeia e, em seguida, certificando-se através do zkp; a segunda categoria é usada para proteger a privacidade das transações. As aplicações de zkp em grandes modelos incluem cálculos confiáveis de modelo (para provar a consistência e autenticidade dos cálculos do modelo) e cálculos de privacidade de dados de treinamento. Em um ambiente descentralizado, o provedor de serviços do modelo precisa provar aos clientes que o modelo vendido é o modelo prometido ao cliente, sem cortar atalhos; para os parceiros de dados de treinamento, eles precisam participar do treinamento ou usar o modelo com a premissa de proteger sua própria privacidade. Embora o zkp ofereça algumas possibilidades, ainda há muitos desafios, e soluções como computação homomórfica e computação de privacidade federada ainda estão imaturas.

Solução baseada na arquitetura BEC (Blockchain Edge Client)

Para além das escolas acima mencionadas, existe outra escola que não recebeu muita atenção devido à falta de incentivos em tokens e à utilização de aplicações minimalistas de blockchain.

A arquitetura baseada em BEC tem muitas semelhanças com os conceitos de Web5 mencionados por Jack Dorsey e Solid por Tim Berners-Lee em muitos aspectos.

Todos eles pensam:

• Cada pessoa tem um nó de borda de controle correspondente;
• Computação e armazenamento na maioria dos cenários de aplicação devem ser tratados nos nós de borda;
• A colaboração entre nós individuais é concluída através da blockchain;
• A comunicação entre os nós é concluída através de P2P;
• Os indivíduos podem controlar totalmente os seus próprios nós sozinhos ou confiar em pessoas de confiança para confiar em nós de gestão (chamados servidores de retransmissão em alguns cenários);
• Alcançou a maior descentralização possível;

Quando este nó correspondente a cada pessoa e controlado pelo indivíduo armazena dados pessoais e carrega o modelo grande, um agente inteligente pessoal completamente personalizado, protegido a 100% da privacidade (Agente) pode ser treinado. O parceiro fundador chinês da SIG, Dr. Gong Ting, comparou romanticamente o futuro nó pessoal à nuvem pessoal acima da cabeça de Olaf em "Frozen", que sempre o segue.

Desta forma, o Avatar no Metaverso deixará de ser uma imagem controlada por um teclado, mas um agente com uma alma. Ele pode estudar notícias online, processar emails e até mesmo responder automaticamente às suas mensagens de chat social em nosso nome 24 horas por dia. (Atenção, namoradas insistentes, vocês podem precisar de uma maneira de detectar se o vosso namorado está a usar um agente para lidar convosco no futuro). Quando o seu agente precisar de novas habilidades, tal como instalar uma aplicação num telemóvel, pode instalar uma nova aplicação no seu nó.

Resumo

Historicamente, com a plataformação contínua do desenvolvimento da Internet, embora o tempo para o nascimento de empresas unicórnio tenha se tornado mais curto, isso tem se tornado cada vez mais prejudicial para o desenvolvimento de startups.

Com a plataforma eficiente de distribuição de conteúdo fornecida pelo Google e Facebook, o Youtube, que nasceu em 2005, foi adquirido pelo Google por US$1.6 bilhões apenas um ano depois.

Juntamente com a eficiente plataforma de distribuição de aplicativos da Apple App Store, o Instagram foi fundado em 2012 por pouco mais de 10 pessoas e foi adquirido pelo Facebook por US$1 bilhão em 2012.

Com o apoio do grande modelo ChatGPT, a Midjourney, que tem apenas 11 pessoas, ganhou 100 milhões de dólares por ano. E a OpenAI, que não tem mais de 100 pessoas, tem um valor superior a 20 mil milhões de dólares.

As empresas de plataformas da Internet estão a tornar-se cada vez mais poderosas, e a emergência de grandes modelos não alterou o padrão existente da Internet ser monopolizada por grandes empresas. Os três elementos dos grandes modelos, algoritmos, dados e poder de computação, continuam a ser monopolizados por grandes empresas. As empresas iniciantes não têm a capacidade de inovar grandes modelos e não têm a força financeira para treinar grandes modelos. Elas só podem focar-se na aplicação de grandes modelos em campos verticais. Embora os grandes modelos pareçam promover a popularização do conhecimento, o verdadeiro poder está nas mãos de não mais do que 100 pessoas no mundo que têm a capacidade de produzir modelos.

Se no futuro os grandes modelos penetrarem em todos os aspectos da vida das pessoas, e você perguntar ao ChatGPT sobre a sua dieta diária, a sua saúde, os seus emails de trabalho e as cartas do seu advogado, então, teoricamente, aqueles que dominam grandes modelos só precisam mudar secretamente alguns parâmetros. Isso pode afetar grandemente a vida de inúmeras pessoas. Alguns desempregos causados pelo grande modelo podem ser resolvidos através do UBI ou do Worldcoin, mas as consequências da possibilidade do mal causado pelo grande modelo ser controlado por algumas pessoas são mais sérias. Esta é a intenção original da OpenAI. Embora a OpenAI resolva problemas motivados pelo lucro através de métodos sem fins lucrativos, como ela resolve problemas motivados pelo poder? Obviamente, os grandes modelos treinam rapidamente modelos de conhecimento usando conhecimentos acumulados por humanos há décadas e compartilhados livremente na Internet, mas este modelo é controlado por um número muito pequeno de pessoas.

1. Portanto, existe um grande conflito de valores entre os grandes modelos e a tecnologia blockchain. Os praticantes de blockchain precisam participar do empreendedorismo de grandes modelos e usar a tecnologia blockchain para resolver problemas de grandes modelos. Se a enorme quantidade de dados livremente disponíveis na Internet é o conhecimento comum da humanidade, então os grandes modelos gerados com base nesses dados devem pertencer a toda a humanidade. Assim como a OpenAI começou recentemente a pagar por bases de dados de literatura, a OpenAI precisa pagar pelos blogs pessoais aos quais você e eu nos dedicamos.

Aviso Legal：

1. Este artigo é reproduzido a partir de [ThreeDAO, Ilha de Todas as Coisas]. Todos os direitos de autor pertencem ao autor original [36C]. Se houver objeções a esta reimpressão, por favor entre em contato com o Gate Learnequipa e eles tratarão disso prontamente.
2. Aviso de responsabilidade: As opiniões expressas neste artigo são exclusivamente do autor e não constituem qualquer conselho de investimento.
3. As traduções do artigo para outros idiomas são feitas pela equipe Gate Learn. Salvo indicação em contrário, é proibido copiar, distribuir ou plagiar os artigos traduzidos.