Um agradecimento especial a Morgan Beller, Juan Benet, Eli Dourado, Karl Floersch, Sriram Krishnan, Nate Soares, Jaan Tallinn, Vincent Weisser, voluntários da Gate e outros pela revisão e feedback.

No mês passado, Marc Andreessen publicou o seu “manifesto techno-otimista“, argumentando a favor de um entusiasmo renovado pela tecnologia e pelos mercados e pelo capitalismo como meio de construir essa tecnologia e impulsionar a humanidade em direção a um futuro muito mais brilhante. O manifesto rejeita de forma inequívoca o que descreve como uma ideologia de estagnação, que teme os avanços e prioriza a preservação do mundo como ele existe hoje. Este manifesto tem recebido muita atenção, incluindo artigos de resposta de Noah Smith, Robin Hanson,Joshua Gans(mais positivo), eDave Karpf, Luca Ropek, Ezra Klein(mais negativo) e muitos outros. Não ligado a este manifesto, mas ao longo de temas semelhantes, estão os “James Pethokoukis’sO Conservador Futurista" e Palladium's "É hora de construir para o bemEste mês, vimos um debate semelhante travado através do Disputa OpenAI, que envolveu muitas discussões centradas nos perigos da superinteligência artificial e na possibilidade de a OpenAI estar a avançar demasiado rápido.

Os meus próprios sentimentos sobre o tecno-otimismo são calorosos, mas matizados. Acredito num futuro que é muito mais brilhante do que o presente graças a uma tecnologia radicalmente transformadora, e acredito nos seres humanos e na humanidade. Rejeito a mentalidade de que o melhor que devemos tentar fazer é manter o mundo aproximadamente igual ao de hoje, mas com menos ganância e mais cuidados de saúde públicos. No entanto, penso que não apenas a magnitude, mas também a direção, é importante. Existem certos tipos de tecnologia que tornam o mundo muito mais fiável do que outros tipos de tecnologia. Existem certos tipos de tecnologia que poderiam, se desenvolvidos, mitigar os impactos negativos de outros tipos de tecnologia. O mundo sobrestima algumas direções do desenvolvimento tecnológico e subestima outras. Precisamos de intenção humana ativa para escolher as direções que desejamos, pois a fórmula de “maximizar o lucro” não as alcançará automaticamente.

Neste post, falarei sobre o que o tecno-otimismo significa para mim. Isso inclui a visão de mundo mais ampla que motiva o meu trabalho em certos tipos de aplicações de blockchain e criptografia e tecnologia social, bem como outras áreas da ciência nas quais tenho manifestado interesse. No entanto, as perspectivas sobre esta questão mais ampla também têm implicações para a IA e para muitos outros campos. Os nossos avanços rápidos na tecnologia provavelmente serão a questão social mais importante no século XXI, por isso é importante pensarmos cuidadosamente sobre eles.

Índice

• A tecnologia é incrível e existem custos muito elevados em atrasá-la
  • O ambiente e a importância da intenção coordenada
• A IA é fundamentalmente diferente de outras tecnologias e vale a pena ser cuidadosamente única
  • O risco existencial é uma grande questão
  • Mesmo que sobrevivamos, um futuro de superinteligência AI é um mundo em que queremos viver?
  • O céu está perto, o imperador está em todo lugar
• d/acc: Aceleração defensiva (ou descentralização, ou diferencial)
  • Mundos favoráveis à defesa ajudam a prosperar uma governança saudável e democrática
  • Defesa física macro
  • Defesa microfísica (também conhecida como bio)
  • Ciberdefesa, blockchains e criptografia
  • Defesa de informação
  • Tecnologia social para além da moldura de "defesa"
• Então, quais são os caminhos a seguir para a superinteligência?
  • Um caminho feliz: fundir-se com os AIs?
• O d/acc é compatível com a sua filosofia existente?
• Nós somos a estrela mais brilhante

A tecnologia é incrível, e há custos muito altos para atrasá-la

Em alguns círculos, é comum minimizar os benefícios da tecnologia e vê-la principalmente como uma fonte de distopia e risco. Durante o último meio século, isso frequentemente decorreu de preocupações ambientais ou da preocupação de que os benefícios se acumularão apenas para os ricos, que consolidarão seu poder sobre os pobres. Mais recentemente, também comecei a ver libertários preocupados com algumas tecnologias, com medo de que a tecnologia leve à centralização do poder. Este mês, eu algumas pesquisasfazendo a seguinte pergunta: se uma tecnologia tivesse que ser restrita, porque era muito perigosa para ser libertada para qualquer pessoa usar, eles prefeririam que fosse monopolizada ou adiada por dez anos? Fiquei surpreendido ao ver, em três plataformas e três escolhas para quem seria o monopolista, um voto esmagador uniforme por um atraso.

E assim, por vezes, preocupo-me que tenhamos corrigido em excesso e muitas pessoas sintam falta do outro lado do argumento: que o benefícios da tecnologiasãorealmente friggin maciço, nos eixos em que podemos medi-lo, o bem supera em muito o mal, e os custos mesmo de uma década de atraso são incrivelmente altos.

Para dar um exemplo concreto, vamos olhar para um gráfico de expectativa de vida:

O que vemos? Ao longo do último século, um progresso verdadeiramente massivo. Isto é verdade em todo o mundo, tanto nas regiões historicamente ricas e dominantes como nas regiões pobres e exploradas.

Alguns culpam a tecnologia por criar ou exacerbar calamidades como o totalitarismo e as guerras. Na verdade, podemos ver as mortes causadas pelas guerras nos gráficos: uma na década de 1910 (1ª Guerra Mundial) e outra na década de 1940 (2ª Guerra Mundial). Se olharmos atentamente, a Gripe Espanhola, o Grande Salto Adiante e outras tragédias não militares também são visíveis. Mas há uma coisa que o gráfico torna claro: até calamidades tão horríveis como essas são superadas pela magnitude pura da marcha incessante das melhorias em comida, Saneamento, medicinae infraestrutura que ocorreu ao longo desse século.

Isto é espelhado por grandes melhorias nas nossas vidas diárias. Graças à internet, a maioria das pessoas ao redor do mundoter acesso a informações ao alcance dos dedos que seriam inacessíveis há vinte anos. A economia global está se tornando mais acessível graças às melhorias nos pagamentos internacionais e finanças. A pobreza global está a cair rapidamente. Graças aos mapas online, já não precisamos de nos preocupar em nos perder na cidade, e se precisar de voltar para casa rapidamente, agora temos formas muito mais fáceis de chamar um carro para o fazer. A nossa propriedade está a tornar-se digitalizada, e a nossa bens físicos a tornarem-se baratos, significa que temos muito menos a temer do roubo físico. As compras online reduziram a disparidade no acesso a bens entre as megacidades globais e o resto do mundo. De várias maneiras, a automatização nos trouxe o benefício eternamente subestimado de simplesmente fazer as nossas vidas mais convenientes.

Estas melhorias, tanto quantificáveis como não quantificáveis, são grandes. E no século XXI, há uma boa probabilidade de que melhorias ainda maiores estejam prestes a chegar. Hoje, o fim do envelhecimento e da doença parecem utópicos. Mas do ponto de vista de computadores tal como existiam em 1945, a era moderna de colocar chips em praticamente tudo teria parecido utópica: até mesmo os filmes de ficção científica frequentemente mantinham seus computadores do tamanho de uma sala. Se a biotecnologia avançar tanto nos próximos 75 anos quanto os computadores avançaram nos últimos 75 anos, o futuro pode ser mais impressionante do que as expectativas de quase qualquer pessoa.

Entretanto, os argumentos que expressam ceticismo sobre o progresso muitas vezes foram para lugares sombrios. Até mesmo manuais médicos, como este nos anos 1990 (crédito Emma Szewczakpara encontrá-lo), às vezes fazem reivindicações extremas negando o valor de dois séculos de ciência médica e até argumentando que não é obviamente bom salvar vidas humanas:

O "limites ao crescimento"tese, uma ideia avançada na década de 1970 argumentando que a crescente população e indústria acabariam por esgotar os recursos limitados da Terra, acabou por inspirarPolítica de filho único da Chinaeesterilizações forçadas maciças na Índia. Em épocas anteriores, as preocupações com a superpopulação eram usadas para justificarmassassassinato. E essas ideias, argumentaram desde 1798, têm uma longa história de estar provado errado.

É por razões como estas que, como ponto de partida, me sinto muito desconfortável com argumentos para abrandar a tecnologia ou o progresso humano. Dado o quanto todos os setores estão interligados, até os abrandamentos setoriais são arriscados. E assim, quando escrevo coisas como o que direi mais tarde neste post, afastando-me do entusiasmo aberto pelo progresso, independentemente da sua forma, essas são declarações que faço com um coração pesado - e ainda assim, o século XXI é diferente e único o suficiente para que essas nuances valham a pena considerar.

Dito isto, há um ponto importante de subtileza a ser feito na imagem mais ampla, especialmente quando passamos da ideia de que "a tecnologia como um todo é boa" e chegamos ao tópico de "quais tecnologias específicas são boas?" E aqui precisamos abordar a preocupação principal de muitas pessoas: o meio ambiente.

O ambiente e a importância da intenção coordenada

Um grande exceçãopara a tendência de praticamente tudo estar melhorando nos últimos cem anos é a mudança climática:

Mesmo os cenários pessimistas de aumentos contínuos de temperatura não chegariam perto de causar a extinção literal da humanidade. Mas tais cenários poderiam plausivelmente matar mais pessoas do que grandes guerras e prejudicar gravemente a saúde e os meios de subsistência das pessoas nas regiões onde as pessoas já estão lutando mais.Um estudo do instituto Swiss Resugere que um cenário de mudanças climáticas no pior dos casos poderia diminuir o PIB dos países mais pobres do mundo em até 25%.Este estudosugere que os períodos de vida nas áreas rurais da Índia podem ser uma década mais baixos do que seriam de outra forma, e estudos como esteeestesugiro que as alterações climáticas possam causar cem milhões de mortes em excesso até ao final do século.

Estes problemas são um grande negócio. A minha resposta sobre por que estou otimista em relação à nossa capacidade de superar esses desafios é dupla. Em primeiro lugar, após décadas de exagero e pensamento fantasioso, energia solaréfinalmentevirandoum canto, e tecnologias de apoio como bateriasestão fazendo progressos semelhantes. Em segundo lugar, podemos analisar o histórico da humanidade na resolução de problemas ambientais anteriores. Tome, por exemplo, a poluição do ar. Conheça a distopia do passado: o Grande Nevoeiro de Londres, 1952.

O que aconteceu desde então? Vamos perguntar novamente ao Nosso Mundo em Dados:

Como se vê, 1952 nem foi o pico: no final do século 19, concentrações ainda maiores de poluentes atmosféricos eram apenas aceitas e normais. Desde então, vimos um século de declínios contínuos e rápidos. Eu pude experimentar pessoalmente o fim disso em minhas visitas à China: em 2014, altos níveis de smog no ar, estimado para reduzir a expectativa de vida em mais de cinco anos, eram normais, mas em 2020, o ar muitas vezes parecia tão limpo quanto muitas cidades ocidentais. Esta não é a nossa única história de sucesso. Em muitas partes do mundo, áreas florestais estão a aumentar. A crise da chuva ácida está a melhorar. The a camada de ozono tem vindo a recuperardurante décadas.

Para mim, a moral da história é esta. Muitas vezes, é realmente o caso de que a versão N da tecnologia da nossa civilização causa um problema, e a versão N+1 o resolve. No entanto, isso não acontece automaticamente e requer esforço humano intencional. A camada de ozono está a recuperar porque, através de acordos internacionais como o Protocolo de Montreal, conseguimos recuperá-lo. A poluição do ar está a melhorar porque fizemos com que melhorasse. E da mesma forma, os painéis solares não melhoraram em grande escala porque era uma parte preestabelecida da árvore tecnológica da energia; os painéis solares melhoraram em grande escala porque décadas de consciencialização da importância de resolver as alterações climáticas motivaram tanto os engenheiros a trabalhar no problema, como as empresas e os governos a financiar a sua investigação. É uma ação intencional, coordenada através do discurso público e da cultura que molda as perspetivas dos governos, cientistas, filantropos e empresas, e não umamáquina de “tecnocapital” inexorável, que tinha resolvido esses problemas.

A IA é fundamentalmente diferente de outras tecnologias e vale a pena ser cuidadosamente única

Muitas das opiniões desdenhosas que tenho visto sobre a IA vêm da perspetiva de que é “apenas mais uma tecnologia”: algo que está na mesma classe geral de coisas como as redes sociais, a criptografia, a contraceção, os telefones, os aviões, as armas, a imprensa e a roda. Estas coisas são claramente muito socialmente consequentes. Não são apenas melhorias isoladas no bem-estar dos indivíduos: transformam radicalmente a cultura, alteram os equilíbrios de poder e prejudicam as pessoas que dependiam fortemente da ordem anterior. Muitasopôs-se a eles. E, no cômputo geral, os pessimistas têm-se revelado invariavelmente errados.

Mas há uma maneira diferente de pensar no que é a IA: é um novo tipo de mente que está rapidamente ganhando em inteligência e tem uma séria chance de ultrapassar as faculdades mentais dos humanos e se tornar a nova espécie dominante no planeta. A classe de coisas nessa categoria é muito menor: poderíamos incluir plausivelmente os humanos ultrapassando os macacos, a vida pluricelular ultrapassando a vida unicelular, a origem da própria vida, e talvez a Revolução Industrial, na qual a máquina superou o homem em força física. De repente, parece que estamos a caminhar em terreno muito menos pisado.

O risco existencial é algo sério

Uma maneira pela qual a IA deu errado pode piorar o mundo é (quase) da pior maneira possível: poderia literalmente causar a extinção humanaEsta é uma reivindicação extrema: tanto dano quanto o cenário mais extremo das alterações climáticas, ou uma pandemia artificial ou uma guerra nuclear, possam causar, existem muitas ilhas de civilização que permaneceriam intactas para recolher os pedaços. Mas uma IA superinteligente, se decidir virar-se contra nós, pode muito bem não deixar sobreviventes e acabar com a humanidade para sempre. Mesmo Marte pode não ser seguro.

Uma grande razão para se preocupar gira em torno deconvergência instrumental: para uma ampla classe de objetivos que uma entidade superinteligente poderia ter, dois passos intermediários muito naturais que a IA poderia tomar para alcançar melhor esses objetivos são (i) consumir recursos e (ii) garantir a sua segurança. A Terra contém muitos recursos e os seres humanos são um ameaça previsível para a segurança dessa entidade. Poderíamos tentar dar à IA um objetivo explícito de amar e proteger os seres humanos, mas temos sem ideiacomona verdadefazerissode uma forma que não quebre completamente assim que o AIse depara com uma situação inesperada. Logo, temos um problema.

A tentativa do pesquisador MIRI Rob Bensingerao ilustrar as diferentes estimativas das pessoas sobre a probabilidade de que a IA mate todos ou faça algo quase tão ruim. Muitas das posições são aproximações grosseiras com base em declarações públicas das pessoas, mas muitas outras deram publicamente suas estimativas precisas; muitas têm uma "probabilidade de ruína" acima de 25%.

Um pesquisa com pesquisadores de aprendizado de máquinaa partir de 2022 mostrou que, em média, os pesquisadores acham que há uma chance de 5-10% de que a IA literalmente nos mate a todos: aproximadamente a mesma probabilidade esperada estatisticamente quemorrerás de causas não biológicas como ferimentos.

Esta é toda uma hipótese especulativa, e todos devemos ter cuidado com hipóteses especulativas que envolvem histórias complexas de vários passos. No entanto, estes argumentos sobreviveram a mais de uma década de escrutínio, e assim, parece valer a pena preocupar-se pelo menos um pouco. Mas mesmo que não esteja preocupado com a extinção literal, existem outras razões para ter medo também.

Mesmo que sobrevivamos, é um futuro de IA superinteligente um mundo em que queremos viver?

Muita da ficção científica moderna é distópica e pinta a IA de forma negativa. Mesmo tentativas não ficcionais de identificar possíveis futuros da IA frequentemente dão respostas bastante desinteressantesE assim, andei por aí e fiz a pergunta: qual é a representação, seja de ficção científica ou não, de um futuro que contenha uma IA superinteligente na qual gostaríamos de viver. A resposta que mais frequentemente surgiu foi a de Iain Banks.Série Cultura.

A série Culture apresenta uma civilização interestelar de futuro distante ocupada principalmente por dois tipos de atores: humanos comuns e IAs superinteligentes chamadas Minds. Os seres humanos foram aumentados, mas apenas ligeiramente: a tecnologia médica teoricamente permite que os humanos vivam indefinidamente, mas a maioria opta por viver apenas por cerca de 400 anos, aparentemente porque se cansa da vida nesse ponto.

De uma perspectiva superficial, a vida como ser humano parece ser boa: é confortável, as questões de saúde são tratadas, há uma grande variedade de opções de entretenimento, e há uma relação positiva e sinérgica entre os humanos e as Mentes. No entanto, quando olhamos mais a fundo, há um problema: parece que as Mentes estão completamente no comando, e o único papel dos humanos nas histórias é agir como peões das Mentes, realizando tarefas em seu nome.

Citação de “Contra a Cultura” de Gavin Leech:

Os humanos não são os protagonistas. Mesmo quando os livros parecem ter um protagonista humano, fazendo coisas sérias e grandes, na verdade, eles são o agente de uma IA. (Zakalwe é uma das poucas exceções, porque ele pode fazer coisas imorais que as Mentes não querem fazer.) "As Mentes na Cultura não precisam dos humanos, e ainda assim os humanos precisam de ser necessários." (Acredito que apenas um pequeno número de humanos precisa de ser necessário - ou, apenas um pequeno número deles precisa disso o suficiente para renunciar aos muitos confortos. A maioria das pessoas não vive nessa escala. Ainda é uma crítica válida.)

Os projetos que os humanos assumem correm o risco de inautenticidade. Quase tudo o que fazem, uma máquina poderia fazer melhor. O que podes fazer? Podes ordenar à Mente para não te apanhar se caíres do penhasco que estás a escalar-apenas-porque; podes apagar as cópias de segurança da tua mente para que estejas realmente a arriscar. Também podes simplesmente deixar a Cultura e voltar a juntar-te a alguma civilização "fortemente avaliativa" e antiquada. A alternativa é evangelizar a liberdade ao juntar-te ao Contacto.

Eu argumentaria que até os papéis “significativos” que os humanos têm na série Culture são um exagero; perguntei ao ChatGPT (quem mais?) por que os humanos têm os papéis que têm, em vez de as Mentes fazerem tudo completamente sozinhas, e pessoalmente achei suas respostasbastante dececionante. Parece muito difícil ter um mundo dominado por uma superinteligência artificial “amigável” onde os humanos não sejam nada mais do que animais de estimação.

O mundo que eu não quero ver.

Muitas outras séries de ficção científica postulam um mundo onde IA superinteligentes existem, mas obedecem a mestres humanos biológicos (não melhorados). Star Trek é um bom exemplo, mostrando uma visão de harmonia entre as espaçonaves com seusIA "computadores"(eDados) e os tripulantes dos seus operadores humanos. No entanto, isso parece um equilíbrio incrivelmente instável. O mundo de Star Trek parece idílico no momento, mas é difícil imaginar sua visão das relações homem-IA como algo que não seja um estágio de transição uma década antes de as naves estelares se tornarem totalmente controladas por computador e poderem parar de se incomodar com grandes corredores, gravidade artificial e controle climático.

Um ser humano dando ordens a uma máquina superinteligente seria muito menos inteligente do que a máquina, e teria acesso a menos informação. Em um universo que tem qualquer grau de competição, as civilizações onde os humanos ficam em segundo plano superariam aquelas onde os humanos teimam em insistir no controle. Além disso, os próprios computadores podem tomar o controle. Para entender o porquê, imagine que você é legalmente um escravo literal de uma criança de oito anos. Se você pudesse falar com a criança por um longo tempo, você acha que poderia convencer a criança a assinar um pedaço de papel libertando-o? Não realizei esta experiência, mas a minha resposta instintiva é um forte sim. E assim, em suma, os seres humanos se tornando animais de estimação parece um atrator que é muito difícil de escapar.

O céu está perto, o imperador está em toda parte

O provérbio chinês 天高皇帝远 ("tian gao huang di yuan"), "o céu é alto, o imperador está longe", encapsula um fato básico sobre os limites da centralização na política. Mesmo em um império nominalmente grande e despótico - na verdade, especialmente se o império despótico for grande, há limites práticos para o alcance e atenção da liderança, a necessidade da liderança de delegar a agentes locais para impor sua vontade dilui sua capacidade de impor suas intenções, e assim sempre há lugares onde um certo grau de liberdade prática reina. Às vezes, isso pode ter desvantagens: a ausência de um poder distante impondo princípios e leis uniformes pode criar espaço para hegemons locais roubar e oprimir. Mas se o poder centralizado se corromper, limitações práticas de atenção e distância podem criar limites práticos para quão ruim as coisas podem ficar.

Com a IA, não mais. No século XX, a tecnologia de transporte moderna tornou as limitações de distância um constrangimento muito mais fraco para o poder centralizado do que antes; os grandes impérios totalitários da década de 1940 foram, em parte, um resultado. No século XXI, a coleta escalável de informações e a automação podem significar que a atenção também não será mais um constrangimento. As consequências do desaparecimento de limites naturais para o governo poderiam ser terríveis.

O autoritarismo digital tem sidoem ascensão há uma década, e a tecnologia de vigilância já deu aos governos autoritários novas estratégias poderosas para reprimir a oposição: deixar os protestos acontecerem, mas depois detetar e ir atrás silenciosamenteos participantesdepois do facto. Mais geralmente, meu medo básico é que os mesmos tipos de tecnologias de gestão que permitem à OpenAI servir mais de cem milhões de clientes com 500 funcionáriostambém permitirá a uma elite política de 500 pessoas, ou mesmo a um conselho de 5 pessoas, manter um punho de ferro sobre um país inteiro. Com vigilância moderna para recolher informações e IA moderna para interpretá-las, pode não haver lugar para se esconder.

A situação piora quando pensamos nas consequências da IA na guerra. Citando um semi-famous postsobre a filosofia da IA e cripto por0xAlpha:

Quando não há necessidade de trabalho político-ideológico e mobilização para a guerra, o comandante supremo da guerra só precisa considerar a situação em si como se fosse um jogo de xadrez e ignorar completamente os pensamentos e emoções dos peões/cavalos/torres no tabuleiro de xadrez. A guerra se torna um jogo puramente tecnológico.

Além disso, o trabalho político-ideológico e a mobilização bélica exigem uma justificação para qualquer um fazer guerra. Não subestime a importância dessa "justificação". Tem sido um constrangimento de legitimidade às guerras na sociedade humana há milhares de anos. Quem quer fazer guerra tem de ter uma razão, ou pelo menos uma desculpa superficialmente justificável. Poder-se-ia argumentar que este constrangimento é tão fraco porque, em muitos casos, não passou de uma desculpa. Por exemplo, algumas (se não todas) das Cruzadas eram realmente para ocupar terras e roubar riquezas, mas elas tinham que ser feitas em nome de Deus, mesmo que a cidade que estava sendo roubada fosse Constantinopla de Deus. No entanto, mesmo uma restrição fraca ainda é uma restrição! Este pequeno requisito de desculpa por si só realmente impede que os fabricantes de guerra sejam completamente inescrupulosos em alcançar seus objetivos. Mesmo um mal como Hitler não poderia simplesmente lançar uma guerra logo de cara – ele teve que passar anos primeiro tentando convencer a nação alemã a lutar pelo espaço vital para a nobre raça ariana.

Hoje, o "humano no circuito" serve como um importante controle sobre o poder de um ditador para iniciar guerras, ou para oprimir seus cidadãos internamente. Os seres humanos no loop têm impedidonuclearguerras, permitiu a abertura do Muro de Berlim, e salvou vidas durante atrocidadesgostaro Holocausto. Se os exércitos forem robôs, este controle desaparece completamente. Um ditador poderia embriagar-se às 22h, ficar zangado com as pessoas sendo más para ele no Twitter às 23h e uma frota de invasão robótica poderia atravessar a fronteira para lançar fogo do inferno sobre os civis e infraestrutura de uma nação vizinha antes da meia-noite.

E ao contrário de eras anteriores, onde sempre havia algum canto distante, onde o céu é alto e o imperador está longe, onde os oponentes de um regime poderiam reagrupar-se, esconder-se e eventualmente encontrar uma maneira de melhorar as coisas, com a IA do século XXI um regime totalitário pode muito bem manter vigilância e controle suficientes sobre o mundo para permanecer "bloqueado" para sempre.

d/acc: Aceleração defensiva (ou descentralização, ou diferencial)

Nos últimos meses, o movimento "e/acc" ("aceleracionista eficaz") ganhou muito ímpeto.Resumido por "Beff Jezos" aqui, e/acc é fundamentalmente sobre uma apreciação dos enormes benefícios verdadeiramente massivos do progresso tecnológico e o desejo de acelerar essa tendência para trazer esses benefícios mais cedo.

Acho-me simpático à perspetiva da Gate em muitos contextos. Há muitas evidências de que a FDA é demasiado conservadorana sua disposição para atrasar ou bloquear a aprovação de medicamentos, e a bioética em geral muitas vezes parece operar pelo princípio de que "20 pessoas mortas num experimento médico que correu mal é uma tragédia, mas 200000 pessoas mortas devido ao atraso de tratamentos que salvam vidas é uma estatística". Os atrasos na aprovaçãotestes de covid e vacinas, e vacinas contra a malária, parecem confirmar ainda mais isso. No entanto, é possível levar essa perspetiva longe demais.

Para além das minhas preocupações relacionadas com a IA, sinto-me particularmente ambivalente em relação ao e/acc entusiasmoparatecnologia militar. No contexto atual em 2023, onde esta tecnologia está a ser desenvolvida pelos Estados Unidos e imediatamente aplicada para defender a Ucrânia, é fácil ver como ela pode ser uma força para o bem. No entanto, olhando de forma mais ampla, o entusiasmo em relação à tecnologia militar moderna como uma força para o bem parece exigir acreditar que a potência tecnológica dominante será fiavelmente uma das boas em conflitos, agora e no futuro: a tecnologia militar é boa porque está a ser construída e controlada pela América e a América é boa. Será que ser um e/acc requer ser um maximalista americano, apostando tudo tanto na moral presente e futura do governo como no sucesso futuro do país?

Por outro lado, vejo a necessidade de novas abordagens ao pensar em como reduzir esses riscos. The Estrutura de governança da OpenAIé um bom exemplo: parece ser um esforço bem intencionado para equilibrar a necessidade de obter lucro para satisfazer os investidores que fornecem o capital inicial com o desejo de ter um mecanismo de verificação para contrariar movimentos que arriscam que o OpenAI exploda o mundo. Na prática, contudo, a sua recente tentativa de despedir Sam Altmanfaz com que a estrutura pareça um fracasso abjeto: centralizou o poder em um conselho de cinco pessoas antidemocrático e sem responsabilidade, que tomou decisões-chave com base em informações secretas e recusou-se a fornecer detalhes sobre seu raciocínioaté os funcionários ameaçaram sairem massa. De alguma forma, o conselho sem fins lucrativos jogou suas cartas tão mal que os funcionários da empresa criadoumaunião de facto improvisada…apoiar o CEO bilionário contra eles.

Globalmente, vejo demasiados planos para salvar o mundo que envolvem dar a um pequeno grupo de pessoas poder extremo e opaco e esperar que o usem com sabedoria. E assim encontro-me atraído por uma filosofia diferente, que tem ideias detalhadas sobre como lidar com os riscos, mas que procura criar e manter um mundo mais democrático e tenta evitar a centralização como a solução para os nossos problemas. Esta filosofia também vai muito além da IA, e argumentaria que se aplica mesmo em mundos onde as preocupações com os riscos da IA se revelam em grande parte infundadas. Vou referir-me a esta filosofia pelo nome de d/acc.

dacc3

O "d" aqui pode significar muitas coisas; especialmente, defesa, descentralização, democracia e diferencial. Primeiro, pense nisso em relação à defesa e depois podemos ver como isso se relaciona com as outras interpretações.

Mundos favoráveis à defesa ajudam a prosperar a governação saudável e democrática

Um quadro para pensar sobre as consequências macro da tecnologia é olhar para o equilíbrio entre defesa e ataque. Algumas tecnologias tornam mais fácil atacar outros, no sentido amplo do termo: fazer coisas que vão contra os seus interesses, que os fazem sentir a necessidade de reagir. Outras tornam mais fácil a defesa, e até mesmo defender sem depender de grandes atores centralizados.

Um mundo favorável à defesa é um mundo melhor, por muitas razões. Primeiro, claro, está o benefício direto da segurança: menos pessoas morrem, menos valor econômico é destruído, menos tempo é desperdiçado em conflitos. O que é menos apreciado, no entanto, é que um mundo favorável à defesa torna mais fácil para formas de governação mais saudáveis, abertas e respeitadoras da liberdade prosperarem.

Um exemplo óbvio disso é a Suíça. A Suíça é frequentemente considerada como a coisa mais próxima que o mundo real tem de uma utopia de governança liberal-clássica. Grandes quantidades de poder são delegadas para as províncias (chamadas de "cantões"), decisões importantes são decidido por referendos, e muitos locais nem sequer sei quem é o presidente. Como pode um país como este sobreviver extremamente desafiantepolíticopressões? Parte do respostaéexcelente estratégia política, mas a outra parte principal é geografia muito favorável à defesa) sob a forma do seu terreno montanhoso.

A bandeira é uma grande vantagem. Mas também são as montanhas.

Sociedades anarquistas em Zomia, famosamente perfiladas no novo livro de James C. Scott "A Arte de Não Ser Governado", são outro exemplo: eles também mantêm sua liberdade e independência em grande parte graças ao terreno montanhoso. Enquanto isso, as estepes eurasiáticas são o oposto exato de uma utopia de governança. A exposição de Sarah Painepotências marítimas versus continentaisfaz pontos semelhantes, embora se concentre na água como uma barreira defensiva em vez de montanhas. Na verdade, a combinação da facilidade de comércio voluntário e da dificuldade de invasão involuntária, comum tanto à Suíça quanto aos estados insulares, parece ideal para o florescimento humano.

Descobri um fenômeno relacionado ao aconselhar experimentos de financiamento quadrático dentro do ecossistema do Ethereum: especificamente o Rondas de financiamento do Gatecoin Grants. Em rodada 4, um mini-escândalo surgiu quando alguns dos maiores beneficiários foram influenciadores do Twitter, cujas contribuições são vistas por alguns como positivas e por outros como negativas. Minha própria interpretação deste fenômeno foi que há um desequilíbrio: financiamento quadráticopermite-lhe sinalizar que pensa que algo é um bem público, mas não oferece forma de sinalizar que algo é um mal público. No extremo, um sistema de financiamento quadrático totalmente neutro financiaria ambos os lados de uma guerra. E assim para rodada 5, Propus que o Gate.io incluísse contribuições negativas: você paga $1 para reduzir a quantidade de dinheiro que um determinado projeto recebe (e implicitamente redistribuí-lo para todos os outros projetos). O resultado: muitosdepessoasodieiisso.

Uma das muitas memes da internet que circularam após a quinta rodada.

Isso pareceu-me ser um microcosmo de um padrão maior: criar mecanismos de governação descentralizada para lidar com externalidades negativas é socialmente um problema muito difícil. Há uma razão pela qual o exemplo padrão de governação descentralizada que corre mal é a justiça popular. Háalgo sobre psicologia humanaisso torna a resposta aos aspectos negativos muito mais complicada e muito mais propensa a correr muito mal, do que a resposta aos aspectos positivos. E esta é uma razão pela qual, mesmo em organizações altamente democráticas, as decisões sobre como responder aos aspectos negativos são frequentemente deixadas a um conselho centralizado.

Em muitos casos, este dilema é uma das razões profundas pelas quais o conceito de “liberdade” é tão valioso. Se alguém diz algo que o ofende, ou tem um estilo de vida que considera repugnante, a dor e o nojo que sente são reais, e até pode achar menos mau ser agredido fisicamente do que ser exposto a tais coisas. No entanto, tentar concordar sobre que tipos de ofensa e repugnância são socialmente passíveis de ação pode ter custos e perigos muito maiores do que simplesmente lembrarmo-nos de que certos tipos de excêntricos e idiotas são o preço que pagamos por viver numa sociedade livre.

Em outras ocasiões, no entanto, a abordagem de "aguentar e suportar" é irrealista. E em tais casos, outra resposta que às vezes vale a pena considerar é a tecnologia defensiva. Quanto mais seguro for a internet, menos precisamos violar a privacidade das pessoas e usar táticas diplomáticas internacionais duvidosas para perseguir cada hacker individualmente. Quanto mais pudermos construir ferramentas personalizadas para bloquear pessoas no Twitter, ferramentas no navegador para detetar fraudeseferramentas coletivas para distinguir a desinformaçãoeverdade, quanto menos tivermos que lutar contra a censura. Quanto mais rápido pudermos produzir vacinas, menos teremos que perseguir as pessoas por serem superespalhadores. Tais soluções não funcionam em todos os domínios - certamente não queremos um mundo onde todos têm que usar armadura corporal literal - mas em domínios onde podemos construir tecnologia para tornar o mundo mais favorável à defesa, há um valor enorme em fazê-lo.

Esta ideia central, de que algumas tecnologias favorecem a defesa e merecem ser promovidas, enquanto outras tecnologias favorecem o ataque e devem ser desencorajadas, tem raízes na literatura do altruísmo eficaz sob um nome diferente: desenvolvimento tecnológico diferencial. Há um bom exposição deste princípio de pesquisadores da Universidade de Oxford A partir de 2022:

Figura 1: Mecanismos pelos quais o desenvolvimento diferencial de tecnologia pode reduzir os impactos negativos na sociedade.

Inevitavelmente, haverá imperfeições na classificação de tecnologias como ofensivas, defensivas ou neutras. Assim como acontece com a “liberdade”, onde se pode debater se as políticas governamentais social-democratas diminuem a liberdade ao impor altos impostos e coagir os empregadores ou aumentam a liberdade ao reduzir a necessidade das pessoas comuns se preocuparem com diversos tipos de riscos, com a “defesa” também existem tecnologias que poderiam situar-se em ambos os lados do espectro. As armas nucleares favorecem o ataque, mas a energia nuclear éfavorecendo o florescimento humanoe ofensiva-defensiva-neutra. Diferentes tecnologias podem desempenhar papéis diferentes em horizontes temporais diferentes. Mas, tal como acontece com a “liberdade” (ou “igualdade”, ou “estado de direito”), a ambiguidade nas margens não é tanto um argumento contra o princípio, mas sim uma oportunidade para entender melhor as suas nuances.

Agora, vamos ver como aplicar este princípio a uma visão do mundo mais abrangente. Podemos pensar em tecnologia defensiva, como outra tecnologia, ao ser dividido em duas esferas: o mundo dos átomos e o mundo dos bits. O mundo dos átomos, por sua vez, pode ser dividido em micro (ou seja, biologia, mais tarde nanotecnologia) e macro (ou seja, o que convencionalmente pensamos como “defesa”, mas também infraestrutura física resiliente). O mundo dos bits eu vou dividir em um eixo diferente: quão difícil é concordar, em princípio, quem é o atacante?. Às vezes é fácil; chamo isso de defesa cibernética. Outras vezes é mais difícil; chamo isso de defesa de informação.

Defesa física macro

A tecnologia defensiva mais subestimada na esfera macro nem sequerdomos de ferro(incluindonovo sistema da Ucrânia) e outro hardware militar anti-tecnológico e antimíssil, mas sim infraestrutura física resiliente. A maioria das mortes de uma guerra nuclear provavelmente virá de disrupções na cadeia de abastecimento, em vez da radiação inicial e da explosão, e soluções de internet de baixa infraestrutura como o Starlink têm sido cruciais emmanter a conectividade da Ucrâniadurante o último ano e meio.

Construir ferramentas para ajudar as pessoas a sobreviver e até mesmo viver confortavelmente de forma independente ou semi-independente das longas cadeias de abastecimento internacionais parece ser uma tecnologia defensiva valiosa, e com um baixo risco de se revelar útil para a ofensiva.

A busca paratornar a humanidade uma civilização multiplanetáriaTambém pode ser visto a partir de uma perspetiva de d/acordo: ter pelo menos alguns de nós a viver de forma auto-suficiente noutros planetas pode aumentar a nossa resiliência contra algo terrível que aconteça na Terra. Mesmo que a visão completa se prove inviável por agora, as formas de vida auto-suficiente que precisarão de ser desenvolvidas para tornar tal projeto possível podem muito bem ser utilizadas para ajudar a melhorar a nossa resiliência civilizacional na Terra.

Defesa microfísica (também conhecida como bio)

Especialmente devido à sua efeitos a longo prazo na saúde, A Covid continua a ser uma preocupação. Mas a Covid está longe de ser a última pandemia que enfrentaremos; há muitos aspectos do mundo moderno que tornam provável que em breve ocorram mais pandemias:

• Maior densidade populacional torna muito mais fácil a propagação de vírus aéreos e outros patógenos. As doenças epidêmicas são relativamente recentes na história humana e a maioria começou com a urbanizaçãoapenas alguns milhares de anos atrás. Urbanização urbana rápida em cursosignifica que as densidades populacionais aumentarão ainda mais ao longo do próximo meio século.
• O aumento das viagens aéreas significa que os patógenos transmitidos pelo ar se espalham muito rapidamente pelo mundo. As pessoas estão a tornar-se rapidamente mais ricas, o que significa que as viagens aéreas provavelmenteaumentar muito maisao longo do próximo meio século; a modelagem de complexidade sugere que mesmo pequenos aumentospode ter efeitos drásticos. A mudança climática pode aumentar ainda mais esse risco.
• A domesticação de animais e a criação em massa são grandes fatores de risco.Sarampo provavelmente evoluiu de um vírus de vaca há menos de 3000 anos. Fábricas de hojetambém estão cultivando novas estirpes de influenza (bem como alimentando a resistência aos antibióticos, com consequências paraimunidade inata humana).
• A bioengenharia moderna facilita a criação de agentes patogénicos novos e mais virulentos. COVID pode ou não ter sido divulgadode um laboratório a realizar investigação intencional sobre “ganho de função”. Independentemente,as fugas de laboratório acontecem o tempo todo, e as ferramentas estão a melhorar rapidamente para facilitar a criação intencional de vírus extremamente mortais, ou mesmo príons (proteínas zumbis. As pragas artificiais são particularmente preocupantes em parte porque ao contrário de nukes, são inatribuíveis: você pode lançar um vírus sem que ninguém consiga dizer quem o criou. É possível, neste momento, projetar uma sequência genética e enviá-la para um laboratório molhadopara síntese e enviá-la para si dentro de cinco dias.

Esta é uma área ondeCryptoReliefeBalvi, duas organizações surgiram e foram financiadas como resultado de um grande acidente chuva de moedas Shiba Inuem 2021, tem sido muito ativo. A CryptoRelief inicialmente concentrou-se em responder à crise imediata e, mais recentemente, tem vindo a construir um ecossistema de investigação médica a longo prazo na Índia, enquanto o Balvi tem-se concentrado em projetos ambiciosos para melhorar a nossa capacidade de detetar, prevenir e tratar a Covid e outras doenças transmitidas pelo ar. ++O Balvi tem insistido que os projetos que financia devem ser de código aberto++. Inspirando-se emo movimento de engenharia hidráulica do século XIX que derrotou a cólera e outros patógenos transmitidos pela água, financiou projetos em todo o espectro de tecnologias que podem tornar o mundo mais resistente contra patógenos transmitidos pelo ar por padrão (ver: atualização 1eatualizar 2), incluindo:

• Far-UVCirradiaçãoP&D
• Filtragem de ar e monitorização da qualidade em Índia, Sri Lanka, os Estados Unidose em outros lugares, e monitoramento da qualidade do ar
• Equipamento barato e eficazteste de qualidade do ar descentralizado
• Pesquisa sobre as causas do Long Covid e possíveis opções de tratamento (a causa principal pode ser diretomasmecanismos de esclarecimentoe encontrar tratamento é mais difícil)
• Vacinas (por exemplo, RaDVaC, PopVax) e pesquisa sobre lesões causadas por vacinas
• Um conjunto de ferramentas médicas totalmente novas e não invasivas
• Detecção precoce de epidemias usando análise de dados de código aberto (por exemplo, EPIWATCH)
• Testes, incluindo testes rápidos moleculares muito baratos
• Máscaras apropriadas para biossegurança quando outras abordagens falham

Outras áreas promissoras de interesse incluem vigilância de patógenos em águas residuais, melhorar a filtragem e ventilação em edifícios, e melhor compreensão e mitigação riscos de má qualidade do ar.

Existe uma oportunidade paraconstruir um mundoque é muito mais endurecido contra pandemias transmitidas pelo ar, tanto naturais quanto artificiais, por padrão. Este mundo teria um pipeline altamente otimizado onde podemos passar de uma pandemia começando, sendo automaticamente detectada, para pessoas ao redor do mundo tendo acesso a direcionado,vacinas de código aberto verificáveis e fabricáveis localmenteououtros profiláticos, administrado através denebulizaçãoouspray nasal(significado: autoadministrável se necessário, e sem necessidade de agulhas), tudo dentro de um mês. Entretanto, uma qualidade do ar muito melhor reduziria drasticamente a taxa de propagação e impediria que muitas pandemias se desenvolvessem.

Imagine um futuro que não precise recorrer ao martelo da compulsão social - sem mandatos e pior, e sem risco de mandatos mal concebidos e implementados que, alegadamente, pioram as coisas- porque a infraestrutura da saúde pública está integrada no tecido da civilização. Estes mundos são possíveis, e uma quantidade média de financiamento em bio-defesa poderia torná-los realidade. O trabalho seria ainda mais fluído se os desenvolvimentos fossem de código aberto, gratuitos para os utilizadores e protegidos como bens públicos.

Defesa cibernética, blockchains e criptografia

É geralmente entendido entre profissionais de segurança que o estado atual da segurança informática é bastante terrível. Dito isto, é fácil subestimar a quantidade de progresso que foi feito. Centenas de bilhões de dólares em criptomoedas estão disponíveis para serem roubados anonimamente por qualquer pessoa que consiga hackear as carteiras dos utilizadores e, enquanto muito mais se perde ou é roubadodo que eu gostaria, também é um facto que a maior parte dele permaneceu não-roubada por mais de uma década. Recentemente, houve melhorias:

• Chips de hardware confiáveis dentro dos telefones dos utilizadores, criando efetivamente um sistema operacional de alta segurança muito menor dentro do telefone que pode permanecer protegido mesmo se o resto do telefone for hackeado. Entre muitos outros casos de uso, esses chips estão cada vez mais sendo explorados como uma forma de tornar carteiras de criptomoedas mais seguras.
• Navegadores como o sistema operativo de facto. Nos últimos dez anos, tem havido uma mudança silenciosa das aplicações descarregáveis para as aplicações no navegador. Isto tem sido amplamente possibilitado por WebAssembly (WASM). Mesmo o Adobe Photoshop, há muito citado como uma das principais razões pelas quais muitas pessoas não conseguem usar o Linux na prática por causa de sua necessidade e incompatibilidade com o Linux, é agora compatível com o Linux por estar dentro do navegador. Isso também é uma grande vantagem em termos de segurança: enquanto navegadores têm falhas, em geral, eles vêm com muito mais sandboxing do que as aplicações instaladas: as apps não podem aceder a ficheiros arbitrários no seu computador.
• Sistemas operativos endurecidos.GrapheneOSpara mobile existe e é muito utilizável.QubesOSpara desktop existe; é atualmente um pouco menos utilizável do que Graphene, pelo menos na minha experiência, mas está a melhorar.
• Tentativas de ultrapassar as palavras-passe. As palavras-passe são, infelizmente, difíceis de proteger tanto porque são difíceis de lembrar, como porque eles são fáceis de escutarRecentemente, tem havido um movimento crescente em direção à redução da ênfase nas senhas e à adoção de autenticação baseada em hardware de vários fatoresrealmente funcionar.

No entanto, a falta de defesa cibernética em outras esferas também tem causado grandes contratempos. A necessidade de se proteger contra spam fez com que o email se tornasse muito oligopolista na prática, tornando muito difícil auto-hospedar ou criar um novo fornecedor de email. Muitos aplicativos online, incluindo o Twitter, estão a exigir que os utilizadores estejam autenticados para aceder ao conteúdo e a bloquear IPs de VPNs, tornando mais difícil aceder à internet de uma forma que proteja a privacidade. A centralização do software também é arriscada por causa de "interdependência armada": a tendência da tecnologia moderna de passar por pontos de estrangulamento centralizados, e para os operadores desses pontos de estrangulamento usarem esse poder para reunir informações, manipular resultados ou excluir atores específicos - uma estratégia que parece até ser atualmente empregadacontra a própria indústria blockchain.

Estas são tendências preocupantes, porque ameaça aquilo que historicamente tem sido uma das minhas grandes esperanças para o futuro da liberdade e da privacidade, apesar de profundas compensações, ainda pode revelar-se brilhante. No seu livro Futuro Imperfeito, David Friedman prevê que poderemos ter um futuro de compromisso: o mundo presencial seria cada vez mais vigiado, mas através da criptografia, o mundo online manteria, e até melhoraria, sua privacidade. Infelizmente, como vimos, tal contra-tendência está longe de ser garantida.

Esta é a minha própria ênfase em tecnologias criptográficas como blockchains e provas de conhecimento zeroentra. As blockchains permitem-nos criar estruturas económicas e sociais com um “disco rígido partilhado” sem depender de atores centralizados. As criptomoedas permitem que os indivíduos poupem dinheiro e realizem transações financeiras, como podiam fazer antes da internet com dinheiro, sem depender de terceiros de confiança que poderiam alterar as suas regras a seu bel-prazer. Podem também servir como mecanismo anti-sybil de recurso,tornar os ataques e o spam carosmesmo para os utilizadores que não têm ou não querem revelar a sua identidade no mundo real. Abstração de conta e, nomeadamente carteiras de recuperação socialpode proteger nossos ativos cripto e, potencialmente, outros ativos no futuro, sem depender demais de intermediários centralizados.

Provas de conhecimento zero podem ser usadas para privacidade, permitindo aos utilizadores provar coisas sobre si mesmos sem revelar informações privadas. Por exemplo, embrulhar um assinatura digital do passaportenum ZK-SNARK para provar que é um cidadão único de um país específico, sem revelar qual cidadão é. Tecnologias como esta podem permitir-nos manter os benefícios da privacidade e anonimato - propriedades amplamente reconhecidas como sendonecessário para aplicações como votação- enquanto ainda obtendo garantias de segurança e combatendo spam e atores maliciosos.

Um design proposto para um sistema de mídia social ZK, onde as ações de moderação podem acontecer e os usuários podem ser penalizados, tudo sem precisar saber a identidade de ninguém.

Zupass, incubado emZuzalumais cedo este ano, é um excelente exemplo disso na prática. Esta é uma aplicação, que já foi utilizada por centenas de pessoas na Zuzalu e mais recentemente por milhares de pessoas para venda de bilhetes em Devconnect, que permite que guardes bilhetes, membros, (não transferível) colecionáveis digitais e outras comprovações, e provar coisas sobre todos eles sem comprometer a sua privacidade. Por exemplo, pode provar que é um residente registado único de Zuzalu, ou um detentor de bilhete Devconnect, sem revelar mais nada sobre quem é. Estas provas podem ser mostradas pessoalmente, através de um código QR, ou digitalmente, para fazer login em aplicações como Zupoll, um sistema de votação anonimizado disponível apenas para residentes da Zuzalu.

Estas tecnologias são um excelente exemplo dos princípios de d/acc: permitem aos utilizadores e comunidades verificar a confiabilidade sem comprometer a privacidade e proteger a segurança sem depender de pontos de estrangulamento centralizados que impõem as suas próprias definições de quem é bom e quem é mau. Melhoram a acessibilidade global ao criar formas melhores e mais justas de proteger a segurança de um utilizador ou serviço do que as técnicas comuns usadas hoje, como discriminar países inteiros considerados não confiáveis. Estes são primitivos muito poderosos que podem ser necessários se quisermos preservar uma visão descentralizada da segurança da informação à medida que avançamos para o século XXI. Trabalhar em tecnologias defensivas para o ciberespaço de forma mais ampla pode tornar a internet mais aberta, segura e livre de maneiras muito importantes no futuro.

Info-defesa

A ciberdefesa, tal como a descrevi, diz respeito a situações em que é fácil para seres humanos razoáveis chegarem a um consenso sobre quem é o atacante. Se alguém tentar hackear a sua carteira, é fácil concordar que o hacker é o vilão. Se alguém tentar atacar um site com DoS, é fácil concordar que estão a ser maliciosos e não são moralmente iguais a um utilizador regular a tentar ler o que está no site. Existem outras situações em que as fronteiras são mais difusas. São as ferramentas para melhorar a nossa defesa nestas situações que eu chamo de “info-defesa”.

Por exemplo, a verificação de factos (também conhecida como prevenção de “desinformação”). Eu sou um grande fã de Notas da Comunidade, que fez muito para ajudar os utilizadores a identificar verdades e falsidades no que outros utilizadores estão a twittar. O Community Notes utiliza um novo algoritmo que não destaca as notas mais populares, mas sim as notas mais aprovadas pelos utilizadores em todo o espectro político.

Notas da Comunidade em ação.

Também sou fã dos mercados de previsão, que podem ajudar a identificar a importância dos eventos em tempo real, antes que a poeira assente e haja consenso sobre qual direção é qual.Polymarket em Sam Altmané muito útil para dar um resumo útil das consequências finais das revelações e negociações hora a hora, fornecendo contexto muito necessário para pessoas que apenas veem as notícias individuais e não entendem a importância de cada uma.

Os mercados de previsão são frequentemente falhos. Mas os influenciadores do Twitter que estão dispostos a expressar com confiança o que acham que "vai" acontecer no próximo ano são frequentemente ainda mais falhos. Ainda há espaço para melhorar muito mais os mercados de previsão. Por exemplo, uma grande falha prática dos mercados de previsão é o baixo volume em todos os eventos, exceto os mais importantes; uma direção natural para tentar resolver isso seria ter mercados de previsão que são jogados por IAs.

Dentro do espaço blockchain, há um tipo particular de defesa de informações sobre o qual penso que precisamos muito mais. Nomeadamente, as carteiras devem ser muito mais opinativas e ativas em ajudar os utilizadores a determinar o significado das coisas que estão a assinar e protegê-los de fraudes e golpes. Este é um caso intermédio: o que é e o que não é um golpe é menos subjetivo do que perspetivas sobre eventos sociais controversos, mas é mais subjetivo do que distinguir utilizadores legítimos de atacantes ou hackers DoS. O Metamask já possui uma base de dados de golpes e bloqueia automaticamente os utilizadores de visitar sites de golpes:

Aplicações como Fogosão um exemplo de uma forma de ir muito mais longe. No entanto, software de segurança como este não deve ser algo que requer instalações explícitas; deve fazer parte das carteiras de criptomoedas, ou até mesmo dos navegadores, por padrão.

Devido à sua natureza mais subjetiva, a info-defesa é inerentemente mais coletiva do que a ciberdefesa: é necessário de alguma forma conectar-se a um grupo grande e sofisticado de pessoas para identificar o que pode ser verdadeiro ou falso e que tipo de aplicação é um ponzi enganoso. Há uma oportunidade para os desenvolvedores irem muito mais longe no desenvolvimento de uma info-defesa eficaz e no fortalecimento das formas existentes de info-defesa. Algo como Notas da Comunidade poderia ser incluído nos navegadores e abranger não apenas plataformas de mídia social, mas também toda a internet.

Tecnologia social para além da moldura de “defesa”

Até certo ponto, posso ser justamente acusado de forçar a barra ao descrever algumas dessas tecnologias de informação como sendo sobre “defesa”. Afinal, defesa é sobre ajudar atores bem-intencionados a se protegerem de atores mal-intencionados (ou, em alguns casos, da natureza). Algumas dessas tecnologias sociais, no entanto, tratam de ajudar atores bem-intencionados a formar consenso.

Um bom exemplo disto é pol.is, que usa um algoritmo semelhante ao Community Notes (e que antecede o Community Notes) para ajudar as comunidades a identificar pontos de acordo entre sub-tribos que, de outra forma, discordam em muitos aspectos.Viewpoints.xyzfoi inspirado pelo pol.is e tem um espírito semelhante:

Tecnologias como esta poderiam ser usadas para permitir uma governança mais descentralizada sobre decisões controversas. Novamente, as comunidades blockchain são um bom campo de testes para isso e onde tais algoritmos já se mostraram valiosos. Geralmente, decisões sobre quais melhorias (“EIPsAs alterações ao protocolo Ethereum são feitas por um grupo bastante restrito em reuniões chamadas de Todas as chamadas dos desenvolvedores principaisPara decisões altamente técnicas, em que a maioria dos membros da comunidade não tem opiniões fortes, isso funciona razoavelmente bem. Para decisões mais consequentes, que afetam a economia do protocolo ou valores mais fundamentais como imutabilidade e resistência à censura, muitas vezes isso não é suficiente. Em 2016-17, quando uma série de decisões controversas sobre a implementação do garfo DAO, reduzindo a emissão e (não)descongelar a carteira Parity, ferramentas como Carbonvote, bem como a votação nas redes sociais, ajudaram a comunidade e os desenvolvedores a ver para que lado a opinião da maioria da comunidade estava se voltando.

Votação de carbono sobre o garfo DAO.

Carbonvoteteve suas falhas: contou com a posse de ETH para determinar quem era membro da comunidade Ethereum, tornando o resultado dominado por alguns detentores ricos de ETH (“baleias”). No entanto, com ferramentas modernas, poderíamos fazer um Carbonvote muito melhor, alavancando múltiplos sinais como POAPs, selos Zupass, Passaportes do Gitcoin, Adesões ao Protocolo Guild, bem como as participações em ETH (ou mesmo ETH solo-staked) para avaliar a adesão à comunidade.

Ferramentas como esta poderiam ser usadas por qualquer comunidade para tomar decisões de maior qualidade, encontrar pontos de comum acordo, coordenar migrações (físicas ou digitais) ou fazer uma série de outras coisas sem depender de liderança centralizada opaca. Isso não é aceleração de defesa por si só, mas certamente pode ser chamado de aceleração da democracia. Tais ferramentas poderiam até ser usadas para melhorar e democratizar a governança de atores-chave e instituições que trabalham em IA.

Então, quais são os caminhos possíveis para a superinteligência?

O acima é tudo bem e bom, e poderia tornar o mundo um lugar muito mais harmonioso, seguro e livre para o próximo século. No entanto, ainda não aborda o grande elefante na sala: IA superinteligente.

O caminho padrão sugerido por muitos daqueles que se preocupam com a IA essencialmente leva a um governo mundial de IA mínimo. As versões de curto prazo incluem uma proposta para um consórcio AGI multinacional (“MAGIC”). Tal consórcio, se for estabelecido e conseguir alcançar seus objetivos de criar uma IA superinteligente, teria um caminho natural para se tornar um governo mundial mínimo de facto. A longo prazo, existem ideias como o "ato crucial"teoria: criamos uma IA que executa um único ato pontual que rearranja o mundo em um jogo onde a partir desse ponto os humanos ainda estão no comando, mas onde o tabuleiro do jogo é de alguma forma mais favorável à defesa e mais adequado para o florescimento humano.

A principal questão prática que vejo até aqui é que as pessoas parecem não confiar realmente em nenhum mecanismo de governança específico com o poder de construir tal coisa. Este fato torna-se evidente quando se olha para os resultados das minhas recentes pesquisas no Twitter, perguntando se as pessoas prefeririam ver a IA monopolizada por uma única entidade com uma década de avanço, ou se a IA fosse adiada por uma década para todos:

O tamanho de cada pesquisa é pequeno, mas as pesquisas compensam na uniformidade de seus resultados em uma ampla diversidade de fontes e opções. Em nove de nove casos, a maioria das pessoas preferiria ver a IA altamente avançada adiada por uma década do que ser monopolizada por um único grupo, seja uma corporação, governo ou entidade multinacional. Em sete de nove casos, o adiamento venceu por pelo menos dois para um. Isso parece ser um fato importante a entender para quem busca a regulamentação da IA. As abordagens atuais têm se concentrado na criação de esquemas de licenciamento e requisitos regulamentares, tentando restringir o desenvolvimento da IA a um número menor de pessoas, mas essas abordagens têm enfrentado resistência popular precisamente porque as pessoas não querem ver ninguém monopolizar algo tão poderoso. Mesmo que propostas regulatórias de cima para baixo reduzam os riscos de extinção, elas correm o risco de aumentar a chance de algum tipo de aprisionamento permanente em um totalitarismo centralizado. Paradoxalmente, poderiam acordos proibindo pesquisas extremamente avançadas de IA (talvez com exceções para IA biomédica), combinadas com medidas como a exigência de código aberto para esses modelos que não são proibidos, como forma de reduzir os motivos de lucro e ao mesmo tempo melhorar a igualdade de acesso, serem mais populares?

A abordagem principal preferida pelos opositores da rota 'vamos ter uma organização global para fazer IA e tornar sua governança realmente muito boa' éinteligência artificial politeísta: tente intencionalmente certificar-se de que há muitas pessoas e empresas desenvolvendo muitas IAs, para que nenhuma delas se torne muito mais poderosa do que a outra. Desta forma, diz a teoria, mesmo que as IAs se tornem superinteligentes, podemos manter um equilíbrio de poder.

Esta filosofia é interessante, mas a minha experiência em tentar garantir o “politeísmo” dentro do ecossistema Ethereum faz-me preocupar que este seja um equilíbrio intrinsecamente instável. No Ethereum, tentámos intencionalmente garantir a descentralização de muitas partes do sistema: garantindo que não há um único código que controlemais de metade da rede de prova de participação, tentando contrariar o domínio de grandes pools de staking, melhorando descentralização geográfica, e assim por diante. Na essência, o Ethereum está realmente tentando executar o antigo sonho libertário de uma sociedade baseada no mercado que usa pressão social, em vez de governo, como regulador antitruste. Até certo ponto, isso funcionou: o Domínio do cliente Prysmcaiu de acima de 70% para menos de 45%. Mas este não é um processo de mercado automático: é o resultado da intenção humana e da ação coordenada.

A minha experiência dentro do Ethereum é espelhada pelas aprendizagens do mundo em geral, onde muitos mercados têm se mostrado monopólios naturaisCom superinteligências artificiais atuando de forma independente dos humanos, a situação torna-se ainda mais instável. Graças a melhoria auto-recursiva, a inteligência artificial mais forte pode avançar muito rapidamente, e uma vez que as IAs sejam mais poderosas do que os humanos, não existe força que possa reequilibrar as coisas.

Além disso, mesmo que consigamos um mundo politeísta de superinteligências AI que acabe por ser estável, ainda temos o outro problema: o de obtermos um universo onde os humanos são animais de estimação.

Um caminho feliz: fundir-se com os AIs?

Uma opção diferente que tenho ouvido falar mais recentemente é concentrar menos na IA como algo separado dos humanos e mais em ferramentas que aprimoram a cognição humana em vez de substituí-la.

Um exemplo de algo a curto prazo que segue nessa direção são as ferramentas de desenho de IA. Hoje, as ferramentas mais proeminentes para criar imagens geradas por IA têm apenas uma etapa em que o humano dá sua contribuição e, a partir daí, a IA assume totalmente. Uma alternativa seria focar mais em versões de IA do Photoshop: ferramentas em que o artista ou a IA possam fazer um esboço inicial de uma imagem e, em seguida, colaborar na melhoria com um processo de feedback em tempo real.

Preenchimento de IA generativa do Photoshop, 2023.Origem. Eu tentei, leva tempo para se acostumar, mas na verdade funciona muito bem!

Outra direção num espírito semelhante é a Arquitetura de Agência Aberta, que propõe dividir as diferentes partes de uma "mente" de IA (por exemplo, fazer planos, executar planos, interpretar informações do mundo exterior) em componentes separados e introduzir feedback humano diverso entre essas partes.

Até agora, isto parece mundano e algo com que quase todos concordam que seria bom ter. O trabalho do economista Daron Acemoglu está longe deste tipo de futurismo de IA, mas o seu novo livro Poder e Progressosugere querer ver mais exatamente esses tipos de IA.

Mas se quisermos extrapolar esta ideia de cooperação entre humanos e IA ainda mais, chegamos a conclusões mais radicais. A menos que criemos um governo mundial com poder suficiente para detetar e parar cada pequeno grupo de pessoas a piratear em GPUs individuais com laptops, alguém acabará por criar uma IA superinteligente - uma que pode pensar de formamil vezes mais rápidodo que podemos - e nenhuma combinação de humanos usando ferramentas com as mãos será capaz de se manter contra isso. E assim, precisamos levar essa ideia de cooperação entre humanos e computadores muito mais fundo e mais longe.

Um primeiro passo natural éinterfaces cérebro-computadorAs interfaces cérebro-computador podem dar aos humanos um acesso muito mais direto a formas de computação e cognição cada vez mais poderosas, reduzindo o loop de comunicação bidirecional entre homem e máquina de segundos para milissegundos. Isso também reduziria significativamente o custo de "esforço mental" para obter um computador para ajudá-lo a reunir fatos, dar sugestões ou executar um plano.

As fases posteriores de um plano destas admitidamente tornam-se estranhas. Além das interfaces cérebro-computador, existem vários caminhos para melhorar diretamente os nossos cérebros através de inovações na biologia. Um eventual passo adicional, que combina ambos os caminhos, pode envolver carregando as nossas mentespara ser executado diretamente em computadores. Este seria também o derradeiro d/acc para a segurança física: proteger-nos do mal deixaria de ser um problema desafiante de proteger corpos humanos inevitavelmente frágeis, mas sim um problema muito mais simples de fazer backups de dados.

Direções como esta são por vezes recebidas com preocupação, em parte porque são irreversíveis e em parte porque podem dar às pessoas poderosas mais vantagens sobre o resto de nós. Interfaces cérebro-computador, em particular, têm perigos - afinal, estamos a falar de literalmente ler e escrever nas mentes das pessoas. Estas preocupações são exatamente por isso que penso que seria ideal que um papel principal neste caminho fosse desempenhado por um movimento de código aberto focado na segurança, em vez de corporações fechadas e proprietárias e fundos de capital de risco. Além disso, todos estes problemas são piores com IAs superinteligentes que operam de forma independente dos humanos do que com augmentations que estão intimamente ligadas aos humanos. A divisão entre "melhorados" e "não melhorados" já existe hoje devido a limitações em quem pode e quem não pode usar ChatGPT.

Se quisermos um futuro que seja tanto superinteligente quanto "humano", onde os seres humanos não são apenas animais de estimação, mas mantêm efetivamente uma agência significativa sobre o mundo, então parece que algo assim é a opção mais natural. Existem também bons argumentos sobre por que este poderia ser um caminho mais seguro para alinhar a IA: ao envolver o feedback humano em cada etapa da tomada de decisão, reduzimos o incentivo para transferir a responsabilidade de planejamento de alto nível para a IA em si, e assim reduzimos a chance de a IA fazer algo totalmente desalinhado com os valores da humanidade por conta própria.

Outro argumento a favor desta direção é que pode ser mais socialmente aceitável do que simplesmente gritar “pausa AISem uma mensagem complementar que forneça um caminho alternativo. Isso exigirá uma mudança filosófica da mentalidade atual de que os avanços tecnológicos que afetam os humanos são perigosos, mas os avanços que são separados dos humanos são, por padrão, seguros. Mas tem um benefício compensatório enorme: dá aos desenvolvedores algo para fazer. Hoje, a mensagem principal do movimento de segurança de IA para os desenvolvedores de IA parece ser " Deves simplesmente parar. Alguém podetrabalhar na pesquisa de alinhamento, mas hoje em dia isso carece de incentivos econômicos. Comparado a isso, a mensagem comum de “você já é um herói do jeito que é” é compreensivelmente extremamente atraente. Uma mensagem diferente, uma que diz “você deve construir e criar coisas lucrativas, mas ser muito mais seletivo e intencional para garantir que está construindo coisas que o ajudem a si e à humanidade a prosperar”, pode ser um sucesso.

É a compatibilidade com a sua filosofia existente?

• Se você é um e/acc, então d/acc é uma subespécie de e/acc - apenas uma que é muito mais seletiva e intencional.
• Se você é um altruísta eficaz, então d/acc é uma nova marca da ideia eficaz-altruísta de desenvolvimento de tecnologia diferencial, embora com maior ênfase em valores liberais e democráticos.
• Se és um libertário, então d/acc é uma subespécie de tecno-libertarianismo, embora seja mais pragmático e mais crítico da "máquina tecno-capitalista", estando disposto a aceitar intervenções governamentais hoje (pelo menos, se as intervenções culturais não funcionarem) para prevenir um futuro muito pior de falta de liberdade.
• Se és um Pluralista, no sentido do termo Glen Weyl, então d/acc é um quadro que pode facilmente incluir a ênfase na tecnologia de coordenação democrática melhor que os valores da Pluralidade.
• Se é um defensor da saúde pública, as ideias de/acerca podem ser uma fonte de uma visão mais ampla a longo prazo e uma oportunidade para encontrar terreno comum com as pessoas da "tecnologia" com as quais de outra forma poderia sentir-se em desacordo.
• Se és um defensor da blockchain, então d/acc é uma narrativa mais moderna e abrangente para abraçar do que a ênfase de quinze anos na hiperinflação e nos bancos, o que coloca as blockchains no contexto como uma das muitas ferramentas numa estratégia concreta para construir um futuro mais brilhante.
• Se você é um solarpunk, então d/acc é uma subespécie de solarpunk e incorpora um ênfase similar na intencionalidade e ação coletiva.
• Se você é um lunarpunk, então você irá apreciar o ênfase na defesa da informação, através da manutenção da privacidade e da liberdade.

Nós somos a estrela mais brilhante

Eu amo tecnologia porque a tecnologia expande o potencial humano. Há dez mil anos, podíamos construir algumas ferramentas manuais, mudar quais plantas crescem numa pequena parcela de terra e construir casas básicas. Hoje, podemos construir torres de 800 metros de altura, armazenar a totalidade do conhecimento humano registado num dispositivo que podemos segurar nas nossas mãos, comunicar instantaneamente em todo o mundo, duplicar a nossa esperança de vida e viver vidas felizes e plenas sem receio de os nossos melhores amigos morrerem regularmente de doença.

Começámos por baixo, agora estamos aqui.

Acredito que estas coisas são profundamente boas e que expandir a capacidade da humanidade até aos planetas e estrelas é profundamente bom, porque acredito que a humanidade é profundamente boa. É moda em certos círculos ser cético quanto a isso: o movimento de extinção humana voluntária argumenta que a Terra ficaria melhor sem os humanos existirem, e muitos mais querem ver muito menor número de seres humanosver a luz deste mundo nos séculos vindouros. É comumdiscutirqueos humanos são mausporque trapaceamos e roubamos, envolvemo-nos em colonialismo e guerra, e maltratamos e aniquilamos outras espécies. A minha resposta a este estilo de pensamento é uma simples questão: comparado com o quê?

Sim, os seres humanos são frequentemente cruéis, mas muito mais frequentemente mostramos bondade e misericórdia e trabalhamos juntos para o nosso benefício comum. Mesmo durante as guerras, muitas vezes tomamos cuidado para proteger os civis - certamente não o suficiente, mas também muito mais do que fizemos 2000 anos atrás. O próximo século pode muito bem trazer carne não animal amplamente disponível, eliminando o maior catástrofe moralque os seres humanos podem ser justamente culpados hoje. Os animais não humanos não são assim. Não há situação em que um gato adotará um estilo de vida inteiro de recusar-se a comer ratos como uma questão de princípio ético. O Sol está a ficar mais brilhante a cada ano e em cerca deum bilhão de anos, espera-se que isso torne a Terra demasiado quente para sustentar a vida. O Sol sequer pensa no genocídio que vai causar?

E assim é minha firme convicção de que, de todas as coisas que conhecemos e vimos em nosso universo, nós, humanos, somos a estrela mais brilhante. Nós somos a única coisa que conhecemos que, mesmo que imperfeitamente, às vezes faz um esforço sincero para se importar com "o bem" e ajustar nosso comportamento para melhor servi-lo. Daqui a dois bilhões de anos, se a Terra ou qualquer parte do universo ainda carregar a beleza da vida terrestre, serão artefatos humanos como viagens espaciais egeoengenhariaque terá feito acontecer.

Precisamos construir e acelerar. Mas há uma questão muito real que precisa ser feita: para que direção estamos acelerando? O século XXI pode muito bem ser o século crucialpara a humanidade, o século em que o nosso destino para os milénios vindouros é decidido. Cairmos em uma série de armadilhas das quais não podemos escapar, ou encontraremos um caminho para um futuro onde mantenhamos a nossa liberdade e capacidade de ação? Estes são problemas desafiantes. Mas aguardo com expetativa observar e participar no grande esforço coletivo da nossa espécie para encontrar as respostas.

Aviso legal：

1. Este artigo foi republicado de [GateVitalik Buterin]. Todos os direitos autorais pertencem ao autor original [Vitalik Buterin]. Se houver objeções a esta reimpressão, por favor contacte o Gate Learnequipa, e eles vão tratar disso prontamente.
2. Responsabilidade de Isenção: As visões e opiniões expressas neste artigo são exclusivamente do autor e não constituem qualquer conselho de investimento.
3. As traduções do artigo para outros idiomas são feitas pela equipe Gate Learn. Salvo indicação em contrário, copiar, distribuir ou plagiar os artigos traduzidos é proibido.