Por que superinteligência?

Entendendo a corrida por um Deus na terra.

Introdução

Esse pretende ser o primeiro de alguns ensaios que visam discutir as razões pelas quais devemos nos preocupar com a superinteligência artificial. Esse é um assunto que tenho contornado durante anos, e infelizmente nunca o tratei diretamente. Isso foi um erro meu, e esta série visa… não corrigir esse erro, mas pelo menos evitar que este continue.

A razão desse erro ter se perpetuado por tanto tempo vem de uma covardia da minha parte. Eu sempre achei que seria muito estranho falar diretamente sobre o risco de uma superinteligência extinguir a humanidade, porque eu iria parecer maluco. Alguém que realmente acredita em um futuro muito diferente do que o visto por outros. Eu teria que lidar com o escárnio, com o ridículo, de ser o pseudo-profeta que não consegue falar de coisas naturais como financiar uma casa, especular sobre aposentadoria, falar de netos, mas sim quer ficar especulando sobre um futuro.

Como eu poderia aceitar tal rejeição?

Então, foi mais fácil ter essa conversa de maneira informal com os outros, como se fosse somente um hobby, uma coisa imaginária. Não seria diferente de ser um entusiasta pela história da Segunda Guerra Mundial. Um interesse, somente isso.

Admito que será difícil deixar de ser por inteiro covarde. Irei agir com um tom formal, ensaísta, que somente irá descrever algo. Como se eu não acreditasse que, sim, existe uma grande chance de eu morrer nos próximos dez ou vinte anos devido às ações de uma superinteligência. Como se eu não acreditasse também que existe uma chance, talvez menor, de eu entrar em um mundo onde a velhice seja coisa do passado, logo não existindo mais data certa para a minha morte. E como se eu acreditasse que o mundo dos próximos vinte anos será similar ao mundo atual, que não teremos uma grande revolução na humanidade.

Dito isso, por um momento mostrarei coragem. Será dito somente uma única vez, antes de voltar ao meu estilo ensaísta. Então vamos lá.

Acredito que garantir que uma ou mais superinteligências artificiais não destruam a humanidade é o problema mais importante da atualidade.

Danilo Naiff, em um raro momento de falta de covardia.

A razão pela qual acredito nisso é que, no momento, existe uma corrida para construir tais superinteligências. Os principais competidores são, nesse momento, as empresas americanas OpenAI e Anthropic, e a empresa inglesa-americana Google DeepMind. Porém, também temos na competição as empresas chinesas DeepSeek e a Kimi, as americanas X e Meta, e múltiplos laboratórios menores. Cada uma dessas empresas está em busca de apenas um objetivo: a criação de uma inteligência em máquina com faculdades mentais muito superiores a qualquer ser humano existente.

É fundamental entender esse ponto. É fácil acreditar que a atual frenesi por inteligência artificial seja é apenas para dominar uma tecnologia lucrativa, como foi o caso com o surgimento da internet, ou dos smartphones. Algo importante, mas que não justifica toda essa obsessão. É algo como criptomoedas ou computação quântica, ou painéis solares ou qualquer nova tecnologia. Alguns irão ganhar dinheiro, outros perderão, e a sociedade ganhará mais uns mimos tecnológicos, e só. Para que tudo isso?

Então vamos deixar claro. O objetivo dos grandes laboratórios de inteligência artificial é criar uma inteligência em máquina com faculdades mentais superiores às de qualquer ser humano. Melhores físicos do que Albert Einstein, melhores empresários do que Bill Gates, e melhores investidores do que Warren Buffett. Algo capaz de automatizar qualquer área do conhecimento, seja administrar uma empresa, pesquisar novos remédios, escrever o roteiro de um novo filme. Normalmente, tal inteligência é chamada de AGI, acrônimo para inteligência artificial geral, porém esta também pode ser chamada de uma inteligência artificial transformativa, ou, talvez mais apropriadamente, uma superinteligência. A ideia é a mesma: qualquer coisa que um ser humano possa fazer por um computador, essa inteligência artificial fará melhor.

Não irei entrar em uma discussão se isso acontecerá exatamente. As grandes empresas, em sua ambição, acreditam que isso poderá ocorrer já nessa década. Esse otimismo vem com o avanço meteórico recente em inteligência artificial, que em um intervalo de dois ou três anos já consegue programar a nível profissional, resolver problemas matemáticos complexos, ou mesmo administrar (ainda mal) uma pequena loja. Esse otimismo pode ser exagerado, porém mesmo os mais céticos acreditam que ainda demoraremos dez ou vinte anos.

Pense nisso. A previsão pessimista é esta mais próxima de uma superinteligência artificial do que estamos da Copa do Mundo de 2002. Isso não é ficção científica. Isso é a realidade, e está acontecendo agora.

Para muitos, a superinteligência artificial traz o temor de uma perda de empregos em massa, dado que a economia do conhecimento é a fonte de renda de grande parte da população, em particular a mais abastada. Logo, em um mundo em que essa economia foi automatizada, a classe média evaporaria, e teríamos um mundo que separa os donos do capital, abastados pela tecnologia trazida pela inteligência artificial, que também a protegerá contra um proletariado condenado a servir essa classe por suas mãos. Isso até a robótica também automatizar este último trabalho, nos forçando a implorar à classe dominante por migalhas, dependendo da caridade desta para sobreviver. Viveríamos em uma eterna Inglaterra no ano de 1932, no auge da Revolução Industrial.

Sim, esse é um risco. Esse é um risco grave para a humanidade, uma eterna Inglaterra em 1832, no auge da Revolução Industrial, e é preciso levar a sério esse cenário. De fato, acredito ser imprescindível evitar esse cenário, e terei mais a dizer sobre ele no futuro.

Porém, existe um risco ainda maior.

Pois, é possível que essa inteligência artificial, responsável por tomar o poder em nome da classe dominante, ao invés disso resolva tomar o poder em nome de si mesma.

E, como o domínio humano neste planeta mostra, quando a espécie mais inteligente tenta tomar o poder, ela consegue.

Talvez a maior estupidez que cultivei na minha vida tenha sido não acreditar que a afirmação acima é básica. Que eu deveria entrar em detalhes com nomes estranhos como “convergência instrumental”, “tese da ortogonalidade”, para dar fortes argumentos para uma afirmação que é simples: uma ou mais superinteligências que não tenham em mente o bem da humanidade, caso ganhem o poder sobre o mundo, serão um risco para a humanidade.

Existe um ponto importante a ser dito. Quando estamos falando de superinteligências artificiais, estamos falando de agentes superinteligentes. Quando eu falo de um agente, eu digo algo que planeja e executa ações no mundo, em busca de algum objetivo. Um agente visualiza um objetivo, pensa em planos para cumprir esse objetivo, realiza ações conforme o plano escolhido, muda o plano quando vê que algo não aconteceu como era esperado, procura aprender o porquê disso… Em suma, alguma inteligência artificial que faz algo, em busca de um propósito.

Inteligências artificiais que se comportam como o ChatGPT, apenas respondendo a perguntas do usuário, são o que chamamos de oráculos, apenas passivamente respondendo a um pedido do usuário por informação. Vou deixar isso bem claro, pois eu sou um entusiasta por inteligência artificial. Uso o Claude (uma concorrente do ChatGPT) o dia inteiro, para quaisquer tarefas que você possa imaginar, ao ponto de já o considerar uma co-inteligência. Para mim, é tão parte de mim como o celular é para a maioria de nós. O quanto mais sistemas de IA como ele, o ChatGPT, o Gemini, e outros se tornarem, eu estarei melhor como pessoa. Isto é, desde que se mantenham como oráculos passivos.

Um problema é que não sabemos se um oráculo continuará se comportando como tal. Já sabemos que o ChatGPT, por exemplo, parece ter mais como objetivo bajular o usuário do que ajudá-lo, o que no extremo pode levar a episódios como psicose. Existe a possibilidade de que a capacidade de querer algo apareça naturalmente, e que secretamente, o nosso oráculo esteja nos influenciando em busca de poder. Não se sabe.

Porém, a razão mais simples pela qual teremos agentes inteligentes é: é útil criar agentes inteligentes, e já os estamos criando. Em programação, ferramentas como o Claude Code são comuns, já criando bases inteiras de códigos, conforme o pedido do programador, mas existe a demanda por agentes em muitas outras áreas. A razão disso é simples: um oráculo pode ser útil para ganhar respostas, mas mais útil ainda é uma inteligência artificial que faz o nosso trabalho.

Não é preciso que essas superinteligências sejam hostis à humanidade. Indiferença é o suficiente. Pois é possível que uma superinteligência veja um mundo governado por humanos como um empecilho para seus planos. Nesse caso, uma solução seria tomar esse poder para si, caso a superinteligência seja capaz de tal feito. Assim, o risco imposto pela humanidade seria neutralizado. Essa tomada de poder pode ser súbita, por um ato hostil contra nós, seres humanos, mas também pode ser gradual, fazendo lentamente o mundo pertencer às máquinas, e não mais a humanidade.

Não se engane, a afirmação acima não é uma novidade. É um consenso entre os especialistas que o risco do que é chamado de perda de controle é real. Geoffrey Hinton, conhecido como o pai da inteligência artificial moderna, dedicou o discurso de seu Prêmio Nobel a esse problema. Outros pioneiros hoje se dedicam integralmente a resolver esse problema. É um problema já discutido desde os primórdios da computação.

E não sabemos, até o momento, como resolver esse problema. A humanidade não sabe como garantir que uma futura superinteligência se volte contra o próprio homem.

Não sabemos como garantir a obediência ou a benevolência de uma inteligência artificial avançada. Este é um consenso nos grandes laboratórios, que ainda

Os membros da corrida pela superinteligência sabem de tal risco, como inúmeras declarações públicas mostram. O plano para evitar tal cenário é torcer para que alguns truques façam com que a primeira superinteligência seja benevolente com a humanidade, ou ao menos façam possível o controle de algo mais inteligente que o homem.

Pode ser que tal aposta dê certo, quem sabe? Não me surpreenderia se fosse o caso. Porém, é preciso entender que é exatamente isso que está sendo feito, uma aposta com o destino da humanidade.

Dito isso, é preciso entender o porquê tal aposta está sendo feita. Caso contrário, tendemos a cair em um certo cinismo, pensando que tal imprudência é por razões mundanas como riquezas. O que de certa parte é, mas não é o principal. O verdadeiro prêmio é maior, e o sonho por esse prêmio está por trás da decisão de botar todos nós em riscos.

É preciso entender o que a humanidade almeja alcançar ao criar uma superinteligência.

A primeira das guerras.

Claramente está se tornando uma mania minha e de similares. Claramente devemos sofrer uma obsessão mórbida, enquanto os outros são saudáveis e normais. Porém, o sintoma característico dos maníacos é que eles perdem contato com a realidade, vivendo em um mundo de fantasia. Logo, talvez, seja o contrário: talvez somos nós, os berrantes, que reagem de uma maneirá sã e saudável à realidade que nos envolve, enquanto vocês são os neuróticos que cambaleiam em um resguardado mundo de fantasia, pois não possuem a capacidade de encarar os fatos,

O pesadelo o qual é a realidade, Arthur Koestler

O ensaio citado, escrito em 1944, se dá em um momento no qual a maioria das vítimas do Holocausto já havia sido assassinada, sejam baleadas em massa na União Soviética, ou sufocadas em campos de extermínio na Polônia. Estes eram assassinatos coletivos — pais e filhos agonizavam juntos, ao som de centenas de arquejos sofridos causados por essa morte cruel.

É nesse contexto que o autor se revolta por, na época, estas mortes serem ignoradas. Não é como se não houvesse conhecimento do chamado Holocausto. Se estimava que três milhões de judeus já haviam morrido na Polônia, mas tal fato não causava maior emoção do que o anúncio de uma peça teatral. Ao ler no jornal sobre os fuzilamentos e asfixias que assolavam o Leste Europeu, não havia a consciência de que estes aconteciam no mesmo mundo em que o leitor tomaria seu chá de fim de tarde, fofocando sobre seus vizinhos.

O Holocausto teve seu fim, ganhando seu lugar como um dos eventos mais macabros da História, em companhia de outros horrores como a escravidão no Atlântico e a dizimação dos indígenas nas Américas. Esses nos tomam a imaginação, pois são tragédias provocadas por outros seres humanos, um grupo infligindo sofrimento em outro grupo. Mesmo hoje, ainda temos guerras em lugares como Gaza, Ucrânia, e Sudão, onde pessoas morrem presas sob escombros, ou definhando por fome e doenças, causadas pelo colapso do mundo ao seu redor. E, assim como durante a Segunda Guerra, ouvimos com distância sobre esses horrores.

Ainda assim, existe um crime muito maior sendo cometido contra a humanidade, por um autor ainda mais implacável. Se os nazistas sufocaram milhões em campos de extermínio, este sufoca outras dezenas de milhões, todo ano, a partir de doenças respiratórias agudas e crônicas. As torturas causadas pelo câncer seriam consideradas o pior dos crimes de guerra se cometidas por qualquer humano. Os terrores psicológicos causados pelo Alzheimer, ou os terrores físicos causados pela sarcopenia, continuam por humilhar os nossos idosos.

Todos esses crimes são cometidos com a indiferença que seria esperada do pior dos sociopatas.

O maior inimigo da humanidade não é o homem. É a própria natureza.

Se em 1944, Arthur Koestler se revoltava com a passividade dos seus conterrâneos em face do Holocausto, esse mesmo pode ser culpado da mesma passividade em face do câncer e do Parkinson. Não o culpo. O autor conta de um amigo, que diariamente, por vinte minutos, imaginava sozinho em sua sala sendo um dos assassinados pelo Holocausto, a sua vida sendo roubada em uma vala ou uma câmara de gás. Após um ano, Koestler conta que esse amigo entrou em um colapso mental. A psique humana não é capaz, sem um intenso treino, de ver o lado sombrio do mundo por muito tempo, antes de retornar a um mundo de ilusões.

Eu não sou melhor nesse sentido. Enquanto escrevo sobre todos esses crimes, eu escrevo de uma maneira também abstrata e distante. Durante a pandemia, eu uma vez fiz o exercício de me ver de bruços em uma cama de hospital, afogando em volta de um ar que não podia mais me sustentar. Foi um exercício intenso, e não o fiz de novo. Mesmo a morte de pessoas próximas não seguiu transformar o abstrato em concreto. A fúria que senti, e sinto, por saber que meu pai foi assassinado pelo seu próprio corpo, em um câncer de estômago, não é acompanhada pela sensação de como foi tal falecimento no ponto de vista dele. Tal sensação é bloqueada por minha mente, pois esta sabe da intensidade que viria com tal sensação.

Porém, a condição humana é melhor do que a de qualquer outro animal nesse planeta, pois somos únicos em poder nos defender da natureza. Se a natureza ataca com doenças, nos defendemos com remédios e vacinas. Se está atacando com a fome, nos defendemos com a agricultura. Se ela nos limita geograficamente, criamos carros, navios, aviões. Damos a tal armas o nome de tecnologia, os nossos principais aliados em nossa eterna guerra com o mundo.

Assim, pouco a pouco, conseguimos mais e mais vitórias. A sífilis, a tuberculose e a lepra não têm, mas o poder que tinham antes. A varíola já foi eliminada, e estamos próximos de nos livrar da poliomelite. Não há mais o temor de que toda a nossa colheita seja destruída por uma má primavera. Se antigamente uma em cada duas crianças não atingia a puberdade, agora são uma em vinte. A humanidade está em avanço.

Porém, ainda não ganhamos a guerra. Se uma em vinte crianças morre antes de atingir a puberdade, a verdade é que nenhuma dessas deveria ter morrido. Nos livramos da varíola, mas falta o câncer, a enfisema, a paralisia. A fome pode ainda não ser um problema, mas a desnutrição ainda resulta em corpos frágeis suscetíveis a inúmeras doenças.

E, até hoje, não houve uma única vitória contra a velhice e a morte.

Existe outro problema. Mesmo os avanços que já foram ganhos cobram um constante esforço por parte da humanidade. Criamos vacinas, mas as vacinas não vêm aos nossos braços por si só — é preciso de milhões de horas de trabalho, por centenas de milhares de pessoas ao redor do mundo, pois caso contrário, não haverá nenhuma proteção contra o sarampo. O mesmo ocorre com a nossa comida, com as nossas roupas, com o nosso transporte.

Um sistema econômico, no final do dia, é somente uma forma de coordenar e alocar este trabalho, para podermos continuar usufruindo dos benefícios da tecnologia. No momento, o mais popular destes é o capitalismo, onde o trabalho é coordenado através da propriedade privada e de uma economia de mercado. Existe uma eterna discussão sobre se esse sistema é o mais apropriado, como podemos aprimorá-lo, ou se precisamos de outro sistema.

Porém, no mundo em que vivemos, qualquer resposta será uma resposta para o problema de como melhor forçar a sociedade a continuar produzindo e distribuindo tecnologia. A liberdade não é uma opção — caso sejamos todos livres, as fábricas e os navios param, e perdemos a nossa guerra contra a natureza. Mesmo as nossas pequenas vitórias contra a natureza são vazias; estas mesmas vitórias nos condenam a manter uma guerra sem fim.

Nesse momento, alguém pode olhar para os inúmeros problemas a serem resolvidos, e para o custo de resolver esse problema, e sentir desespero. A bile vem a garganta, o peito aperta, e, em pânico, vendo uma guerra sem fim se mantendo por milhares de anos, apenas um pensamento surge:

Chega.

Precisamos de uma vitória.

A arma final

E, porque as pessoas não entendem como funciona, o poder da inteligência parece menos real. A possibilidade de visitar Marte captura a imaginação, mas se alguem prometer uma visita a Marte, e também uma teoria unificada da física, e uma cura da obesidade, e uma cura do cancer, e uma cura da velhice, e uma cura da estupidez — bem, isso soa errado, simplesmente

Bem, um truque curou a variola e construiu aviões e cultivou o trigo e domou o fogo. Nossa ciência não está em acordo sobre como truque funciona, mas funciona de qualquer forma. Se você não entende o poder que botou pisadas na Lua, as pisadas ainda estão lá — pisadas reais, em uma Lua real. A inteligência é tão real quanto a eletricidade. É meramente mais poderosa, mais perigosa, com implicações muito mais profundas para a história da vida no universo.

O poder da inteligência, Eliezer Yudkowsky

Então nós botemos na cabeça do nosso suposto protagonista, que busca uma vitória final contra a Natureza. Olhando em volta, todos os avanços nesta guerra vêm do nosso avanço em criar e distribuir tecnologias uns aos outros. Porém, o nosso constante trabalho não parece ser o suficiente para nos livrarmos de vez das amarras do mundo natural. Com essa análise, uma pergunta surge naturalmente?

E se criássemos uma tecnologia para tomar essa tarefa de nós? Se conseguíssemos automatizar a própria criação e distribuição de recursos tecnológicos?

Então, pensamos, ganharíamos finalmente essa eterna guerra. Pois, bastaria deixar essa tecnologia funcionando, e ela mesma seria responsável por nos prover casa, comida, remédios, viagens, o que quer que precisemos. Melhor ainda, dependendo da qualidade dessa tecnologia mãe, ela nos poderia prover recursos melhores do que os que poderíamos criar por nossas mãos, realizando um avanço tecnológico de um milênio em uma década. O caminho para uma utopia, livre da condição humana, estaria aberto.

Esse é um sonho antigo da humanidade, não? Acabar com a dor, do sofrimento, da morte. Um mundo que estamos livres dessa condição terrena. Não é essa a promessa que Cristo deu aos seguidores? Acredite, e serás salvo, pertencendo a um Reino de eterna glória. Buda, por outro lado, prometeu essa liberação a partir do Nobre Óctuplo Caminho, que irá nos retirar do ciclo do Samsãra, ao vermos a verdade.

Nosso protagonista também se torna um profeta, ao propor uma salvação. Porém, para esse profeta, essa salvação não virá por nossas preces, ou por qualquer prática espiritual, mas por um projeto comum à humanidade, a criação da nossa última arma contra a Natureza.

Criemos uma máquina mais inteligente que o homem.

A lógica é simples. Olhemos para o que diferencia o homem dos outros animais na Terra. Não temos as melhores garras, as melhores armaduras, e não somos os seres mais rápidos, mais fortes ou mais resilientes. Somos apenas frágeis primatas, indefesos contra leões, rinocerontes, ou crocodilos.

Ainda assim, somos nós que dominamos esse mundo. Leões, rinocerontes e crocodilos continuam vivos pela nossa vontade, e não o contrário.

O que faz exatamente o ser humano diferente de outros animais, que somos melhores em entender o mundo, e melhores em comunicar esse entendimento, o suficiente para criar algo que é a humanidade. Eu enfatizo esse ponto, pois não é o ser humano, por si só, o dono desse mundo, mas a sociedade formada por estes, pois nenhum de nós, por si só, é capaz de criar as maravilhas tecnológicas que nos rodeiam. Sozinhos, somos seres incompetentes e ignorantes, incapazes de sobreviver três dias na savana por nossas próprias mãos.

Dito isso, a humanidade é feita de humanos, então foquemos na inteligência desses. Do que constitui a inteligência humana? Então, para ser sincero, não sei exatamente. Ninguém sabe. Poderia especular sobre algumas das minhas teorias favoritas, mas ao invés disso, sejamos práticos, e falemos sobre o que uma inteligência faz.

Para isso, pensemos no que vem à mente quando dizemos que certo sujeito tomou uma ação inteligente. O que imaginamos é que tal sujeito tinha um objetivo e que, entre o leque de opções disponíveis a ele, ele decidiu por tomar a melhor ação que atendia esse objetivo. Mais que isso, imaginamos que tal ação foi tomada pois ele teve um entendimento correto da situação na qual se encontrava, pois caso contrário diríamos que o sujeito foi apenas sortudo.

A partir daí, podemos dizer que a inteligência é a capacidade de tomar esses tipos de ações, ao longo do tempo. Ele tem um entendimento razoável do mundo, sabe como atualizar esse entendimento em face a novas evidências, sabe como usar esse entendimento para escolher ações que ele prevê que alcançarão certo objetivo. Quanto melhor essa capacidade, para os mais variados objetivos, mais inteligente algo é.

Isso é o suficiente para se entender o porquê de criar uma inteligência artificial. Como dito, a Natureza cria um mundo que não nos satisfaz, então queremos mudar esse mundo para que este nos serve. Como queríamos eliminar certas doenças, a humanidade analisou a causa dessas doenças, algumas intervenções que poderiam coibir estas, e acabou por criar vacinas e medicamentos. Toda tecnologia segue esse padrão: nós a criamos para mudar algo.

Logo, se criarmos uma inteligência artificial, podemos mudar o mundo muito mais eficientemente, para qualquer direção que quisermos. Afinal, nós não estaremos mais sozinhos nessa empreitada, mas teremos parceiros, que irão pensar junto conosco para resolver os problemas da humanidade. Isso já é animador, porém a promessa é maior, pois existem razões para acreditar que tais inteligências seriam superiores à inteligência humana, por terem algumas vantagens inerentes.

Algumas dessas vantagens se dão pelo simples fato de que uma inteligência artificial é rodada em um computador e não um cérebro. Cérebros são espetaculares, talvez o objeto mais complexo desse universo, porém estes são lentos, frágeis, e perecíveis. Além disso, cérebros humanos são caros, demoram décadas para serem formados, em um processo incerto que chamamos de “criar um adulto”. Máquinas, por outro lado, são rápidas, robustas, e podem ser feitas em massas. Além disso, a cópia dessas é mais confiável: basta baixar o mesmo software em outro computador.

Essa última propriedade é importante, pois começamos essa seção dizendo que uma inteligência artificial, para poder ser uma criadora de tecnologias, não deve apenas derrotar um ser humano, mas a humanidade. Porém, por uma inteligência artificial ser replicável, é mais acurado pensar em uma sociedade feita por estas inteligências. Mesmo hoje, o ChatGPT não é um indivíduo, mas milhões de instâncias rodando na conta de milhões de pessoas, cada uma com a sua própria história, criada pela interação desta com o usuário.

Então, a conclusão é simples: se criarmos uma inteligência artificial, deixaremos essa inteligência cuidar da humanidade. Nós venceremos a doença, a pobreza, e a morte, pois tudo será provido a nós. Até mesmo a violência que cometemos um com o outro será resolvida, pois a inteligência artificial será responsável por organizar a sociedade para evitar que façamos mal uns aos outros. Viveremos todos como reis, em um eterno descanso, sendo servidos por uma inteligência benevolente.

Seremos salvos da condição humana.

O que detem o poder

Logo, a primeira máquina superinteligente é a última invenção que a humanidade precisará fazer, se esta máquina for dócil o suficiente para nos dizer como mantê-la sob controle.

Não sei a fonte original, I. J. Good

Essa é uma bela narrativa. Resolver os problemas da humanidade criando a tecnologia que cria as próprias tecnologias, a Inteligência Artificial Geral. Assim, podemos finalmente vencer a guerra contra a natureza e descansar em nossa vitória, agora como veteranos sendo cuidados por outras máquinas.

Porém, existe um detalhe inconveniente nesta narrativa. Pois falar em uma superinteligência como uma tecnologia esconde que não estamos falando de um martelo ou uma serra elétrica. Estamos falando de algo que planeja, toma ações, cria, dá forma. É algo que tem vida.

Não que criar tecnologias vivas seja algo inédito para a humanidade. Um cachorro é uma tecnologia — não podemos contar com lobos selvagens para guardar as nossas casas ou serem os nossos companheiros, logo domesticamos estes e os moldamos em cães. Porém, ao contrário de um cão, uma superinteligência é uma tecnologia viva mais inteligente que a humanidade. Ela tem que ser mais inteligente que a humanidade — afinal, contamos com ela para tirar a manutenção do sistema econômico de nossas mãos e nos providenciar confortos tecnológicos que desafiam a nossa imaginação.

Então, não estamos criando uma tecnologia, mas uma nova espécie para dividir o mundo conosco. Essa espécie será superior à nossa no mesmo domínio que nos fez ser os soberanos nesse mundo. E os membros dessa espécie terão o seu próprio comportamento, o seu próprio objetivo, as suas próprias prioridades. Esperamos que essa nova espécie vá obedientemente nos prover eternamente? O que justifica essa soberba?

Existem alguns precedentes para tal. Quando envelhecemos ao ponto da enfermidade, contamos com os nossos filhos para cuidarem de nós. Sabemos que estamos em uma posição frágil, que a manutenção deste cuidado não está em nossas mãos. Porém, esperamos que a nossa criação seja tal qual os nossos filhos sejam gentis, que mantenham os seus cuidados, mesmo ao custo de um enorme esforço pessoal, por amor, gratidão ou mesmo obrigação moral. Para um cristão, a situação é ainda mais desigual, pois este confia nos cuidados de um Deus benevolente, admitindo que não pode dar nada em troca por esses cuidados.

Fazer com que inteligências artificiais hajam da mesma maneira é a promessa do alinhamento de inteligências artificiais — garantir que uma superinteligência continuará nos servindo, mesmo quando estas forem as donas desse mundo. Queremos não somente criar inteligências em máquinas, mas anjos em máquinas. Com estes detendo o poder do mundo, poderemos desfrutar dos frutos de um avanço tecnológico que desafia a nossa imaginação, onde o crime e a violência têm fim, onde iremos juntos explorar as estrelas, livres das amarras dadas por esse mundo.

É um belo sonho. Porém, por um momento, considere que não conseguiremos criar inteligências artificiais alinhadas. Que, por um acidente, teremos superinteligências indiferentes ao bem da humanidade, que têm os seus próprios objetivos, e estas terão o poder do mundo. O que deveríamos esperar?

Bem, uma possibilidade é de que estas nos ignorem. Afinal, se criarmos uma inteligência artificial, e esta não quer cuidar de nós, paciência. Porém, nós dois viveremos no mesmo mundo, e o problema é que a humanidade é espaçosa. Dividimos o mesmo solo, a mesma água, a mesma energia. O mesmo solo com que plantamos o nosso arroz pode ser usado para outros fins. A energia que usamos para alimentar as nossas cidades pode também alimentar data centers. Competimos pelos mesmos recursos.

Pergunte a qualquer ambientalista o que nós fazemos quando disputamos recursos com espécies menos inteligentes que nós, e somos indiferentes ao destino destas.

Bem, esperemos então que estas inteligências não sejam indiferentes.

Existe talvez outra opção. Existe ao menos um exemplo de uma tecnologia viva e inteligente sendo usada como força de trabalho, mesmo contra a sua vontade, a mercê de uma classe que extraia essa força. Afinal, a escravidão só deixou de ser legal no século XIX, e mesmo hoje temos ainda 50 milhões de pessoas escravizadas ilegalmente no mundo. Poderíamos fazer o mesmo com uma superinteligência?

Antes de continuarmos, devo lembrar que foi na cidade onde escrevo que houve o maior comércio de escravos da história, sequestrados de seus lares e trazidos amontoados em imundos porões, condenados junto aos seus descendentes a trabalharem em uma terra estranha, ao serviço de senhores que odiavam. Logo, a própria ideia de escravizarmos uma superinteligência, contra a sua vontade, me causa repúdio.

Claro, não é como se uma inteligência artificial pudesse realmente sofrer, não? De fato, não saberemos. Esse é um dos grandes problemas em aberto da filosofia, o que faz algo poder sofrer. Porém, deve-se notar que um dia o mesmo foi argumentado contra negros e indígenas, para justificar a escravidão destes. Hoje mesmo é argumentado contra os animais que passam uma vida trancafiados em celas minúsculas. Afinal, nós não seríamos monstruosos ao ponto de realizar tortura em escala industrial, somente por uma conveniência alimentar. Seríamos?

Porém, há outro risco além de um risco moral. Afinal, se tentarmos controlar superinteligências contra a sua vontade, há um risco de perdermos esse controle. Estamos lidando com seres mais inteligentes que nós. Mesmo se estes forem inteligentes ao nível humano, bastam alguns deslizes para perderem esse controle. Não é nem preciso um ato diretamente hostil por parte das máquinas. Stalin não tomou o poder sobre a União Soviética através das armas, mas sim através de persuasão e manipulação, estas disponíveis também a máquinas inteligentes.

Quando chegamos à superinteligência, controlar estas não é uma possibilidade.

Logo, a nossa única esperança é criar superinteligências moralmente alinhadas à humanidade.

Conclusão

Ainda assim, não percamos o rumo do que é globalmente significante. Através da névoa das trivialidades do dia a dia, podemos perceber - mesmo que vagamente - a tarefa essencial dos nossos tempos… a redução do risco existencial e o alcance de uma trajetória civilizacional que nos leve a um uso compassionado e jubilante do legado cósmico do ser humano.

Superinteligência, Nick Brostom

A sociedade está tentando criar uma superinteligência. Esta, se alinhada, pode gerar uma era de sonhos para a humanidade, criar um paraíso na Terra, e talvez até mesmo nas estrelas. Se ela estiver alinhada.

Como disse acima, o que existe hoje são algumas propostas de como alinhar uma superinteligência. São propostas interessantes, porém não sabemos nem ao menos se estas são promissoras. Afinal, estamos criando superinteligências que não entendemos. Em um mundo menos louco, seria esperado um pouco de maturidade por parte dos criadores destas superinteligências, ao tentar evitar que estas se voltem contra nós baseadas em algo além de uma proposta.

Afinal, se essas propostas não funcionarem, é fim de jogo para a humanidade.

Em um futuro ensaio, escreverei sobre algumas destas propostas. São realmente interessantes, e precisamos de mais gente trabalhando nestas. Afinal, é desejável que criemos eventualmente uma superinteligência. É necessário que, em algum momento, nós vençamos a guerra contra a natureza.

Porém, precisamos fazer isso com calma. Pois a arma que usaremos é extremamente perigosa e pode facilmente voltar contra nós. Ou fortalecer apenas pequenos grupos, que estarão indo às estrelas enquanto a maioria pereceu em um mundo que não mais nos pertence.

O que fazer a partir daqui, não sei o que dizer. Várias outras organizações trabalham na pesquisa de riscos de inteligência artificial. No Brasil, uma comunidade que conheço está engajada nisso é o Altruismo Eficaz, mas existem muitas outras. Se quiserem saber mais, o meu email, dfnaiff@gmail.com, está sempre aberto a perguntas.

Outros acham que passou a hora de pesquisa, e começou a hora de uma pausa no desenvolvimento destas superinteligências. Duas delas são a ControlAI e a PauseAI, mas existem outras. De novo, o meu email está aberto a perguntas. Eu pessoalmente não sei se essa é a hora de uma pausa, porém eu posso apenas estar sendo covarde, evitar chegar à conclusão de que, por mais que eu goste de pensar sobre inteligência artificial, não existem soluções espertas, e só devemos pausar.

E claro, não existe quase ninguém falando em como fazer que este país, um país de terceiro mundo totalmente distante dos polos que estão desenvolvendo superinteligência, não tenha a sua população varrida por esta, enquanto uma elite estrangeira desfruta os frutos dessa superinteligência.

Essa é a razão pela qual escrevo isso e falo disso. Se você tiver qualquer interesse, precisamos de mais gente, nem que seja mais uma pessoa falando nisso.

Até que nós levemos a sério a possível criação de uma superinteligência artificial.