A última invenção
Sobre a automelhoria recursiva de IAs.
Considere uma máquina ultrainteligente sendo uma máquina capaz de superar todas as atividades intelectuais de qualquer homem, não importa o quão inteligente este seja. Dado que o desenvolvimento de máquinas é uma dessas atividades, uma máquina ultrainteligente pode desenhar máquinas ainda melhores; então, sem dúvida, teríamos uma “explosão de inteligência”, e a inteligência do homem ficaria por trás.
I. J. Good, 1966
O mecanismo que eu imagino que possa acontecer é que nós fariamos modelos [de IA] bons em código e em pesquisa de IA, e os usaríamos para produzir a próxima geração de modelos e criar um ciclo que aceleraria o desenvolvimento de modelos. Eu tenho engenheiros dizendo: “Eu não escrevo mais código. Deixo os modelos escreverem; desenvolvo em torno disso.” Podemos estar, não sei, a uma distância de seis a doze meses até o ponto em que um modelo faz, de ponta a ponta, a tarefa de um engenheiro de software.
Dario Amodei, CEO da Anthropic, 2026
Estamos terminando o primeiro mês desse ano e já parece que estamos no início de uma era. Muita dessa sensação se deve à disposição da administração atual dos Estados Unidos de destruir a ordem global pós-Segunda Guerra, além do crescente autoritarismo que parece, pouco a pouco, tomar o que parecia o bastião impenetrável da democracia ocidental. De alguma maneira, a esperança, em março de 2020, de que, em alguns meses, tudo estaria de volta ao normal, após um curto período em que ficaríamos em casa, nunca se concretizou. Saímos da pandemia em um mundo cada vez mais irreconhecível.
A pandemia não foi o único prelúdio de um novo mundo. Em 2020, a OpenAI lançou o GPT-3, uma inteligência artificial que era a primeira capaz de gerar textos coerentes, um problema que parecia impossível dois anos antes. Eu lembro ter falado na época, em um grupo de amigos, que esse era o evento mais importante da década, muito mais do que a própria pandemia. Afinal, uma grande barreira para a criação de uma inteligência geral, capaz de realizar ao menos algumas tarefas ao nível humano ou superior, havia desaparecido.
Bem, estamos em 2026. Uma grande parcela da população usa o ChatGPT quase diariamente, seja para planejar tarefas, tirar dúvidas, ou buscar ajuda terapêutica. O Claude Code já está a caminho de automatizar a arte de escrever código de computador e planilhas do Excel, entre outras tarefas de rotina realizadas no computador. Em São Francisco, mais de um quinto da frota de carros nas ruas é autônoma, e essa frota está se expandindo para outras cidades dos EUA. O mundo está mudando rápido, de maneiras ainda difíceis de internalizar.
Nessa mudança frenética, podem passar despercebidos certos discursos, certas especulações. Mais alguma personalidade de IA deu mais um discurso e mais um fórum qualquer. Somos bombardeados por notícias sobre o avanço da IA, uma nova ferramenta, uma nova ameaça, qualquer coisa. É cansativo, eu sei. Mas, ainda assim, peço a sua atenção, porque desse discurso vem surgindo uma palavra que parece inofensiva, um jargão estranho, mas que promete trazer a maior aposta já feita em nome da humanidade.
Em outras palavras, inteligências artificiais que desenvolvem inteligências artificiais melhores. Até que elas conseguem atingir o nível de uma superinteligência, mais poderosa do que a própria humanidade.
Para entendermos por que isso é tão crítico, basta notar que todo esse avanço que vivemos nos últimos anos, todo esse mundo para o qual estamos sendo jogados, foi feito por mãos humanas. Pesquisadores pensam em quais serão as melhores arquiteturas onde criaremos nossas inteligências, como faremos com que elas processem melhor dados em seu crescimento, de onde virão tais dados, qual será o currículo que usaremos para fazê-las raciocinar, usar ferramentas, trabalhar por mais tempo e serem mais confiáveis. Como que integraremos ela ao mundo, como faremos com que ela ganhe conhecimento ao vivo, como fazê-la ouvir, ver, sentir. Como se ela virasse uma inteligência.
Eu diria que são pesquisadores que também programam todas essas ferramentas, as estufas onde serão crescidas as nossas inteligências, os laboratórios onde as avaliaremos, as interfaces que elas usarão. De fato, até poucos meses atrás, esse era o caso. Um pesquisador era limitado pela necessidade de escrever o seu código, o que podia levar semanas, dependendo da complexidade desse código. Há uma razão pela qual engenheiros de software são tão bem pagos.
Porém, estamos em 2026, e o mundo mudou. Nas palavras de um pesquisador da OpenAI:
Fizemos o server OpenAI MCP em 3 dias, o aplicativo Sora para Android em 3 semanas, e um bando de ferramentas internas construídas pelo Codex [agente de código da OpenAI], revisados pelo Codex.
É difícil ver como a OpenAI conseguiria lançar produtas na velocidade que lança sem o Codex.
Anedoticamente, eu mesmo passo meu tempo revisando planos e PRs, e quase não escrevi nenhum código sério nos últimos 30 dias.
Outro, ao ser perguntado quanto de seu código é escrito por IA, responde: “100%. Eu não escrevo mais código.” Em outras palavras, Dario Amodei acertou ao dizer que levaria seis meses para que a IA passasse a escrever 90% dos códigos da sua empresa.
E agora ele diz que demorará outros doze meses para que ela faça 100% da pesquisa em IA de sua empresa.
Agora, normalmente eu pararia para escrever uma longa e desnecessária análise do porquê isso é perigoso, do porquê não podemos confiar o processo de criação de IAs às próprias IAs, e do risco de perdermos rapidamente o controle do que estamos criando.
Mas vamos ser sinceros, é preciso isso? Vou realmente adiar a publicação desse texto por uma ou duas semanas, só para dizer algo que deveria ser óbvio para quem pensasse por cinco minutos sobre esse problema? Afinal, estamos falando de um processo explosivo, em que entramos em um ciclo de feedback positivo: IAs melhoram IAs que melhoram IAs que melhoram IAs, e logo nenhum humano tem o menor controle sobre o que ocorre.
Porque ainda não sabemos mensurar o risco de uma inteligência artificial futura, criada com as técnicas atuais, voltar-se contra a humanidade. Alguns argumentam que é quase certo que isso acontecerá; outros que é um risco menor, de 20%. O ponto é que esse é um risco reconhecido por todos os desenvolvedores: existe uma razão pela qual todo grande laboratório de IA tem sua própria divisão de alinhamento, sendo esta a ciência que estuda como fazer inteligências artificiais avançadas ter desejos que levem ao bem-estar humano. Uma ciência embrionária, com suas técnicas promissoras, que nos ajudam a alinhar as inteligências atuais, e que rezamos que continuem funcionando em um processo de automelhoria recursiva.
E caso funcione e tenhamos superinteligências alinhadas? Ótimo, agora, como que iremos lidar com um mundo em que temos entidades milhares de vezes mais inteligentes do que o ser humano, capazes de fazer em horas o que talvez levaria décadas para o homem. Quem a controlará? Como fazer com que esse controle não vá embora, de forma gradual, para as próprias máquinas? Como garantir que o resto da humanidade, que não detém o controle dessa inteligência, não se torne obsoleta e irrelevante no mundo? Como que iremos estruturar a nossa própria sociedade em um mundo em que não há mais trabalho? Em outras palavras, dado que evitamos um cenário de Exterminador do Futuro, como evitamos o cenário de Blade Runner?
Lembrando que tais questões terão de ser resolvidas em um mundo que se torna cada dia mais instável.
Então, sendo sincero, vou deixar a análise fria para outro texto. O que eu quero aqui é alertar, para que algum adulto ouça, que o mundo em que estamos vivendo pode mudar subitamente, em um processo que logo estará fora do controle de qualquer um, inclusive dos próprios laboratórios. Não sei se um processo de automelhoria recursiva já funcionará no próximo ano, se ele, por si só, levará a uma superinteligência, e se isso será bom ou não para a humanidade. O que eu sei é que é uma aposta na qual todos nós estamos participando sem o nosso consentimento.
Sendo sincero, nesse momento, eu não consigo ser a favor de outra opção senão uma desaceleração, como defendem movimentos como o PauseAI, o ControlAI, entre outros. E há esperança de que tal desaceleração seja possível. Demis Hassabis, CEO da Google DeepMind, disse essa semana que “se pudéssemos, seria bom avançar em um ritmo mais lento do que o previsto”, e Dario Amodei parece, nesse mesmo evento, concordar. De fato, Demis chegou ao ponto de dizer que talvez fosse a favor de uma pausa caso os seus competidores participassem.
Internalize isso. Os próprios líderes na criação de inteligência artificial admitem que seria melhor parar com a corrida da qual participam, uma em que passaram boa parte da vida investindo.
Bem, o que fazer a respeito disso, então? Para ser sincero, eu não tenho uma resposta fácil. Estou no Brasil, um país que, nacionalismo à parte, está na periferia desse mundo. Sou apenas mais uma criança gritando para que algum adulto apareça, para que mais gente com poder leve a sério o que está por vir.
Mas, enquanto isso, o que posso fazer é juntar a minha voz aos que pedem uma pausa. Adoro o Claude Code; estou usando ele todo dia, mas sinto que estamos em um ponto crítico e que, se nos movermos um pouco mais, podemos cair em um precipício. Enquanto isso, o que posso fazer é escrever, e por meu nome junto aos mais de cem mil que assinaram a Declaração sobre a Superinteligência, incluindo inúmeros especialistas da área, líderes religiosos, artistas, e até alguns funcionários dos próprios desenvolvedores de IA.
Pedimos uma proibição do desenvolvimento de superinteligências, que permanecerá até que
Exista um consenso científico que podemos fazer isso de forma segura.
O público esteja de acordo.
Além disso…
Não, não tenho uma resposta. Desculpe. Só posso torcer para que, se formos estúpidos ao ponto de começar um processo de automelhoria recursiva, tenhamos pelo menos sorte e tudo dê certo.
Mas eu prefiro não ter que contar com tal sorte.