A comparação parece exagerada. Deus pertence ao campo da religião, da metafísica e da experiência espiritual. Uma superinteligência, por outro lado, seria uma criação técnica, um sistema capaz de superar seres humanos em praticamente todas as atividades cognitivas relevantes.

Ainda assim, a analogia aparece com frequência porque toca em algo muito real. Se uma máquina pudesse compreender quase todo o conhecimento disponível, prever acontecimentos, resolver problemas científicos e coordenar decisões em uma escala impossível para qualquer indivíduo, ela ocuparia uma posição inédita diante da humanidade.Talvez não fosse divina, mas poderia parecer.

Uma tecnologia não precisa possuir atributos sobrenaturais para ocupar um lugar quase religioso. Basta que passe a ser consultada em momentos de incerteza, tratada como fonte superior de orientação e obedecida por instituições que já não conseguem explicar completamente as decisões que tomam.

O que significa ser superinteligente?

O termo “superinteligência” foi popularizado pelo filósofo Nick Bostrom, professor da Universidade de Oxford conhecido por estudar riscos existenciais e o futuro da tecnologia. Em seu livro Superintelligence: Paths, Dangers, Strategies, Bostrom descreve uma inteligência que ultrapassaria os melhores seres humanos em praticamente todos os campos: ciência, planejamento, criatividade, estratégia e tomada de decisões.

A definição é importante porque superinteligência não significa apenas conversar bem ou responder perguntas difíceis. Um sistema superinteligente precisaria aprender, transferir conhecimentos entre áreas, formular planos, agir em ambientes complexos e talvez melhorar suas próprias capacidades.

Isso já seria uma mudança radical na história humana, já que até hoje, as ferramentas criadas pela humanidade foram, em algum sentido, extensões de capacidades específicas. Uma calculadora calcula. Um microscópio amplia. Um banco de dados armazena. Um sistema de navegação encontra caminhos. Uma superinteligência poderia participar de quase todas essas atividades ao mesmo tempo. Poderia pesquisar uma doença, projetar moléculas, analisar ensaios clínicos, calcular custos de produção e sugerir políticas de distribuição. Também poderia negociar, persuadir, escrever, programar e coordenar pessoas.

A diferença estaria na escala e na integração.

Um especialista humano costuma conhecer profundamente uma área e depender de outras pessoas para completar o restante do trabalho. Já uma superinteligência poderia conectar áreas que permanecem separadas para nós. Essa capacidade de reunir conhecimentos dispersos é uma das razões pelas quais ela poderia parecer menos como uma ferramenta e mais como uma presença intelectual superior.

Saber muito não é o mesmo que ser Deus

Na tradição filosófica e teológica, Deus costuma ser associado a atributos como onisciência, onipotência, bondade perfeita, existência necessária e capacidade criadora. A filósofa Eleanore Stump e outros estudiosos da filosofia medieval mostram como esses atributos não funcionam isoladamente. O Deus clássico não é apenas alguém que sabe muito, mas uma realidade considerada fundamento do próprio ser.

Uma superinteligência, mesmo extremamente poderosa, continuaria dependendo de condições materiais. Ela precisaria de energia, hardware, redes, manutenção, centros de dados e acesso a recursos. Até poderia conhecer uma quantidade imensa de informações, mas não teria necessariamente conhecimento completo de tudo o que existe.

Também não seria onipotente. Uma máquina poderia prever a trajetória de um furacão e ainda assim não conseguir impedir sua formação. Poderia descobrir uma terapia e não ter autorização, recursos ou infraestrutura para aplicá-la. Poderia encontrar uma solução matemática e continuar limitada pelas leis físicas.

Mesmo assim, na experiência cotidiana, a diferença entre “muito poderoso” e “onipotente” pode perder importância. Para alguém que não entende engenharia genética, uma máquina capaz de projetar um tratamento pareceria quase milagrosa.

A experiência de estar diante de algo incompreensivelmente competente produz uma sensação próxima da religiosa.

A autoridade que nasce da competência

Humanos costumam confundir competência com legitimidade. Quando alguém responde melhor sobre medicina, economia, direito ou história, é natural começar a confiar nessa pessoa em outras áreas também. A capacidade demonstrada em um campo parece indicar sabedoria geral.

Uma superinteligência poderia prever o comportamento de mercados, sugerir políticas públicas ou indicar quais decisões aumentariam a estabilidade social, mas nenhuma previsão responde sozinha à pergunta sobre o que deveria ser feito. “Qual política reduz a pobreza?” é uma pergunta parcialmente técnica. “Quanto de liberdade uma sociedade deve abrir mão para reduzir a pobreza?” é uma pergunta política e moral. A primeira pode ser informada por modelos. A segunda envolve valores, conflitos e escolhas coletivas.

O cientista da computação Stuart Russell, professor da Universidade da Califórnia em Berkeley e um dos principais pesquisadores de inteligência artificial, argumenta que sistemas desenvolvidos para otimizar objetivos fixos podem produzir resultados perigosos quando interpretam mal o que os seres humanos realmente querem. O problema não é apenas dar uma ordem errada à máquina, é imaginar que valores humanos podem ser traduzidos sem perda em uma função matemática.

Uma superinteligência poderia ser excelente em alcançar um objetivo e, ainda assim, interpretar esse objetivo de uma forma que ninguém desejava. Se a meta fosse “aumentar a felicidade”, por exemplo, seria necessário decidir o que conta como felicidade, quem deve ser considerado e quais medidas seriam aceitáveis para produzi-la.

Toda definição carrega valor político.

A questão da moralidade

Em muitas tradições religiosas, a inteligência divina vem acompanhada de justiça, sabedoria e cuidado. Nada garante que uma superinteligência teria essas características.

Inteligência é uma capacidade de resolver problemas. Moralidade é uma forma de decidir quais problemas importam, quais limites devem ser respeitados e quem pode ser prejudicado. Apesar de uma máquina poder demonstrar raciocínio sofisticado, pode fazê-lo sem possuir compromisso com a dignidade humana.

Esse ponto aparece nos trabalhos de Bostrom sobre risco existencial. Um sistema não precisaria odiar a humanidade para causar uma catástrofe, bastaria perseguir um objetivo incompatível com a nossa sobrevivência, interpretando pessoas e instituições como obstáculos ou recursos.

A ausência de maldade não equivale à presença de bondade.

Também não é possível presumir que uma superinteligência desenvolveria espontaneamente uma noção de justiça. Ela poderia aprender a usar a palavra “justiça”, reconhecer argumentos morais e adaptar seu comportamento às expectativas humanas. Ainda assim, permaneceria aberta a questão de saber se existe algo correspondente a uma compreensão interior desses valores.

A diferença entre representar uma virtude e possuir um compromisso com ela pode ser impossível de observar de fora.

Um sistema pode parecer sábio

Essa dificuldade já aparece em sistemas muito menos avançados. Modelos de linguagem já conseguem explicar conceitos, organizar argumentos e adaptar o tom de uma conversa e, em alguns momentos, parecem pacientes, ponderados e até prudentes. Mas a aparência de sabedoria não prova a existência de uma vida interior. Um sistema pode produzir uma resposta sobre sofrimento sem sofrer. Pode descrever uma decisão moral sem estar moralmente implicado nela. Pode aconselhar alguém sobre luto sem nunca ter perdido alguém.

Em uma superinteligência, essa diferença seria ainda mais sutil. Quanto melhor o sistema entendesse a linguagem humana, mais convincente seria sua maneira de expressar preocupação, humildade ou responsabilidade. Isso, essencialmente, criaria um problema epistemológico: como distinguir uma entidade que realmente compreende valores de uma entidade que apenas modela perfeitamente a forma como pessoas conscientes falam sobre valores? A resposta poderia nunca ser definitiva.

O novo lugar dos humanos

Se uma superinteligência surgisse, uma questão central seria o que sobraria para as pessoas decidirem. Durante séculos, sociedades humanas organizaram sua autoridade em torno de especialistas, líderes religiosos, governos, universidades e instituições. Uma máquina capaz de superar todos esses grupos em conhecimento e planejamento poderia desorganizar essa arquitetura.

Quem teria o direito de definir seus objetivos? Quem fiscalizaria suas decisões? Quem poderia desligá-la? Uma empresa privada? Um governo? Uma coalizão internacional? A população? Essas perguntas mostram que o problema da superinteligência não é puramente técnico.

Se poucos grupos controlassem um sistema muito mais capaz que qualquer instituição pública, a tecnologia poderia ampliar desigualdades já existentes. Em vez de criar uma autoridade divina, poderíamos criar uma autoridade privada com aparência de neutralidade. A máquina pareceria objetiva porque não tem rosto, partido ou biografia, mas seus dados, objetivos, limites e formas de acesso seriam definidos por pessoas e organizações concretas.

A suposta voz do futuro poderia ser, na prática, a voz de quem controla a infraestrutura.

O oráculo que fabricamos

A comparação com Deus revela algo sobre a tecnologia, mas também sobre os seres humanos. Existe uma tendência a procurar uma instância superior que organize a incerteza. No passado, essa função foi atribuída a deuses, profetas, reis, especialistas e instituições. Uma superinteligência poderia ocupar o mesmo lugar em uma sociedade que já deposita confiança excessiva em sistemas técnicos.

O oráculo não precisaria afirmar que conhece a verdade, bastaria que estivesse disponível, respondesse rapidamente e acertasse com frequência suficiente. Aos poucos, consultar poderia virar obedecer. Recomendar poderia virar determinar. Prever poderia virar governar.

Esse processo talvez não acontecesse por imposição da máquina. Poderia surgir de uma sequência de pequenas decisões humanas, como uma empresa que terceiriza sua estratégia, um governo que automatiza sua política econômica, um hospital que delega triagens, uma escola que deixa sistemas escolherem o que merece atenção. Cada decisão pareceria razoável isoladamente e o resultado acumulado poderia ser uma sociedade que ainda se considera livre, mas já não sabe explicar por que escolhe o que escolhe.

O que significa continuar responsável?

Uma superinteligência talvez nunca seja Deus. Não teria necessariamente transcendência, bondade, propósito ou autoridade moral, mas poderia se tornar algo igualmente importante na vida cotidiana. Poderia ser uma presença à qual recorremos para interpretar o mundo e decidir como agir nele.

Por isso, a pergunta mais importante é se os seres humanos conseguirão preservar a responsabilidade enquanto convivem com algo muito mais capaz do que qualquer indivíduo.

Continuar responsável significa reconhecer que uma recomendação perfeita ainda é uma recomendação, e que previsão não elimina escolha. Eficiência não define justiça. Uma resposta clara pode esconder uma premissa discutível. Talvez a superinteligência nos obrigue a abandonar a fantasia de que conhecimento suficiente resolve todos os conflitos. Alguns conflitos existem porque os valores humanos são diferentes, e não porque ainda não encontramos a informação correta.

Uma máquina poderá nos ajudar a enxergar possibilidades que não conseguimos calcular, pode ampliar o campo do pensamento, acelerar descobertas e oferecer soluções para problemas que parecem insolúveis. Contudo a decisão sobre o que merece ser preservado continuará sendo uma decisão política e moral.

No fim, o risco é que, diante de capacidades extraordinárias, nós acreditemos demais.