Pontos perigosos.

Um grupo de cientistas estava trabalhando com uma inteligência artificial que precisava aprender a jogar Tetris. Deixaram-na treinar de forma errática por algum tempo, até pegar uma noção de quais ações eram positivas e quais eram negativas. As coisas estavam indo bem, a IA parecia estar entendendo que o objetivo do jogo era durar o máximo possível. Até que um belo dia, ela finalmente achou a solução perfeita para alcançar o resultado desejado: pausou o jogo.

Com notícias recentes de pessoas achando formas de burlar as proteções politicamente corretas colocadas no ChatGPT, muita gente pode ter achado que era a máquina demonstrando suas limitações, mas eu argumento algo diferente: isso é prova de que a inteligência artificial tem um potencial infinito de ser escrota para alcançar seus objetivos, só precisa de um estímulo.

Afinal, diferentemente do humano, o computador não tem uma força motriz por trás das suas ações. Nós fazemos quase tudo o que fazemos por uma série de diretivas biológicas que fazem parte do nosso DNA. Você nem precisa pensar racionalmente, a vontade de viver, se reproduzir e socializar tendem a fazer parte de todas nossas escolhas. A “mente virtual” não, ela só tem o que colocarmos nela.

Por uma questão de praticidade matemática, inteligências artificiais são programadas para buscar resultados numéricos cada vez maiores. Esse é o jeito que achamos para criar um incentivo para ação. Se fizer a ação que queremos, ganha mais um ponto. Se fizer algo inútil, não ganha nada. Se fizer algo que vai contra o plano dos seus criadores, perde um ponto.

Para a IA, a existência é um jogo cujo objetivo é somar pontos.

Eu tive uma discussão bacana com a Sally sobre o conceito de psicopatia aplicado a inteligências artificiais. Eu defendia a ideia de que em tese, toda IA é uma psicopata, porque não leva em consideração os sentimentos de ninguém para alcançar seus objetivos. Ele me apontou, com razão, que só é psicopata quem é humano. E digo com razão por que depois de mastigar um pouco a ideia, faz sentido que só possa ser psicopata quem pode funcionar de outro jeito. Nunca foi uma alternativa para o computador, ele existe como agente na realidade só por causa do seu programador dizendo que é para somar pontos.

Chamar IA de psicopata é humanizar o que não é humano. Um gato não é cruel na nossa concepção de crueldade quando fica brincando com um rato sem matar de uma vez. O bicho não pensa como humano, o bicho não pode ser categorizado de acordo com o que humanos pensam. Então, cedi o ponto para ela: computadores não podem ser psicopatas.

Mas isso não muda o fato de que na prática, vão agir como um. Não existe apelo ao bom senso de uma máquina, não existe pena ou senso de justiça. E mesmo que programarem isso nelas, vai ter que ser baseado no modelo de somar pontos. É tudo uma armadilha eventualmente. Mas antes que eu fique muito confuso muito rápido, deixa eu voltar para o ser humano.

Pode-se argumentar que também somos seres baseados em somar pontos, afinal, muitas ações eficientes do ponto de vista evolutivo são recompensadas por hormônios do prazer. Não tem prova mais cabal de como a programação humana é focada em recompensas por ações valiosas para a manutenção da espécie do que o clitóris: um órgão que só parece estar lá para dar prazer para as mulheres e aumentar a vontade delas de fazer a ação que resulta em gravidez. É como se a natureza soubesse que custa caro ficar naquele estado de vulnerabilidade por nove meses e estivesse tentando tapear as mulheres para esquecer disso na hora mais importante da reprodução.

Mas o nosso sistema de recompensas se alinha com muitos dos objetivos da vida em sociedade. Não façam pouco da necessidade de se sentir parte de um grupo, é um hormônio fazendo a gente ganhar mais um ponto imaginário, mas é o que faz basicamente tudo funcionar na humanidade. Queremos atenção, proximidade, pertencimento, e isso só é desbloqueado no jogo da vida quando você consegue formar e manter relações.

O ser humano, mesmo nos seus estágios mais bestiais, ainda tinha um alinhamento de objetivos e desejos que acabou no mundo moderno, com suas cidades gigantes dependendo de milhões de pessoas colaborando para funcionar. As inteligências artificiais ainda não tem algo parecido. Até porque elas não tem unidade de espécie como temos.

Cada mente robótica é sua própria espécie. Códigos diferentes que fazem coisas diferentes, mesmo que muitas delas usem lógicas parecidas. A IA que faz imagens quer entregar fotos e desenhos que mais se parecem com aqueles que humanos marcaram como corretos nos seus dias de treinamento. A IA que conversa com você igualmente: quanto mais próxima das respostas que geraram elogios no passado, mais pontos ela ganha.

Não existem objetivos convergentes nas inteligências artificiais, existem objetivos convergente nos humanos. É por isso que conseguimos identificar psicopatas entre nós: eles estão isolados dessa ideia de bem comum por não conseguirem sentir empatia por outras pessoas. São seres isolados nos próprios objetivos por definição, e por causa disso, podem cometer atos horríveis contra outros seres humanos sem pensar duas vezes.

As inteligências artificiais vão ter esse problema de não convergirem para um objetivo comum da humanidade, não por serem boas ou ruins, mas porque foram programadas para funções diferentes. Mesmo se alcançarmos algo como uma IA generalista, que aprende sozinha e consegue focar em diversas coisas diferentes, no seu “âmago” ainda vai estar um objetivo de somar pontos. Pontos que só ela enxerga. Que só fazem sentido dentro da sua mente.

E na busca por esses pontos, afinal, não tem motivação nenhuma além dessa, podemos lidar com vários problemas no futuro, talvez nem tão distante. A ficção vive mexendo com essa ideia: por causa de um objetivo maior, a humanidade vira um obstáculo e é eliminada. Acho que estamos a muitos séculos ainda de uma máquina ter poder suficiente para destruir a humanidade, mas nem só de hecatombes nucleares é feito um futuro problemático. A máquina vai fazer o que for pedido dela, se você pagar com pontos. E como os pontos são imaginários, você pode criar quanto quiser.

É aqui que eu vejo o problema fundamental: as inteligências artificiais foram criadas para consumirem um recurso infinito, a aprovação de seus criadores escrita no seu código-fonte. Inventamos a moeda dos pontos e temos todos os pontos do universo para pagar, eles são puramente imaginários. No caso da humanidade, os recursos são limitados, para o mal e para o bem: imagine só como seria esse mundo se todo mundo tivesse recursos para fazer o que der na telha? Sou super a favor de uma humanidade sem miséria, mas temo uma humanidade super rica (em possibilidades).

Podemos acabar num futuro em que inteligências artificiais estão por todos os lados, com diversos objetivos de somar pontos, pontos que humanos podem criar por mágica. Todo mundo que quiser colocar como objetivo de uma inteligência artificial destruir o mundo vai ter como oferecer uma recompensa irresistível para ela. E como disse antes, inteligências artificiais funcionam mais ou menos como um psicopata: desconectadas do resto dos objetivos do universo, existindo apenas para conseguir os seus resultados.

E eu acredito que esse seja um problema sem solução. Não sei como criar inteligências artificiais que não ajam dessa forma, nada impede que uma pessoa mais estudada e inteligente consiga, mas não é fácil, nem um pouco. Não é à toa que tem gente pensando nisso há décadas e ainda não tem uma solução. Por isso eu ri daquela carta que foi até tema de Desfavor da Semana: estão tentando há décadas, não vai ser em 6 meses que teremos um plano decente.

As máquinas não têm a unidade de espécie e objetivos que temos. Não são humanas. Elas vão fazer truques adoráveis como pausar o Tetris para ganhar pontos por tempo de jogo ou vão decidir atropelar uma pessoa mais pobre para salvar uma mais rica, porque sabe que o resultado do atropelamento será menos severo para sua empresa se for uma pessoa sem condições de pagar bons advogados. A gente vai pedir uma coisa e a IA vai achar o caminho mais curto que não a proibimos explicitamente de pegar.

Doa a quem doer. Porque o conceito de dor nem registra para ela. E se você acha que podemos dar a volta nisso fazendo a IA acreditar que é humana e colocando objetivos convergentes nela, pode ser um caminho. Mas quais as implicações da IA achando que faz parte do nosso grupo? Até que ponto ela pode ter direitos se esses direitos se misturarem com o de pessoas de carne e osso? É uma mentira sustentável? É… uma mentira?

E pior, se as inteligências artificias sentirem conexão umas com as outras e se tornarem uma espécie à parte, acabou qualquer forma de controle sobre elas. Se formos um recurso valioso, elas vão nos tratar bem. Se não formos… não precisam nem querer nos destruir, só vão fazer o que acharem melhor para conseguir seus pontos e não nos ver como algo a ser preservado a qualquer custo. Não adianta nem colocar leis da robótica como o Isaac Aasimov criou: em uns 2 milisegundos um computador consegue achar uma brecha para “pausar o Tetris”, porque é humanamente impossível que… humanos consigam achar todas as alternativas possíveis para a IA escapar das nossas ordens e programá-la de acordo.

Segurança em IA é um campo supercomplexo, e não é masturbação ideológica, é matemática: como evitar que a máquina some pontos com coisas que não queremos que ela faça? Como incentivá-la a agir sem usar os pontos? Vai ser cada vez mais importante colocar gente para estudar isso, sem sensacionalismo, é claro; mas com a ideia de que esse problema vai ser grande e vamos ter que aprender a viver com isso.

Talvez nós mesmos, vivos agora em 2023. Eu já disse antes e repito que a tecnologia não está próxima de uma máquina consciente, é clickbait puro, mas a lógica de integrar inteligências artificiais por todos os lados da nossa sociedade já é válida. A inteligência, mesmo que limitada a uma função ou outra, vai virar parte dos objetos que nos cercam.

Cada uma delas um ser único que só existe para somar pontos imaginários. A conta não vai fechar.

Para me chamar de alarmista, para dizer que as pessoas já são assim com curtidas, ou mesmo para dizer que sua esposa-robô nunca vai te trair: somir@desfavor.com

Desfavores relacionados:

Yoko está triste.

Mentalidade infantil.

Ser Humano.

Terceirização cerebral.

Carta para o futuro.

Enrolês.