Um grupo de cientistas estava trabalhando com uma intelig\u00eancia artificial que precisava aprender a jogar Tetris. Deixaram-na treinar de forma err\u00e1tica por algum tempo, at\u00e9 pegar uma no\u00e7\u00e3o de quais a\u00e7\u00f5es eram positivas e quais eram negativas. As coisas estavam indo bem, a IA parecia estar entendendo que o objetivo do jogo era durar o m\u00e1ximo poss\u00edvel. At\u00e9 que um belo dia, ela finalmente achou a solu\u00e7\u00e3o perfeita para alcan\u00e7ar o resultado desejado: pausou o jogo.<\/p>\n
Com not\u00edcias recentes de pessoas achando formas de burlar as prote\u00e7\u00f5es politicamente corretas colocadas no ChatGPT, muita gente pode ter achado que era a m\u00e1quina demonstrando suas limita\u00e7\u00f5es, mas eu argumento algo diferente: isso \u00e9 prova de que a intelig\u00eancia artificial tem um potencial infinito de ser escrota para alcan\u00e7ar seus objetivos, s\u00f3 precisa de um est\u00edmulo.<\/p>\n
Afinal, diferentemente do humano, o computador n\u00e3o tem uma for\u00e7a motriz por tr\u00e1s das suas a\u00e7\u00f5es. N\u00f3s fazemos quase tudo o que fazemos por uma s\u00e9rie de diretivas biol\u00f3gicas que fazem parte do nosso DNA. Voc\u00ea nem precisa pensar racionalmente, a vontade de viver, se reproduzir e socializar tendem a fazer parte de todas nossas escolhas. A \u201cmente virtual\u201d n\u00e3o, ela s\u00f3 tem o que colocarmos nela.<\/p>\n
Por uma quest\u00e3o de praticidade matem\u00e1tica, intelig\u00eancias artificiais s\u00e3o programadas para buscar resultados num\u00e9ricos cada vez maiores. Esse \u00e9 o jeito que achamos para criar um incentivo para a\u00e7\u00e3o. Se fizer a a\u00e7\u00e3o que queremos, ganha mais um ponto. Se fizer algo in\u00fatil, n\u00e3o ganha nada. Se fizer algo que vai contra o plano dos seus criadores, perde um ponto.<\/p>\n
Para a IA, a exist\u00eancia \u00e9 um jogo cujo objetivo \u00e9 somar pontos.<\/p>\n
Eu tive uma discuss\u00e3o bacana com a Sally sobre o conceito de psicopatia aplicado a intelig\u00eancias artificiais. Eu defendia a ideia de que em tese, toda IA \u00e9 uma psicopata, porque n\u00e3o leva em considera\u00e7\u00e3o os sentimentos de ningu\u00e9m para alcan\u00e7ar seus objetivos. Ele me apontou, com raz\u00e3o, que s\u00f3 \u00e9 psicopata quem \u00e9 humano. E digo com raz\u00e3o por que depois de mastigar um pouco a ideia, faz sentido que s\u00f3 possa ser psicopata quem pode funcionar de outro jeito. Nunca foi uma alternativa para o computador, ele existe como agente na realidade s\u00f3 por causa do seu programador dizendo que \u00e9 para somar pontos.<\/p>\n
Chamar IA de psicopata \u00e9 humanizar o que n\u00e3o \u00e9 humano. Um gato n\u00e3o \u00e9 cruel na nossa concep\u00e7\u00e3o de crueldade quando fica brincando com um rato sem matar de uma vez. O bicho n\u00e3o pensa como humano, o bicho n\u00e3o pode ser categorizado de acordo com o que humanos pensam. Ent\u00e3o, cedi o ponto para ela: computadores n\u00e3o podem ser psicopatas.<\/p>\n
Mas isso n\u00e3o muda o fato de que na pr\u00e1tica, v\u00e3o agir como um. N\u00e3o existe apelo ao bom senso de uma m\u00e1quina, n\u00e3o existe pena ou senso de justi\u00e7a. E mesmo que programarem isso nelas, vai ter que ser baseado no modelo de somar pontos. \u00c9 tudo uma armadilha eventualmente. Mas antes que eu fique muito confuso muito r\u00e1pido, deixa eu voltar para o ser humano.<\/p>\n
Pode-se argumentar que tamb\u00e9m somos seres baseados em somar pontos, afinal, muitas a\u00e7\u00f5es eficientes do ponto de vista evolutivo s\u00e3o recompensadas por horm\u00f4nios do prazer. N\u00e3o tem prova mais cabal de como a programa\u00e7\u00e3o humana \u00e9 focada em recompensas por a\u00e7\u00f5es valiosas para a manuten\u00e7\u00e3o da esp\u00e9cie do que o clit\u00f3ris: um \u00f3rg\u00e3o que s\u00f3 parece estar l\u00e1 para dar prazer para as mulheres e aumentar a vontade delas de fazer a a\u00e7\u00e3o que resulta em gravidez. \u00c9 como se a natureza soubesse que custa caro ficar naquele estado de vulnerabilidade por nove meses e estivesse tentando tapear as mulheres para esquecer disso na hora mais importante da reprodu\u00e7\u00e3o.<\/p>\n
Mas o nosso sistema de recompensas se alinha com muitos dos objetivos da vida em sociedade. N\u00e3o fa\u00e7am pouco da necessidade de se sentir parte de um grupo, \u00e9 um horm\u00f4nio fazendo a gente ganhar mais um ponto imagin\u00e1rio, mas \u00e9 o que faz basicamente tudo funcionar na humanidade. Queremos aten\u00e7\u00e3o, proximidade, pertencimento, e isso s\u00f3 \u00e9 desbloqueado no jogo da vida quando voc\u00ea consegue formar e manter rela\u00e7\u00f5es.<\/p>\n
O ser humano, mesmo nos seus est\u00e1gios mais bestiais, ainda tinha um alinhamento de objetivos e desejos que acabou no mundo moderno, com suas cidades gigantes dependendo de milh\u00f5es de pessoas colaborando para funcionar. As intelig\u00eancias artificiais ainda n\u00e3o tem algo parecido. At\u00e9 porque elas n\u00e3o tem unidade de esp\u00e9cie como temos.<\/p>\n
Cada mente rob\u00f3tica \u00e9 sua pr\u00f3pria esp\u00e9cie. C\u00f3digos diferentes que fazem coisas diferentes, mesmo que muitas delas usem l\u00f3gicas parecidas. A IA que faz imagens quer entregar fotos e desenhos que mais se parecem com aqueles que humanos marcaram como corretos nos seus dias de treinamento. A IA que conversa com voc\u00ea igualmente: quanto mais pr\u00f3xima das respostas que geraram elogios no passado, mais pontos ela ganha.<\/p>\n
N\u00e3o existem objetivos convergentes nas intelig\u00eancias artificiais, existem objetivos convergente nos humanos. \u00c9 por isso que conseguimos identificar psicopatas entre n\u00f3s: eles est\u00e3o isolados dessa ideia de bem comum por n\u00e3o conseguirem sentir empatia por outras pessoas. S\u00e3o seres isolados nos pr\u00f3prios objetivos por defini\u00e7\u00e3o, e por causa disso, podem cometer atos horr\u00edveis contra outros seres humanos sem pensar duas vezes.<\/p>\n
As intelig\u00eancias artificiais v\u00e3o ter esse problema de n\u00e3o convergirem para um objetivo comum da humanidade, n\u00e3o por serem boas ou ruins, mas porque foram programadas para fun\u00e7\u00f5es diferentes. Mesmo se alcan\u00e7armos algo como uma IA generalista, que aprende sozinha e consegue focar em diversas coisas diferentes, no seu \u201c\u00e2mago\u201d ainda vai estar um objetivo de somar pontos. Pontos que s\u00f3 ela enxerga. Que s\u00f3 fazem sentido dentro da sua mente.<\/p>\n
E na busca por esses pontos, afinal, n\u00e3o tem motiva\u00e7\u00e3o nenhuma al\u00e9m dessa, podemos lidar com v\u00e1rios problemas no futuro, talvez nem t\u00e3o distante. A fic\u00e7\u00e3o vive mexendo com essa ideia: por causa de um objetivo maior, a humanidade vira um obst\u00e1culo e \u00e9 eliminada. Acho que estamos a muitos s\u00e9culos ainda de uma m\u00e1quina ter poder suficiente para destruir a humanidade, mas nem s\u00f3 de hecatombes nucleares \u00e9 feito um futuro problem\u00e1tico. A m\u00e1quina vai fazer o que for pedido dela, se voc\u00ea pagar com pontos. E como os pontos s\u00e3o imagin\u00e1rios, voc\u00ea pode criar quanto quiser.<\/p>\n
\u00c9 aqui que eu vejo o problema fundamental: as intelig\u00eancias artificiais foram criadas para consumirem um recurso infinito, a aprova\u00e7\u00e3o de seus criadores escrita no seu c\u00f3digo-fonte. Inventamos a moeda dos pontos e temos todos os pontos do universo para pagar, eles s\u00e3o puramente imagin\u00e1rios. No caso da humanidade, os recursos s\u00e3o limitados, para o mal e para o bem: imagine s\u00f3 como seria esse mundo se todo mundo tivesse recursos para fazer o que der na telha? Sou super a favor de uma humanidade sem mis\u00e9ria, mas temo uma humanidade super rica (em possibilidades).<\/p>\n
Podemos acabar num futuro em que intelig\u00eancias artificiais est\u00e3o por todos os lados, com diversos objetivos de somar pontos, pontos que humanos podem criar por m\u00e1gica. Todo mundo que quiser colocar como objetivo de uma intelig\u00eancia artificial destruir o mundo vai ter como oferecer uma recompensa irresist\u00edvel para ela. E como disse antes, intelig\u00eancias artificiais funcionam mais ou menos como um psicopata: desconectadas do resto dos objetivos do universo, existindo apenas para conseguir os seus resultados.<\/p>\n
E eu acredito que esse seja um problema sem solu\u00e7\u00e3o. N\u00e3o sei como criar intelig\u00eancias artificiais que n\u00e3o ajam dessa forma, nada impede que uma pessoa mais estudada e inteligente consiga, mas n\u00e3o \u00e9 f\u00e1cil, nem um pouco. N\u00e3o \u00e9 \u00e0 toa que tem gente pensando nisso h\u00e1 d\u00e9cadas e ainda n\u00e3o tem uma solu\u00e7\u00e3o. Por isso eu ri daquela carta que foi at\u00e9 tema de Desfavor da Semana: est\u00e3o tentando h\u00e1 d\u00e9cadas, n\u00e3o vai ser em 6 meses que teremos um plano decente.<\/p>\n
As m\u00e1quinas n\u00e3o t\u00eam a unidade de esp\u00e9cie e objetivos que temos. N\u00e3o s\u00e3o humanas. Elas v\u00e3o fazer truques ador\u00e1veis como pausar o Tetris para ganhar pontos por tempo de jogo ou v\u00e3o decidir atropelar uma pessoa mais pobre para salvar uma mais rica, porque sabe que o resultado do atropelamento ser\u00e1 menos severo para sua empresa se for uma pessoa sem condi\u00e7\u00f5es de pagar bons advogados. A gente vai pedir uma coisa e a IA vai achar o caminho mais curto que n\u00e3o a proibimos explicitamente de pegar.<\/p>\n
Doa a quem doer. Porque o conceito de dor nem registra para ela. E se voc\u00ea acha que podemos dar a volta nisso fazendo a IA acreditar que \u00e9 humana e colocando objetivos convergentes nela, pode ser um caminho. Mas quais as implica\u00e7\u00f5es da IA achando que faz parte do nosso grupo? At\u00e9 que ponto ela pode ter direitos se esses direitos se misturarem com o de pessoas de carne e osso? \u00c9 uma mentira sustent\u00e1vel? \u00c9… uma mentira?<\/p>\n
E pior, se as intelig\u00eancias artificias sentirem conex\u00e3o umas com as outras e se tornarem uma esp\u00e9cie \u00e0 parte, acabou qualquer forma de controle sobre elas. Se formos um recurso valioso, elas v\u00e3o nos tratar bem. Se n\u00e3o formos… n\u00e3o precisam nem querer nos destruir, s\u00f3 v\u00e3o fazer o que acharem melhor para conseguir seus pontos e n\u00e3o nos ver como algo a ser preservado a qualquer custo. N\u00e3o adianta nem colocar leis da rob\u00f3tica como o Isaac Aasimov criou: em uns 2 milisegundos um computador consegue achar uma brecha para \u201cpausar o Tetris\u201d, porque \u00e9 humanamente imposs\u00edvel que… humanos consigam achar todas as alternativas poss\u00edveis para a IA escapar das nossas ordens e program\u00e1-la de acordo.<\/p>\n
Seguran\u00e7a em IA \u00e9 um campo supercomplexo, e n\u00e3o \u00e9 masturba\u00e7\u00e3o ideol\u00f3gica, \u00e9 matem\u00e1tica: como evitar que a m\u00e1quina some pontos com coisas que n\u00e3o queremos que ela fa\u00e7a? Como incentiv\u00e1-la a agir sem usar os pontos? Vai ser cada vez mais importante colocar gente para estudar isso, sem sensacionalismo, \u00e9 claro; mas com a ideia de que esse problema vai ser grande e vamos ter que aprender a viver com isso.<\/p>\n
Talvez n\u00f3s mesmos, vivos agora em 2023. Eu j\u00e1 disse antes e repito que a tecnologia n\u00e3o est\u00e1 pr\u00f3xima de uma m\u00e1quina consciente, \u00e9 clickbait puro, mas a l\u00f3gica de integrar intelig\u00eancias artificiais por todos os lados da nossa sociedade j\u00e1 \u00e9 v\u00e1lida. A intelig\u00eancia, mesmo que limitada a uma fun\u00e7\u00e3o ou outra, vai virar parte dos objetos que nos cercam.<\/p>\n
Cada uma delas um ser \u00fanico que s\u00f3 existe para somar pontos imagin\u00e1rios. A conta n\u00e3o vai fechar.<\/p>\n