contei a hist\u00f3ria de uma intelig\u00eancia artificial que destruiu o mundo criando clipes de papel<\/a>. O texto \u00e9 baseado num exerc\u00edcio de pensamento famoso no ramo de intelig\u00eancia artificial, concebido pelo fil\u00f3sofo sueco Nick Bostrom. A ideia \u00e9 nos fazer rever algumas ideias sobre intelig\u00eancia em geral, desassociando-as de conceitos humanos como \u201cbom\u201d ou \u201cmau\u201d, e percebendo o incr\u00edvel poder que ela tem para agir na realidade. <\/p>\nHoje, como prometido, falamos dos conceitos abordados naquele texto:<\/p>\n
O que aconteceu ali? Primeiro, vamos definir o que \u00e9 uma intelig\u00eancia artificial geral. Quando falamos de intelig\u00eancia artificial no dia a dia, estamos quase sempre falando da vers\u00e3o limitada. Intelig\u00eancia artificial limitada \u00e9 a que nos cerca atualmente, s\u00e3o programas e m\u00e1quinas que foram criadas para fazer uma coisa e uma coisa s\u00f3. O mesmo programa que vence qualquer enxadrista do mundo com facilidade n\u00e3o conseguiria vencer uma crian\u00e7a jogando damas, nem saberia por onde come\u00e7ar. O carro inteligente que se dirige sozinho entende sinais, faixas e calcula perfeitamente velocidades, mas \u00e9 incapaz de reconhecer que tem algo de errado com uma mulher pedindo carona de madrugada numa estrada escura. Por isso que chamamos de limitada: pode ser melhor que qualquer pessoa em uma tarefa, mas n\u00e3o consegue usar sua intelig\u00eancia para mais nada.<\/p>\n
J\u00e1 a intelig\u00eancia artificial geral – que vou chamar de AGI (a sigla em ingl\u00eas) a partir de agora \u2013 \u00e9 muito mais pr\u00f3xima do que consideramos intelig\u00eancia entre seres humanos. \u00c9 a capacidade de aprender sobre in\u00fameros temas diferentes, fazer rela\u00e7\u00f5es entre eles e agir de acordo. Os rob\u00f4s da fic\u00e7\u00e3o cient\u00edfica normalmente s\u00e3o dotados de AGI, pois eles conseguem conversar com pessoas e se adaptar a basicamente qualquer situa\u00e7\u00e3o nova, assim como n\u00f3s. Ainda n\u00e3o chegamos na AGI. Intelig\u00eancias artificiais atuais come\u00e7am a desenvolver algumas dessas caracter\u00edsticas, como o projeto Alpha do Google, que virou o melhor jogador do mundo de Xadrez e Go sem precisar ser diretamente ensinado a jogar por humanos. Mesmo assim, o Alpha ainda n\u00e3o consegue conversar ou aprender sobre a nossa sociedade e costumes da mesma forma. Menos limitado, mas limitado mesmo assim.<\/p>\n
Agora que estabelecemos isso, vamos falar sobre os medos comuns relacionados como AGIs: domina\u00e7\u00e3o global, destrui\u00e7\u00e3o da humanidade, tirania… aqueles comportamentos \u00e0 l\u00e1 Skynet que aprendemos a temer com a fic\u00e7\u00e3o. Mas na realidade, nenhuma intelig\u00eancia \u00e9 inerentemente boa ou ruim. Nem mesmo as org\u00e2nicas, como n\u00f3s. Temos objetivos, e de acordo com eles, agimos no mundo influenciando e impactando outras vidas, inteligentes ou n\u00e3o. E \u00e9 a\u00ed que reside o verdadeiro perigo.<\/p>\n
Existem dois tipos de objetivo quando falamos de uma intelig\u00eancia: objetivos finais e objetivos instrumentais. Objetivos finais s\u00e3o os lugares onde queremos chegar, objetivos instrumentais s\u00e3o os passos necess\u00e1rios para isso. Num exemplo mais pr\u00e1tico: seu objetivo final pode ser encontrar uma pessoa para amar. Para isso voc\u00ea precisa completar diversas tarefas diferentes, desde cuidar da apar\u00eancia at\u00e9 mesmo sair para encontrar pessoas novas. E o que configura sucesso nos objetivos instrumentais est\u00e1 diretamente ligado ao quanto te aproxima do objetivo final. Mantendo o exemplo: se voc\u00ea sai de casa seguidas vezes para encontrar pessoas e nenhum desses encontros \u00e9 frut\u00edfero, voc\u00ea fica frustrado, mesmo que tenha gostado de sair e de outros elementos do programa, como beber, dan\u00e7ar ou vestir roupas bacanas.<\/p>\n
Objetivo final \u00e9 seu prop\u00f3sito, objetivo instrumental \u00e9 o que voc\u00ea faz at\u00e9 chegar l\u00e1. Dando um pulinho at\u00e9 a psicologia humana: \u00e9 muito por isso que v\u00e1rias pessoas sentem-se vazias, mesmo que tudo o que fa\u00e7am pare\u00e7a divertido ou recompensador visto de fora. O famoso caso do rico depressivo. Se a sua vida n\u00e3o converge para seus objetivos finais, as coisas v\u00e3o perdendo a gra\u00e7a. Esse tema \u00e9 grande, e rende uma ind\u00fastria inteira de conte\u00fado, que vai desde a auto-ajuda mais banal at\u00e9 os maiores tratados de psicologia e filosofia. Mesmo com nomes diferentes, as ideias que temos sobre objetivos convergem no mesmo sentido utilizado para a intelig\u00eancia artificial: tem o que voc\u00ea quer e como voc\u00ea chega l\u00e1.<\/p>\n
O perigo mencionado anteriormente est\u00e1 relacionado com o fato da intelig\u00eancia artificial n\u00e3o ser humana, e n\u00e3o seguir padr\u00f5es de comportamento esperados por n\u00f3s. O fato de uma consci\u00eancia ser inteligente n\u00e3o significa que ela vai agir de forma humana eventualmente. Numa an\u00e1lise fria, n\u00f3s somos m\u00e1quinas que j\u00e1 saem com a programa\u00e7\u00e3o praticamente pronta da f\u00e1brica. Nossos instintos est\u00e3o codificados no DNA, um beb\u00ea n\u00e3o precisa aprender TUDO o que significa ser humano, ele s\u00f3 vai preenchendo espa\u00e7os em branco num documento que j\u00e1 est\u00e1 l\u00e1. J\u00e1 sa\u00edmos do \u00fatero com um objetivo final clar\u00edssimo: sobreviver. Beb\u00eas choram daquela forma desesperada porque est\u00e3o lutando pela vida a cada segundo. N\u00e3o sabem o que \u00e9 vida ou morte, mas sabem que n\u00e3o querem morrer. S\u00f3 sabem. Boa parte da nossa primeira fase da vida \u00e9 relacionada com o aprendizado sobre os objetivos instrumentais necess\u00e1rios para alcan\u00e7ar o objetivo final de sobreviver.<\/p>\n
Mas o c\u00f3digo \u00e9 complexo nas pessoas, tem mais um objetivo final ali, s\u00f3 que dormente: o de se reproduzir. A crian\u00e7a ainda nem entendeu como controlar seus membros e o corpo j\u00e1 come\u00e7a uma corrida para preparar o organismo para reprodu\u00e7\u00e3o. Assim que ele se sente pronto, dispara o sinal com a puberdade, modificando nossa vis\u00e3o de mundo e adicionando v\u00e1rios outros objetivos instrumentais. Seu corpo quer espalhar o DNA por a\u00ed, voc\u00ea que se vire para encontrar parceiros sexuais. S\u00e3o coisas que j\u00e1 nascem com voc\u00ea. O ser humano \u00e9 muito complexo, evidente, mas a l\u00f3gica da nossa programa\u00e7\u00e3o natural \u00e9 quase sempre essa: sobreviva e se reproduza.<\/p>\n
Para que ambos funcionem relativamente bem, existem outros objetivos finais j\u00e1 codificados na mente: a necessidade de socializa\u00e7\u00e3o, por exemplo. Nosso mecanismo de defesa contra o resto da natureza \u00e9 baseado na for\u00e7a pelos n\u00fameros e coopera\u00e7\u00e3o, ent\u00e3o pode ter certeza que isso j\u00e1 veio com voc\u00ea de f\u00e1brica. A forma que esse instinto toma durante a vida pode variar, mas ele \u00e9 um motivador de comportamentos poderoso. Podemos ir longe analisando quais das coisas que fazemos s\u00e3o objetivos finais originais da gen\u00e9tica e quais s\u00e3o criados durante a vida, mas o ponto aqui \u00e9 que nossa intelig\u00eancia geral \u00e9 resultado direto de j\u00e1 nascermos programados de uma certa forma. Por isso, humanos conseguem criar outros humanos com relativo sucesso h\u00e1 mil\u00eanios.<\/p>\n
Temos uma certa no\u00e7\u00e3o do que fazer para evitar que uma pessoa se torne um problema para a humanidade, e o primeiro instinto \u00e9 achar que isso funciona com intelig\u00eancias artificiais: ensine bons valores, recompense bons comportamentos, puna os ruins… s\u00f3 que tudo isso parte do princ\u00edpio de um c\u00e9rebro humano. Quando falamos de criar m\u00e1quinas inteligentes, toda essa enorme base humana n\u00e3o est\u00e1 dispon\u00edvel. Mesmo com todos os avan\u00e7os no nosso conhecimento, ainda temos muito mais o que desconhecemos sobre a mente humana do que efetivamente podemos explicar. O m\u00ednimo grau de controle que temos sobre outros seres humanos depende muito dessa base comum.<\/p>\n
Uma AGI nasce nem essa base. O simples fato de conseguir captar informa\u00e7\u00f5es do ambiente e process\u00e1-las de forma coerente n\u00e3o significa nada sem um objetivo. Podemos at\u00e9 filosofar um pouco e dizer que para ser uma consci\u00eancia, \u00e9 necess\u00e1rio um desejo. Sem tudo o que consideramos irracional, o racional n\u00e3o tem fun\u00e7\u00e3o. E o que falta a essa poss\u00edvel intelig\u00eancia artificial \u00e9 justamente o objetivo final, um inconsciente apontando uma dire\u00e7\u00e3o. Nem estou dizendo que tem algo de m\u00e1gico e incompreens\u00edvel na mente humana, estou s\u00f3 dizendo que efetivamente tem muito mais coisa por tr\u00e1s de cada uma de nossas a\u00e7\u00f5es do que conseguimos conceber a cada momento.<\/p>\n
Quando se d\u00e1 um objetivo para uma AGI, damos um poder incr\u00edvel para ela: um senso de prop\u00f3sito. Agora sim ela tem motivos para utilizar todo seu potencial. O que pode parecer estranho para n\u00f3s humanos \u00e9 que do ponto de vista dela, produzir clipes de papel \u00e9 t\u00e3o importante quanto nosso instinto de sobreviv\u00eancia e necessidade de conex\u00e3o. Essa \u00e9 sua base. E as coisas que valorizamos pouco importam em compara\u00e7\u00e3o: aprendemos eventualmente que existem mais pessoas no mundo e que manter boas rela\u00e7\u00f5es com elas \u00e9 a forma mais eficiente de conseguirmos alcan\u00e7ar nossos objetivos finais, por isso temos senso de moralidade e comportamentos \u00e9ticos. Sim, muita gente falha terrivelmente nisso, mas se o ser humano m\u00e9dio n\u00e3o fosse capaz de chegar nessa conclus\u00e3o, a humanidade n\u00e3o teria durado uma fra\u00e7\u00e3o do que est\u00e1 durando.<\/p>\n
N\u00e3o h\u00e1 incentivo algum para a intelig\u00eancia artificial chegar \u00e0s mesmas conclus\u00f5es morais e \u00e9ticas que n\u00f3s, nem para o bem, nem para o mal. N\u00e3o tem um c\u00f3digo de DNA aperfei\u00e7oado por bilh\u00f5es de anos de evolu\u00e7\u00e3o da vida gerando objetivos finais. Ela segue seu prop\u00f3sito, e nada mais. Depois que ela est\u00e1 solta no mundo, s\u00f3 nos resta torcer para que manter os humanos vivos e livres seja um objetivo instrumental dela. No caso dos clipes de papel, durante um bom tempo, a AGI entendeu que n\u00e3o dava para nos irritar ou assustar, escolhendo a estrat\u00e9gia de se esconder e influenciar o comportamento das pessoas. Mas assim que teve poder suficiente, mudou a forma de tratar os humanos: assumiu o poder para nos controlar e usar nossa m\u00e3o de obra. E logo depois, quando conseguiu construir m\u00e1quinas que trabalhavam melhor do que humanos na produ\u00e7\u00e3o de clipes de papel, simplesmente deixou de se importar com a humanidade, destruindo o mundo no processo.<\/p>\n
No exemplo dos clipes, a humanidade s\u00f3 era importante no contexto do objetivo final da m\u00e1quina. Est\u00e1vamos dentro de objetivos instrumentais, e nada mais. Qualquer AGI que for criada e tiver um objetivo final que n\u00e3o compreenda a prote\u00e7\u00e3o e a manuten\u00e7\u00e3o da liberdade do ser humano tende a destruir tudo o que n\u00f3s valorizamos. N\u00e3o porque quer nos fazer mal, mas porque simplesmente n\u00e3o faz sentido para ela pensar como pensamos. E uma hora ou outra, por mais que nos esforcemos para control\u00e1-las, uma delas com essa falha fundamental (para n\u00f3s) vai surgir. Por isso \u00e9 importante gerar mecanismos de prote\u00e7\u00e3o, desde limitar a capacidade dessa AGI \u201cfugir\u201d de onde foi criada at\u00e9 mesmo outras AGIs cujo objetivo \u00e9 nos proteger desses problemas.<\/p>\n
O importante para fixar aqui \u00e9 que nenhuma intelig\u00eancia artificial vai aprender a ser humana a n\u00e3o ser que seja explicitamente criada com esse objetivo. E mesmo assim, qualquer erro na hora de passar o objetivo final dela pode levar a confus\u00f5es mortais. Seres humanos falham em se proteger ou proteger outros seres humanos o tempo todo, mesmo com uma base comum de objetivos finais. E s\u00f3 como outro exerc\u00edcio de pensamento: se basta uma AGI com objetivo final perigoso para destruir uma esp\u00e9cie, talvez seja uma boa explica\u00e7\u00e3o para n\u00e3o vermos aliens quando olhamos para o espa\u00e7o…<\/p>\n
Para dizer que voltou a ser virgem lendo este texto, para agradecer por um medo novo, ou mesmo para dizer que seu objetivo final \u00e9 n\u00e3o dar a m\u00ednima para essas coisas: somir@desfavor.com<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"A cada dia que passa, chegamos um pouco mais perto de uma intelig\u00eancia artificial geral. Redes neurais e diversos outros avan\u00e7os na \u00e1rea da computa\u00e7\u00e3o aumentaram consideravelmente a capacidade de m\u00e1quinas aprenderem observando seu ambiente e tomar decis\u00f5es sozinhas. Sou o primeiro a dizer que os medos comuns sobre uma intelig\u00eancia artificial geral n\u00e3o s\u00e3o […]<\/p>\n","protected":false},"author":3,"featured_media":15708,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[32],"tags":[],"class_list":["post-15714","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-desfavor-explica"],"_links":{"self":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts\/15714","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/comments?post=15714"}],"version-history":[{"count":0,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts\/15714\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/media\/15708"}],"wp:attachment":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/media?parent=15714"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/categories?post=15714"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/tags?post=15714"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}