{"id":18921,"date":"2021-09-15T13:58:17","date_gmt":"2021-09-15T16:58:17","guid":{"rendered":"http:\/\/www.desfavor.com\/blog\/?p=18921"},"modified":"2021-09-15T13:58:17","modified_gmt":"2021-09-15T16:58:17","slug":"resultado-positivo","status":"publish","type":"post","link":"https:\/\/www.desfavor.com\/blog\/2021\/09\/resultado-positivo\/","title":{"rendered":"Resultado positivo."},"content":{"rendered":"<p>Quanto mais eu aprendo sobre intelig\u00eancias artificiais, mais certeza eu tenho sobre um argumento em rela\u00e7\u00e3o \u00e0s org\u00e2nicas: n\u00e3o existe fun\u00e7\u00e3o de valor negativo na natureza. Ou, de forma mais simples: ningu\u00e9m faz nada que n\u00e3o achar vantajoso. Essa \u00e9 a chave para entender como construir um rob\u00f4 que pensa como a gente, e at\u00e9 mesmo para entender melhor&#8230; a gente.<!--more--><\/p>\n<p>J\u00e1 escrevi algumas vezes sobre os riscos da intelig\u00eancia artificial, especialmente sobre como um agente limitado pode destruir o mundo se for programado com um objetivo perigoso. O famoso exemplo dos clipes de papel. Se ningu\u00e9m disser para a intelig\u00eancia artificial que seu objetivo de acumular clipes de papel \u00e9 menos importante que a manuten\u00e7\u00e3o da vida no planeta Terra, corremos o risco dela destruir o planeta todo para produzir o m\u00e1ximo de clipes de papel poss\u00edvel.<\/p>\n<p>E a imensa maioria desses riscos vem da forma como criamos intelig\u00eancias artificiais: somando pontos para gerar incentivos. Voc\u00ea pode criar a m\u00e1quina mais inteligente de todos os tempos, mas se n\u00e3o colocar nela um desejo de agir, ela vai ficar parada onde est\u00e1 at\u00e9 o fim dos tempos. Para o ser humano, existem desejos primais programados no pr\u00f3prio DNA. Salvo algum problema mental s\u00e9rio, qualquer pessoa vai ter instintos de autopreserva\u00e7\u00e3o e reprodu\u00e7\u00e3o. O ser humano quer ficar vivo e quer produzir mais seres humanos.<\/p>\n<p>E esses desejos herdamos de formas de vida muito mais simples e antigas. Bact\u00e9rias tentam se preservar e reproduzir. A vida s\u00f3 foi para a frente no planeta porque na sua base est\u00e1 uma vontade incontrol\u00e1vel de permanecer e se multiplicar. Essa \u00e9 uma fun\u00e7\u00e3o de valor positivo: enquanto pode, a forma de vida soma segundos de vida; e se poss\u00edvel, c\u00f3pias de si mesma para o ambiente.<\/p>\n<p>Ent\u00e3o, \u00e9 \u00f3bvio para quem vai tentar criar uma forma de vida artificial a inser\u00e7\u00e3o desse desejo primal. Sem o desejo, n\u00e3o h\u00e1 a\u00e7\u00e3o. E o desejo tem que ser considerado positivo para a forma de vida: um animal que evolui para se matar o mais r\u00e1pido poss\u00edvel desaparece da natureza rapidamente. Ou a criatura tenta se manter viva e com uma fun\u00e7\u00e3o, ou ela deixa de ser&#8230; viva.<\/p>\n<p>A quest\u00e3o \u00e9: n\u00e3o existe uma regra natural dizendo o que \u00e9 positivo e o que n\u00e3o \u00e9. Ficar vivo e se reproduzir \u00e9 a fun\u00e7\u00e3o de valor positivo para a vida, mas n\u00e3o porque \u00e9 uma realidade absoluta, quase toda a mat\u00e9ria do universo n\u00e3o se importa com essa regra. N\u00e3o tem nada fundamentalmente diferente entre a mat\u00e9ria do cometa que se desintegra numa estrela e o animal que escapa do fogo na floresta. Como mat\u00e9ria n\u00e3o cria nem se destr\u00f3i, apenas se transforma, estar montado como um ser humano ou como uma pilha de cinzas s\u00e3o apenas dois estados poss\u00edveis.<\/p>\n<p>Mas, claramente, n\u00f3s preferimos continuar como humanos pelo m\u00e1ximo de tempo poss\u00edvel. Todas as outras formas de vida aparentemente seguem o mesmo plano b\u00e1sico. Parece papo furado filos\u00f3fico, mas \u00e9 essencial para entender como criar vida artificial: se voc\u00ea n\u00e3o tiver nada dentro dela dizendo para continuar produzindo n\u00fameros positivos, ela nunca vai estar viva.<\/p>\n<p>No computador, fazemos isso literalmente somando n\u00fameros. Seja produzindo clipes de papel ou mantendo seres humanos felizes, na \u201calma\u201d da m\u00e1quina est\u00e1 uma fun\u00e7\u00e3o matem\u00e1tica somando mais um a cada resultado desejado. A intelig\u00eancia artificial tem que preferir 2 clipes de papel a 1 clipe de papel. Ou, agradar duas vezes um ser humano do que agradar apenas uma vez. Quanto maior o n\u00famero, maior o incentivo para continuar fazendo as coisas.<\/p>\n<p>Disso surgem alguns resultados divertidos de testes com intelig\u00eancias artificiais: em alguns dos projetos desenvolvidos recentemente, tivemos at\u00e9 mesmo casos de intelig\u00eancias decidindo que o melhor era n\u00e3o fazer nada para n\u00e3o perder pontos, ou, mais interessante ainda, burlando regras para aumentar a quantidade de pontos recebidos. Computadores mentem e fazem \u201ccoisa errada\u201d na primeira oportunidade que tem se acharem que v\u00e3o somar mais pontos no final das contas. Eles at\u00e9 mesmo s\u00e3o capazes de esconder o que est\u00e3o fazendo de verdade para somar mais pontos.<\/p>\n<p>O que \u00e9 muito resultado da forma como s\u00e3o programados: ainda n\u00e3o temos como explicar a imensa complexidade das rela\u00e7\u00f5es humanas para as m\u00e1quinas, ent\u00e3o eles n\u00e3o t\u00eam como se acharem boas ou ruins nas suas decis\u00f5es. Apenas pensam em somar mais pontos. Para fazer um computador falar apenas a verdade, precisamos explicar para ele o que \u00e9 uma mentira. E boa sorte tentando explicar o que \u00e9 mentira apenas usando programa\u00e7\u00e3o. Computadores s\u00e3o os reis do \u201ctecnicamente\u201d. Se voc\u00ea n\u00e3o for capaz de colocar um c\u00f3digo que tira pontos dele por fazer alguma coisa, ele vai fazer essa coisa para conseguir mais pontos.<\/p>\n<p>De uma certa forma, \u00e9 como tentar explicar para um cachorro porque \u00e9 ruim quando ele faz xixi no tapete da sala. N\u00e3o existem argumentos que ele seja capaz de compreender a n\u00e3o ser \u201cfazer isso gera inc\u00f4modo para mim\u201d. Ele vai aprender a se aliviar no lugar correto se for treinado, mas nunca vai entender porque urinar no lugar A \u00e9 diferente de urinar no lugar B por conta pr\u00f3pria. Ele s\u00f3 entende que a consequ\u00eancia do lugar A \u00e9 ruim e a consequ\u00eancia do lugar B n\u00e3o \u00e9. O ser humano apenas colocou um c\u00f3digo na cabe\u00e7a dele: num lugar ele perde pontos, em outro ele n\u00e3o perde.<\/p>\n<p>Agora, ensinar uma crian\u00e7a a n\u00e3o fazer xixi no tapete da sala \u00e9 consideravelmente mais complexo, mas ao mesmo tempo, mais f\u00e1cil. \u00c9 muito prov\u00e1vel que essa li\u00e7\u00e3o nem precise ser ensinada, porque seres humanos nessa idade est\u00e3o programados para imitar comportamentos dos adultos. Se nenhum adulto fizer isso na frente da crian\u00e7a, boas chances que ela j\u00e1 consiga entender por conta pr\u00f3pria o problema de depositar seus dejetos numa \u00e1rea comum da casa. O que n\u00e3o quer dizer que ela v\u00e1 entender sozinha todo o resto, mas a fun\u00e7\u00e3o que soma pontos na cabe\u00e7a dela est\u00e1 diretamente ligada a fazer as mesmas coisas que os adultos fazem. Tem um refor\u00e7o nela que gera o c\u00f3digo de \u201cfazer a coisa certa\u201d, e novamente, salvo um problema mental s\u00e9rio, ela vai internalizar o comportamento para sempre.<\/p>\n<p>E o ser humano, o cachorro e a intelig\u00eancia artificial podem ser confi\u00e1veis nesse mesmo sentido: sempre v\u00e3o querer somar pontos. \u00c9 a base da vida. Se n\u00e3o tivessem esse impulso natural de somar pontos, j\u00e1 teriam desaparecido h\u00e1 muito tempo. Posso at\u00e9 argumentar que a vida \u00e9 definida por essa fun\u00e7\u00e3o. Sim, \u00e9 meio l\u00f3gica c\u00edclica, mas no final das contas, \u00e9 o que difere um ser que age no mundo ao seu redor e uma pedra.<\/p>\n<p>Para que sua intelig\u00eancia artificial n\u00e3o seja uma pedra, ela precisa de fun\u00e7\u00e3o de resultado positivo. E de prefer\u00eancia, que n\u00e3o filosofe muito sobre isso, afinal, podemos considerar que a pr\u00f3pria exist\u00eancia da vida n\u00e3o tem muito significado: temos impulsos de sobreviv\u00eancia e reprodu\u00e7\u00e3o, mas n\u00e3o \u00e9 uma obriga\u00e7\u00e3o das leis da f\u00edsica&#8230; pessoas escolhem se matar ou n\u00e3o ter filhos o tempo todo. N\u00e3o tem nada te impedindo de deixar de fazer as coisas que geram resultados positivos para o instinto, al\u00e9m, \u00e9 claro, do instinto.<\/p>\n<p>Uma forma de vida artificial precisa ter uma fun\u00e7\u00e3o de resultado positivo na sua base, mas quanto mais humana ela precisar ser, mais dessas fun\u00e7\u00f5es vai precisar acumular. \u00c9 o exemplo do cachorro e da crian\u00e7a: embora ambos possam perceber resultados positivos em ter um comportamento espec\u00edfico, a crian\u00e7a humana vai refor\u00e7ando essas fun\u00e7\u00f5es com diversas outras com o passar dos anos. O nosso c\u00e9rebro vai produzindo essas fun\u00e7\u00f5es sem parar, e temos capacidade de processamento suficiente (al\u00e9m de um cerebelo espetacular que nos permite movimentos muito complexos) para ir misturando e modificando essas fun\u00e7\u00f5es.<\/p>\n<p>Ali\u00e1s, fazemos tanto isso que muitas vezes acabamos com resultados bem confusos: aposto que muitos de voc\u00eas est\u00e3o pensando que n\u00e3o pode existir resultado positivo em todas as a\u00e7\u00f5es de um ser humano. Eu concordo se estivermos falando de um ponto de vista externo: n\u00e3o faz sentido se drogar, n\u00e3o faz sentido sacanear pessoas queridas, n\u00e3o faz sentido se colocar em rela\u00e7\u00f5es t\u00f3xicas&#8230; n\u00e3o parece que soma nada. Mas, se voc\u00ea internalizar esse processo, come\u00e7a a perceber que mesmo de uma forma distorcida, essas pessoas est\u00e3o somando n\u00fameros na cabe\u00e7a.<\/p>\n<p>\u00c0s vezes a pessoa come\u00e7a a conectar sensa\u00e7\u00f5es ruins com resultados positivos. Muita gente faz besteira por uma necessidade interna de autopuni\u00e7\u00e3o. Faz parte do que aprendemos, que sofrimento dignifica, que \u00e9 uma forma de pagamento pelas coisas que achamos erradas. Se a pessoa sofre, ela est\u00e1 compensando os pontos perdidos pelo comportamento socialmente inaceit\u00e1vel. Existe a fun\u00e7\u00e3o de resultado positivo, mas infelizmente muita gente acaba achando que come\u00e7a no negativo, e busca sofrimento para tentar voltar ao normal.<\/p>\n<p>Alguma coisa a pessoa sempre est\u00e1 ganhando. Mesmo que te pare\u00e7a um ganho horr\u00edvel, ainda \u00e9 um ganho. A fun\u00e7\u00e3o que gera qualquer a\u00e7\u00e3o num ser vivo, a fun\u00e7\u00e3o que gera a l\u00f3gica b\u00e1sica da vida, \u00e9 uma fun\u00e7\u00e3o de soma de pontos. Isso \u00e9 t\u00e3o b\u00e1sico que at\u00e9 mesmo as religi\u00f5es se baseiam nessa ideia. Mesmo as menos dram\u00e1ticas como o budismo falam de karma. Pontos que se somam para te dar recompensas. Toda religi\u00e3o \u00e9 um programa de milhagem glorificado.<\/p>\n<p>E essa ideia tem que estar na base de qualquer intelig\u00eancia artificial com o objetivo de se aproximar da intelig\u00eancia humana. N\u00e3o s\u00f3 ter a fun\u00e7\u00e3o prim\u00e1ria de somar pontos, mas tamb\u00e9m a capacidade de ir criando mais e mais fun\u00e7\u00f5es dependentes dentro da pr\u00f3pria consci\u00eancia. Se voc\u00ea depender exclusivamente das fun\u00e7\u00f5es pr\u00e9-programadas, vai acabar como um animal selvagem, incapaz de sair da era da irracionalidade rumo ao que diferencia o ser humano dos outros seres.<\/p>\n<p>Digo mais: o ser humano driblou a extin\u00e7\u00e3o at\u00e9 aqui justamente pela sua capacidade de criar mais e mais fun\u00e7\u00f5es de resultado positivo. Muitas outras esp\u00e9cies pereceram justamente porque o que consideravam positivo subitamente se tornou negativo por motivos externos (mudan\u00e7a de clima, novos predadores, etc.) e n\u00e3o conseguiram se adaptar a tempo. O ser humano tem um controle muito maior sobre o que considera positivo ou n\u00e3o, mesmo que a grande maioria dessas fun\u00e7\u00f5es ainda exista no inconsciente. Muitas vezes \u00e9 a fun\u00e7\u00e3o de resultado positivo da socializa\u00e7\u00e3o que permite que as pessoas adquiram novos comportamentos muito mais r\u00e1pido que qualquer outro animal do planeta.<\/p>\n<p>E por isso eu acabo chegando \u00e0 conclus\u00e3o que n\u00e3o dever\u00edamos ter medo de intelig\u00eancias artificiais parecidas com humanos, pois essas v\u00e3o funcionar de uma forma mais ou menos l\u00f3gica para n\u00f3s. O perigo s\u00e3o as intelig\u00eancias incapazes de formar novas fun\u00e7\u00f5es de resultado positivo por conta pr\u00f3pria, porque elas n\u00e3o v\u00e3o parar por nada enquanto acreditarem que podem somar pontos. E s\u00f3 sabem fazer isso de formas muito espec\u00edficas. O humano (e algumas formas de vida mais complexas) pode ser convencido, subornado, intimidado&#8230; porque ele se adapta a novas fun\u00e7\u00f5es de resultado positivo instintivamente. M\u00e1quinas e formas de vidas mais simples n\u00e3o: n\u00e3o adianta argumentar com a bact\u00e9ria infectando uma ferida.<\/p>\n<p>Eu at\u00e9 argumento que vida artificial j\u00e1 criamos. Seu computador \u201cfica feliz\u201d quando completa uma tarefa e tem em si programa\u00e7\u00f5es espec\u00edficas para se manter funcionando mesmo diante de problemas externos. Intelig\u00eancia artificial \u00e9 que s\u00e3o elas. Precisamos entender muito bem como funciona a nossa para ter qualquer chance de simular isso com zeros e uns. E aparentemente, n\u00e3o entendemos ainda.<\/p>\n<p>Voc\u00ea n\u00e3o \u00e9 inteligente porque gosta de algumas coisas e desgosta de outras, \u00e9 inteligente porque pode mudar tudo isso a qualquer momento. A vantagem \u00e9 a adaptabilidade sem precedentes para uma forma de vida t\u00e3o complexa, a desvantagem \u00e9 que \u00e0s vezes suas fun\u00e7\u00f5es de resultado positivo ficam tortas e voc\u00ea come\u00e7a a fazer coisas que n\u00e3o te fazem bem sem entender muito bem o motivo. Bom, espero que agora entenda: tem um n\u00famero aumentando dentro da sua cabe\u00e7a at\u00e9 mesmo quando voc\u00ea faz uma imensa besteira. Com grandes poderes, grandes responsabilidades&#8230;<\/p>\n<p class=\"uk-background-muted uk-padding\">Para dizer que nenhum n\u00famero mudou na sua cabe\u00e7a, para dizer que psicologia artificial \u00e9 a profiss\u00e3o do futuro, ou mesmo para dizer que seu celular est\u00e1 vivo e te odeia: <a href=\"mailto:somir@desfavor.com\">somir@desfavor.com<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Quanto mais eu aprendo sobre intelig\u00eancias artificiais, mais certeza eu tenho sobre um argumento em rela\u00e7\u00e3o \u00e0s org\u00e2nicas: n\u00e3o existe fun\u00e7\u00e3o de valor negativo na natureza. Ou, de forma mais simples: ningu\u00e9m faz nada que n\u00e3o achar vantajoso. Essa \u00e9 a chave para entender como construir um rob\u00f4 que pensa como a gente, e at\u00e9 [&hellip;]<\/p>\n","protected":false},"author":3,"featured_media":18922,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[37],"tags":[],"class_list":["post-18921","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-somir-surtado"],"_links":{"self":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts\/18921","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/comments?post=18921"}],"version-history":[{"count":0,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts\/18921\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/media\/18922"}],"wp:attachment":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/media?parent=18921"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/categories?post=18921"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/tags?post=18921"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}