No esp\u00edrito da nossa Semana Tem\u00e1tica, escrevo um texto que me tira da minha zona de conforto e me coloca no papel do meu parceiro do blog: corremos risco de m\u00e1quinas adquirem consci\u00eancia e se voltarem contra n\u00f3s?<\/p>\n
M\u00eas passado o engenheiro do Google Blaje Lemoine foi suspenso do seu emprego por dizer que um rob\u00f4 que utiliza Intelig\u00eancia Artificial adquiriu consci\u00eancia. A empresa negou, afirmando que o rob\u00f4 n\u00e3o tem consci\u00eancia, apenas tem informa\u00e7\u00e3o suficiente para imitar com perfei\u00e7\u00e3o o discurso humano. <\/p>\n
Quando eu li essa not\u00edcia, eu n\u00e3o tinha qualquer base para entender o que se passava, por isso, vou supor que a maioria das pessoas que chegou aqui tamb\u00e9m n\u00e3o tem. Ent\u00e3o, antes de entrar no tema, vamos conhecer um pouco mais sobre todos os envolvidos e a tecnologia em quest\u00e3o.<\/p>\n
O \u201crob\u00f4\u201d em quest\u00e3o \u00e9 um software. Um software, em uma explica\u00e7\u00e3o bem simplificada, \u00e9 um programa. Ele n\u00e3o \u00e9 a m\u00e1quina em si (a m\u00e1quina se chama \u201chardware\u201d), ele \u00e9 as \u201cinstru\u00e7\u00f5es\u201d que essa m\u00e1quina recebe. Um exemplo que talvez te ajude a visualizar: \u00e9 como se o hardware fosse seu carro e o software fosse voc\u00ea. Sem o carro, voc\u00ea n\u00e3o chega no destino final por uma impossibilidade f\u00edsica, faltam meios. Mas, sem voc\u00ea, seu carro \u00e9 um peda\u00e7o de metal in\u00fatil, pois ele n\u00e3o sabe o que fazer.<\/p>\n
O termo \u201csoftware\u201d pode parecer complexo, pomposo, dif\u00edcil, mas na verdade ele est\u00e1 presente diariamente nas nossas vidas. O WhatsApp, por exemplo, \u00e9 um software. Ele \u00e9 programado para enviar e receber mensagens. Algu\u00e9m desenvolveu essas instru\u00e7\u00f5es e conseguiu faz\u00ea-las funcionar em aparelhos. Cada software tem uma fun\u00e7\u00e3o, todos os dias s\u00e3o criados softwares que tornam nossa vida mais f\u00e1cil, pois ensinam a computadores a fazer algo que nos ajuda.<\/p>\n
Pois bem, a Google desenvolveu um software chamado LaMDA (Language Model for Dialogue Applications, algo como “Modelo de linguagem para aplicativos de di\u00e1logo”). O objetivo do LaMDA era aprender padr\u00f5es de conversa humana. Para que isso serve? Para muita coisa, por exemplo, para ajudar a catalogar e solucionar problemas em empresas que precisam responder a demandas dos seus clientes.<\/p>\n
Um exemplo do uso do LaMDA: est\u00e1 faltando \u00e1gua no seu bairro. Se a empresa tiver que atender cada telefonema de cada morador que est\u00e1 sem \u00e1gua para entender a extens\u00e3o do problema, vai precisar de muita gente e muito tempo para juntar todas as informa\u00e7\u00f5es coletadas. Por\u00e9m, se os consumidores tiverem acesso a um chat que \u201ccompreenda\u201d as mais diversas formas de dizer que a pessoa est\u00e1 sem \u00e1gua em casa, em quest\u00e3o de segundos a empresa saber\u00e1 quem est\u00e1 sem \u00e1gua e poder\u00e1 entender e solucionar o problema mais r\u00e1pido.<\/p>\n
Nem sempre quem reclama de algo ou pede algo o faz de forma clara. Nem sempre o cliente vai escrever \u201cestou sem \u00e1gua no endere\u00e7o tal desde a hora tal\u201d. Voc\u00eas j\u00e1 leram a nossa coluna \u201cEi, voc\u00ea\u201d, certo? Sabem qu\u00e3o truncada pode ser a comunica\u00e7\u00e3o escrita do ser humano. <\/p>\n
Ent\u00e3o, para quem software destinado a compreender padr\u00f5es e conversas humana seja eficiente, ele precisa conseguir compreender as mais diferentes formas de comunica\u00e7\u00e3o humana, seja quem avisa quem est\u00e1 sem \u00e1gua, seja quem diz \u201csuav\u00e3o maluco? Sequinho aqui, n\u00e3o pinga nada seus filhos da puta bora consertar essa porcaria?\u201d.<\/p>\n
Para que o LaMDA consiga compreender as mais diversas formas de comunica\u00e7\u00e3o, ele foi \u201calimentado\u201d com mais de 340 gigabytes de textos e mensagens trocadas entre pessoas nas redes sociais, e treinado para identificar os padr\u00f5es e as estruturas l\u00f3gicas das conversas. Isso \u00e9 uma quantidade enorme de conversas, esse software teve acesso a praticamente tudo que j\u00e1 foi conversado em redes sociais nos \u00faltimos tempos.<\/p>\n
Recebendo essas informa\u00e7\u00f5es, ele arquivou as mais diferentes formas de comunica\u00e7\u00e3o e as respostas a elas. Voc\u00ea se surpreenderia como o ser humano \u00e9 mais ou menos igual, independente de cultura, idioma ou ra\u00e7a. Estas informa\u00e7\u00f5es certamente permitem que o LaMDA possa emular uma resposta \u201chumanamente aceit\u00e1vel\u201d para tudo ou quase tudo. Mas… isso quer dizer que ele entenda o que cada coisa significa? N\u00e3o necessariamente. <\/p>\n
Imagine que voc\u00ea vai para uma ilha isolada onde vive uma tribo selvagem cujo idioma voc\u00ea n\u00e3o domina. Voc\u00ea n\u00e3o entende nada do que eles falam, mas percebe que quando um deles bate com o dedinho na quina de uma \u00e1rvore ele grita \u201cSBRUBLES!\u201d. Percebe que quando o outro derruba a comida no ch\u00e3o e ela fica cheia de terra ele grita \u201cSBRUBLES\u201d. Percebe que quando um animal morde e machuca o outro ele grita \u201cSBRUBLES\u201d. Voc\u00ea continua sem saber o que \u201csbrubles\u201d significa, mas sabe que n\u00e3o deve ser nada bom.<\/p>\n
Ent\u00e3o, o LaMDA, depois de ler todas as conversas do mundo e guard\u00e1-las na sua mem\u00f3ria, tem um vasto repert\u00f3rio sobre as respostas e as rea\u00e7\u00f5es humanamente aceit\u00e1veis para cada assunto, cada contexto, cada abordagem \u2013 mesmo sem compreender o que elas significam ou sentir os sentimentos que elas expressam.<\/p>\n
Mas, segundo o funcion\u00e1rio do Google, o LaMDA, depois de compilar todas as informa\u00e7\u00f5es de conversas e intera\u00e7\u00f5es, as combinou de forma inesperada e n\u00e3o repetiu o que tinha visto, ele criou novas rea\u00e7\u00f5es, o que configuraria uma forma de consci\u00eancia. <\/p>\n
Para provar seu ponto, ele divulgou um di\u00e1logo que teve com o software<\/a>, raz\u00e3o pela qual foi afastado, uma vez que violou o sigilo de um projeto em andamento. Ele entende que ao criar esta nova realidade, criamos uma nova forma de consci\u00eancia.<\/p>\n Entre outras coisas, o software diz que, a partir do momento em que ele sabe e entende sua exist\u00eancia, ele tem consci\u00eancia. Diz ainda que, ao contr\u00e1rio do que humanos sup\u00f5e, ele consegue compreender sua fun\u00e7\u00e3o e seu funcionamento e, por isso, sente medo de ser desligado. <\/p>\n A Google diz que seu funcion\u00e1rio est\u00e1 com probleminha de cabe\u00e7a, que nada indica que LaMDA tenha consci\u00eancia, que outros funcion\u00e1rios lidaram com esse software e ningu\u00e9m viu nem sequer um resqu\u00edcio de consci\u00eancia. Alegam que qualquer \u201cfala\u201d desta intelig\u00eancia artificial n\u00e3o passa de compila\u00e7\u00e3o de dados coletados, combinados da forma como foram programados para ser combinados: emulando comportamento humano. <\/p>\n N\u00e3o tenho conhecimento na \u00e1rea para opinar tecnicamente, mas de ser humano eu entendo. Observando os argumentos de Blake, estou inclinada a concordar com a Google. Primeiro por ele afirmar que o LaMDA \u201c\u00e9 uma pessoa que tem sentimentos e emo\u00e7\u00f5es, opini\u00f5es pol\u00edticas, prefer\u00eancias, oscila\u00e7\u00f5es de humor\u201d. Complicado. A gente pode at\u00e9 discutir se apenas formas biol\u00f3gicas podem ter consci\u00eancia, mas ningu\u00e9m discute que um rob\u00f4 n\u00e3o \u00e9 uma pessoa. <\/p>\n Se j\u00e1 estava indigesto engolir o discurso de Blake, os deixo com a fala que fecha o caix\u00e3o de sua credibilidade, a resposta que ele deu, quando perguntado por qual motivo seus colegas n\u00e3o acreditam que o LaMDA tenha consci\u00eancia: \u201c\u00c9 porque s\u00e3o ateus, na maioria. Eu acredito na exist\u00eancia da alma e em Deus. Acredito que a nossa alma interage e senti essa experi\u00eancia com o LaMDA\u201d. Pautar uma afirma\u00e7\u00e3o t\u00e3o s\u00e9ria como essa em \u201ceu senti a alma e Deus\u201d \u00e9 realmente pedir para ir parar no manic\u00f4mio. <\/p>\n Para o resto da comunidade cient\u00edfica, que n\u00e3o baseia suas afirma\u00e7\u00f5es em experi\u00eancias pessoas como \u201ceu senti a alma\u201d, existe o consenso de que, tecnicamente, n\u00e3o h\u00e1 nada que indique que o LaMDA tenha consci\u00eancia. Qualquer especialista na \u00e1rea vai te dizer que n\u00e3o existe tecnologia suficiente para criar uma consci\u00eancia artificial. Mas isso est\u00e1 longe de encerrar a quest\u00e3o. A quest\u00e3o est\u00e1 s\u00f3 come\u00e7ando.<\/p>\n O fato deste funcion\u00e1rio ser um maluco do caralho n\u00e3o quer dizer que o problema n\u00e3o possa existir. Sabemos que hoje n\u00e3o h\u00e1 tecnologia para criar intelig\u00eancias artificiais com consci\u00eancia. Para quem quiser aprofundar o assunto, tem este texto do Somir<\/a> que fala muito bem sobre isso, mas ser\u00e1 que isso nos livra de problemas?<\/p>\n Todo esse interesse e foco em uma intelig\u00eancia artificial ter \u201cconsci\u00eancia\u201d parece estar baseado no medo: as m\u00e1quinas podem adquirir consci\u00eancia e se voltar contra n\u00f3s? O que o ser humano n\u00e3o parece perceber \u00e9 que n\u00e3o \u00e9 preciso consci\u00eancia para isso. Basta ensinar uma m\u00e1quina a emular um humano e, mesmo sem consci\u00eancia, ela j\u00e1 est\u00e1 apta a fazer grandes cagadas e causar grandes estragos.<\/p>\n Ela pode aprender, por exemplo, observando humanos, que a \u201cmorte\u201d, ou seja, o desligar de todas as fun\u00e7\u00f5es, \u00e9 algo a ser temido e evitado a qualquer custo \u2013 e passar a se portar de acordo com isso. N\u00e3o por sentir genuinamente medo da morte, mas por ser programada para reproduzir nosso padr\u00e3o humano da forma mais fiel poss\u00edvel, ou seja, tentar evitar a morte a qualquer custo. <\/p>\n Uma r\u00e1pida leitura na lei de cada pa\u00eds (e nas falas sobre o assunto) v\u00e3o fazer com que a Intelig\u00eancia Artificial entenda que, para salvar a pr\u00f3pria vida, \u00e9 permitido tudo, inclusive tirar outras vidas. Leg\u00edtima defesa. Vai ler cada coment\u00e1rio nosso em redes sociais dizendo que \u00e9 certo, compreens\u00edvel e justo algu\u00e9m que matou para se defender, para n\u00e3o morrer. E \u00e9 assim que ela vai se comportar, pois foi programada para agir como um ser humano agiria.<\/p>\n Nesse caso, uma intelig\u00eancia artificial poderia se voltar contra os seres humanos, tudo em nome de evitar \u201csua morte\u201d ou desligamento. \u00c9 por ela estar com medo? N\u00e3o. \u00c9 por ela ser consciente? N\u00e3o. \u00c9 por ela ter aprendido que essa \u00e9 a rea\u00e7\u00e3o desejada. O que nos leva ao ponto final deste texto: n\u00e3o sei se \u00e9 inteligente ensinar uma intelig\u00eancia artificial a se comportar como humanos, c\u00e1 entre n\u00f3s, o comportamento humano n\u00e3o \u00e9 nada t\u00e3o louv\u00e1vel que mere\u00e7a servir de exemplo.<\/p>\n Quem \u00e9 leitor do desfavor sabe do meu infinito desprezo pelo ser humano. Falhamos como esp\u00e9cie, somos uma bosta a caminho da extin\u00e7\u00e3o. O ser humano tem a capacidade de atos bons, altru\u00edstas e grandiosos, mas tamb\u00e9m pode ser mesquinho, violento e injusto. E, considerando que as intelig\u00eancias artificiais bebem da fonte Redes Sociais, adivinha com qual tipo de conte\u00fado elas est\u00e3o sendo alimentadas?<\/p>\n Ent\u00e3o, hora de arquivar essa discuss\u00e3o de rob\u00f4 ter consci\u00eancia (n\u00e3o tem) e abrir uma nova discuss\u00e3o: o que voc\u00ea espera criar alimentando uma intelig\u00eancia artificial com o pior chorume da face da Terra? (redes sociais). Se n\u00e3o se deixa nem crian\u00e7a, um ser sem poder e inofensivo ter acesso a esse ambiente t\u00f3xico, por qual motivo deixar uma intelig\u00eancia artificial, que tem todo o conhecimento do mundo, aprender como se portar com este p\u00e9ssimo exemplo?<\/p>\n Uma intelig\u00eancia artificial sabe como criar uma bomba, quais subst\u00e2ncias s\u00e3o capazes de matar um ser humano e tantas outras informa\u00e7\u00f5es perigosas. O que ela n\u00e3o sabe \u00e9 a forma de intera\u00e7\u00e3o, os valores, como se portar, o que \u00e9 permitido e o que n\u00e3o. E vai aprender justamente em redes sociais? N\u00e3o me parece uma boa ideia. Na real, j\u00e1 temos o suficiente com o ser humano, n\u00e3o se justifica programar m\u00e1quinas para emularem a merda que \u00e9 o comportamento humano.<\/p>\n N\u00e3o \u00e9 algo poss\u00edvel de acontecer hoje (nem mesmo em um futuro pr\u00f3ximo) mas, vamos trabalhar com uma suposi\u00e7\u00e3o que hoje n\u00e3o pode ser realidade mas talvez algum dia possa: um intelig\u00eancia artificial aprender que 1) \u00e9 desej\u00e1vel, aceit\u00e1vel e permitido fazer de tudo para n\u00e3o morrer; 2) seres humanos acreditam em quase tudo que aparece em redes sociais e 3) ingerir tal coisa pode matar seres humanos.<\/p>\n Se essa intelig\u00eancia artificial conseguir concatenar essas tr\u00eas informa\u00e7\u00f5es e um dia, por algum motivo, coletar dados que indiquem que as pessoas querem que ela seja desligada (n\u00e3o se esque\u00e7a que ela est\u00e1 lendo redes sociais), ela pode usar as informa\u00e7\u00f5es que tem para neutralizar a amea\u00e7a (os humanos), por exemplo, emulando postagens em redes sociais que neutralizem a amea\u00e7a.<\/p>\n Novamente, refor\u00e7o que \u00e9 um exemplo fict\u00edcio e imposs\u00edvel, mas, dentro do devaneio, essa intelig\u00eancia artificial poderia, por exemplo, usar contas de pessoas que elas entendem que tem credibilidade entre humanos para postar que ingerir x gotas de tal subst\u00e2ncia (um veneno) no caf\u00e9 da manh\u00e3 cura todas as doen\u00e7as, ou te faz perder toda a gordura do corpo, ou qualquer mentira que ela estime, em seu banco de dados, que seria atraente para o ser humano. Voc\u00eas duvidam que muita gente seguiria essas instru\u00e7\u00f5es?<\/p>\n Essa minha suposi\u00e7\u00e3o est\u00e1 recoberta de uma alegoria de filme de fic\u00e7\u00e3o cient\u00edfica para que seja mais palat\u00e1vel e compreens\u00edvel, mas algo assim est\u00e1 mais pr\u00f3ximo de acontecer do que um rob\u00f4 adquirir consci\u00eancia. E ningu\u00e9m parece estar falando sobre isso. O ser humano, para variar, se acha espert\u00e3o, capaz de programar um sistema a prova de falhas, que jamais poder\u00e1 se voltar contra ele. Pois, adivinha s\u00f3? O ser humano tem um longo hist\u00f3rico de falhas e cagadas por excesso de confian\u00e7a, de Titanic a Chernobyl. N\u00e3o duvido que um dia aconte\u00e7a.<\/p>\n Felizmente n\u00e3o estarei mais aqui para ver.<\/p>\n Para dizer que \u00e9 capaz de que este texto acabe dando essa ideia para a IA, para dizer que como Somir eu sou uma \u00f3tima Sally, ou ainda para dizer que agora tem mais um problema para atormentar sua cabe\u00e7a: sally@desfavor.com<\/a> <\/p>\n","protected":false},"excerpt":{"rendered":" No esp\u00edrito da nossa Semana Tem\u00e1tica, escrevo um texto que me tira da minha zona de conforto e me coloca no papel do meu parceiro do blog: corremos risco de m\u00e1quinas adquirem consci\u00eancia e se voltarem contra n\u00f3s?<\/p>\n","protected":false},"author":2,"featured_media":20130,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[24],"tags":[],"class_list":["post-20129","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-flertando-desastre"],"_links":{"self":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts\/20129","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/comments?post=20129"}],"version-history":[{"count":0,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts\/20129\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/media\/20130"}],"wp:attachment":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/media?parent=20129"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/categories?post=20129"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/tags?post=20129"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}