No domingo passado (dia 18), tivemos algo acontecendo pela primeira vez: um carro aut\u00f4nomo – isso \u00e9, um que dirige sozinho guiado por computadores \u2013 atropelou e matou uma pessoa. O carro era da Uber, e estava dirigindo na cidade americana de Tempe, no Arizona. A v\u00edtima atravessava a rua na hora da colis\u00e3o. O assunto em si \u00e9 pol\u00eamico, mas a discuss\u00e3o sobre como uma intelig\u00eancia artificial deve lidar com os perigos do tr\u00e2nsito \u00e9 ainda pior\u2026<\/p>\n
Assim como v\u00e1rias outras empresas, a Uber estava testando carros guiados por computador h\u00e1 algum tempo. Google, Tesla e mais algumas acabaram escolhendo o estado americano do Arizona, que permitiu e at\u00e9 incentivou os testes em algumas de suas cidades. Num desses testes, finalmente aconteceu: uma mulher atravessava a rua de noite carregando sua bicicleta, fora da faixa. O carro aut\u00f4nomo do Uber estava fazendo mais um de seus testes, com uma pessoa dentro do carro para assumir em caso de emerg\u00eancias, mas com o computador do carro dirigindo mesmo. Por algum motivo, o sistema n\u00e3o conseguiu reconhecer a mulher e frear a tempo. Ela morreu.<\/p>\n
As investiga\u00e7\u00f5es preliminares d\u00e3o conta que foi um acidente que uma pessoa n\u00e3o conseguiria ter evitado. O v\u00eddeo saiu ontem mesmo<\/a>. Essa foi inclusive a primeira declara\u00e7\u00e3o da pol\u00edcia local, sob suspeitas de estar aliviando a barra para a Uber. Ainda vamos ter dados mais concretos, mas c\u00e1 entre n\u00f3s\u2026 eu n\u00e3o teria conseguido desviar da mulher. Mas a pessoa dentro do carro tamb\u00e9m n\u00e3o ajudou: em diversos momentos parecia estar olhando para baixo, possivelmente para seu celular. A fun\u00e7\u00e3o dela era estar atenta a esses imprevistos, mas at\u00e9 pelo layout da crian\u00e7a (viram o v\u00eddeo?), n\u00e3o me passou muita confian\u00e7a de reflexos r\u00e1pidos.<\/p>\n Mas\u2026 e da\u00ed que uma pessoa provavelmente n\u00e3o teria evitado o acidente? Um computador n\u00e3o tem que pensar muito mais r\u00e1pido? Bom, \u00e9 a\u00ed que a trama se complica de vez. Em tese, os sensores do carro deveriam ter notado a pessoa, porque o computador n\u00e3o depende exclusivamente da vis\u00e3o como n\u00f3s. Tendo um sistema de laser e radar para detectar poss\u00edveis colis\u00f5es \u00e0 sua frente. Outros carros aut\u00f4nomos j\u00e1 demonstraram uma capacidade impressionante de reagir a surpresas no tr\u00e2nsito, ent\u00e3o n\u00e3o est\u00e1 descartada uma falha nos sistemas do carro\u2026 mas, notem a sutileza: a falha do carro aut\u00f4nomo, se aconteceu, aconteceu num n\u00edvel de excel\u00eancia que n\u00e3o se espera de um ser humano.<\/p>\n Ver algu\u00e9m surgindo no meio de uma estrada escura seria pedir demais em qualquer julgamento de responsabilidade para uma pessoa, ainda mais se ela estava com os far\u00f3is ligados e andando na velocidade permitida da via. Se n\u00e3o fosse um carro aut\u00f4nomo, provavelmente estar\u00edamos falando sobre algu\u00e9m ver as luzes de um carro na pista e decidir atravessar na frente mesmo assim. At\u00e9 que ponto temos que cobrar mais de uma intelig\u00eancia artificial? As leis para carros aut\u00f4nomos deveriam ser mais severas? Se o m\u00e1ximo que eles alcan\u00e7arem for capacidade humana de resolver problemas, ser\u00e1 que j\u00e1 n\u00e3o est\u00e1 bom demais? Colocamos carros na m\u00e3o de pessoas que bebem, que usam drogas, que descontam sua raiva\u2026 um computador que falha mais ou menos nas mesmas coisas que uma pessoa saud\u00e1vel e atenta falharia n\u00e3o parece um grande problema.<\/p>\n Mas, podemos mais. Com o tempo, as tecnologias avan\u00e7am e chegaremos num ponto onde os computadores n\u00e3o falhar\u00e3o nesses momentos. E a\u00ed vamos descobrir o enorme dilema que sai disso: se n\u00e3o \u00e9 falha, \u00e9 escolha. Como os computadores de carros aut\u00f4nomos tem que ser instru\u00eddos a escolher quando vidas humanas est\u00e3o em risco? Porque retirar falhas do sistema n\u00e3o significa excluir acidentes da equa\u00e7\u00e3o. Enquanto pessoas ainda puderem dirigir, o fator de aleatoriedade estar\u00e1 muito presente. Enquanto pessoas estiverem atravessando ruas ou vivendo perto de estradas, nenhuma m\u00e1quina vai estar livre desse tipo de surpresas.<\/p>\n E mesmo com computadores enxergando muito bem ao seu redor e com tempos de resposta espetaculares, m\u00e1quinas ainda quebram. O sistema pode ser perfeito quando funcional, mas se der algum bug no software ou se der um mau contato no hardware, as coisas ainda podem dar muito errado. Nesses casos de imprevisibilidade, como um computador deve agir?<\/p>\n Em primeiro lugar, deve proteger a vida humana, correto? Nem quero imaginar um mundo onde os carros aut\u00f4nomos est\u00e3o programados para reduzir os custos de um acidente antes de pensar em salvar vidas. Presume-se que a primeira regra de todas seja manter todas as pessoas envolvidas s\u00e3s e salvas. Mas isso j\u00e1 come\u00e7a a dar trabalho: porque vamos ter que come\u00e7ar a pensar em dilemas do tipo sob uma nova \u00f3tica, a de que vai dar tempo de tomar a melhor decis\u00e3o. Uma pessoa n\u00e3o \u00e9 obrigada a escolher corretamente numa situa\u00e7\u00e3o de p\u00e2nico, nosso sistema de leis entende que o ser humano \u00e9 falho e faz muita coisa errada sem a clara inten\u00e7\u00e3o de fazer mal a outras pessoas.<\/p>\n Mas, num computador, algu\u00e9m tomou a decis\u00e3o antes. Digamos que a l\u00f3gica \u00e9 reduzir o n\u00famero de casualidades. Ferir o m\u00ednimo de pessoas poss\u00edvel. Parece razo\u00e1vel, n\u00e3o? Mas complica\u2026 sempre complica. Vamos dar um exemplo para esclarecer melhor: voc\u00ea est\u00e1 dirigindo, e um casal atravessa a rua sem aviso algum, bem na sua frente. Est\u00e1 muito em cima para frear, voc\u00ea s\u00f3 tem duas op\u00e7\u00f5es, desviar para a cal\u00e7ada onde uma outra pessoa aleat\u00f3ria est\u00e1 esperando para atravessar, ou atropelar o casal que est\u00e1 bem na sua frente. Pela l\u00f3gica do n\u00famero de casualidades, o computador deveria ir para a cal\u00e7ada e ferir uma pessoa ao inv\u00e9s de duas. Mas\u2026 o casal atravessou quando n\u00e3o podia, a outra pessoa estava certa esperando sua vez. Vamos recompensar irresponsabilidade nesse caso?<\/p>\n Ok, ent\u00e3o vamos colocar mais um grau de complexidade aqui: menor n\u00famero de casualidades de acordo com o grau de obedi\u00eancia \u00e0s regras de tr\u00e2nsito vigentes. A\u00ed o computador seria respons\u00e1vel por julgar quem merece ou n\u00e3o ser protegido das consequ\u00eancias de um acidente. Quem escreveu o c\u00f3digo teria poder de vida ou morte na nossa sociedade\u2026 a pessoa que escreveu esse c\u00f3digo tem autoridade para tomar essa decis\u00e3o? Quando uma pessoa tem uma decis\u00e3o dessas para tomar, convencionamos aceitar que ela n\u00e3o estava em condi\u00e7\u00f5es para fazer um ju\u00edzo de valor verdadeiro da situa\u00e7\u00e3o. Ela age por instinto. Um computador toma a decis\u00e3o deliberadamente. Se voc\u00ea toma uma decis\u00e3o de matar algu\u00e9m sabendo muito bem o que est\u00e1 fazendo, mesmo que seja para proteger outras pessoas\u2026 voc\u00ea \u00e9 ou n\u00e3o um assassino? Porque esse tipo de decis\u00e3o numa pessoa comum vem com valores internos\u2026 entendemos quando uma pessoa decide ferir ou matar outra para proteger algu\u00e9m querido, mas um computador n\u00e3o tem que ter ningu\u00e9m querido. \u00c9 uma escolha fria.<\/p>\n Voc\u00ea n\u00e3o pode simplesmente matar algu\u00e9m por achar que essa pessoa vai fazer mal a outras, n\u00e3o sem uma provoca\u00e7\u00e3o clara que possa ser provada depois. Um computador n\u00e3o poderia tamb\u00e9m. E voltando ao ponto das pessoas queridas, qual seria a responsabilidade do carro aut\u00f4nomo sobre as pessoas que est\u00e1 levando? Deve trat\u00e1-las como qualquer um ou colocar alguma prioridade na vida delas para a decis\u00e3o? Outro exemplo: o computador nota que vai acontecer uma colis\u00e3o se continuar em linha reta. Se n\u00e3o mudar de rota, tem 20% de chance de matar seu passageiro e 50% de chance de matar o motorista do outro carro. Se mudar de rota, tem 25% de chance de matar a pessoa que carrega e 30% de chance de matar a do outro carro. Mudar de rota diminui a chance de morte em geral, mas aumenta a do pr\u00f3prio passageiro. Qual escolher?<\/p>\n Vamos querer andar em carros que arriscam nossa pr\u00f3pria vida para proteger outras pessoas? Ser\u00e1 que d\u00e1 pra confiar que outras pessoas n\u00e3o hackeariam os sistemas dos pr\u00f3prios carros para faz\u00ea-los escolher sempre a via de menor risco para elas? Tem mais, tem muito mais: se o sistema que faz essas escolhas pode ser mexido e est\u00e1 na m\u00e3o de autoridades, ser\u00e1 que um carro carregando um desembargador n\u00e3o vai ter um algor\u00edtimo de prote\u00e7\u00e3o desequilibrado em rela\u00e7\u00e3o a outras pessoas? Ser\u00e1 que o carro do presidente n\u00e3o vai ter prioridade total sobre todas as outras pessoas do pa\u00eds?<\/p>\n Algu\u00e9m vai ter que tomar essas decis\u00f5es. E piora\u2026 durante boa parte desse processo, vai ter um volante ou algo do tipo no carro, para o caso de uma pane. A pessoa tem que ter a chance de assumir o controle do ve\u00edculo caso note o computador fazendo algo errado. E se a pessoa errar nessa decis\u00e3o e assumir o controle do carro para fazer algo ainda pior? O computador tem que tomar uma decis\u00e3o de passar por cima das decis\u00f5es de um humano para proteg\u00ea-lo. O que pode dar muito errado. Computadores podem ter capacidade de tomar decis\u00f5es em fra\u00e7\u00f5es de segundo, mas ainda sim foram programados por pessoas. Ele pode ter prioridades completamente malucas para n\u00f3s e decidir atropelar criancinhas se for a op\u00e7\u00e3o mais correta na sua l\u00f3gica. Como \u00e9 que fica o psicol\u00f3gico de algu\u00e9m que viu seu carro atropelar uma crian\u00e7a deliberadamente? Por mais correta que possa ter sido a op\u00e7\u00e3o da m\u00e1quina, ela pode parecer moralmente errada para n\u00f3s.<\/p>\n Ainda n\u00e3o temos que lidar com todas esses dilemas no mundo de hoje, mas carros aut\u00f4nomos s\u00e3o uma tend\u00eancia que vai pegar. Precisamos entender toda essa complexidade comportamental e tomar decis\u00f5es muito dif\u00edceis que estamos protelando faz tempo. N\u00e3o tenho problemas com um carro aut\u00f4nomo atropelando algu\u00e9m, mesmo se errou. Motoristas erram o tempo todo, e na m\u00e9dia um computador vai errar muito menos, ou pelo menos errar de formas mais previs\u00edveis. O perigo \u00e9 quando n\u00e3o for mais erro, for decis\u00e3o. Quem vai definir esse c\u00f3digo de conduta?<\/p>\n Ou pior, quem vai definir esse c\u00f3digo de conduta quando isso fatalmente chegar ao Brasil?<\/p>\n Para dizer que preferia o texto de funk, para dizer que \u00e9 s\u00f3 colocar o sistema do Carmaggedon em todos os carros, ou mesmo para dizer que vai adorar transferir os pontos da sua carteira para um computador: somir@desfavor.com<\/a><\/p>\n","protected":false},"excerpt":{"rendered":" No domingo passado (dia 18), tivemos algo acontecendo pela primeira vez: um carro aut\u00f4nomo – isso \u00e9, um que dirige sozinho guiado por computadores \u2013 atropelou e matou uma pessoa. O carro era da Uber, e estava dirigindo na cidade americana de Tempe, no Arizona. A v\u00edtima atravessava a rua na hora da colis\u00e3o. O […]<\/p>\n","protected":false},"author":3,"featured_media":13020,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[37],"tags":[],"class_list":["post-13019","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-somir-surtado"],"_links":{"self":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts\/13019","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/comments?post=13019"}],"version-history":[{"count":0,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts\/13019\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/media\/13020"}],"wp:attachment":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/media?parent=13019"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/categories?post=13019"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/tags?post=13019"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}