Sem direção?
| Somir | Somir Surtado | 13 comentários em Sem direção?
No domingo passado (dia 18), tivemos algo acontecendo pela primeira vez: um carro autônomo – isso é, um que dirige sozinho guiado por computadores – atropelou e matou uma pessoa. O carro era da Uber, e estava dirigindo na cidade americana de Tempe, no Arizona. A vítima atravessava a rua na hora da colisão. O assunto em si é polêmico, mas a discussão sobre como uma inteligência artificial deve lidar com os perigos do trânsito é ainda pior…
Assim como várias outras empresas, a Uber estava testando carros guiados por computador há algum tempo. Google, Tesla e mais algumas acabaram escolhendo o estado americano do Arizona, que permitiu e até incentivou os testes em algumas de suas cidades. Num desses testes, finalmente aconteceu: uma mulher atravessava a rua de noite carregando sua bicicleta, fora da faixa. O carro autônomo do Uber estava fazendo mais um de seus testes, com uma pessoa dentro do carro para assumir em caso de emergências, mas com o computador do carro dirigindo mesmo. Por algum motivo, o sistema não conseguiu reconhecer a mulher e frear a tempo. Ela morreu.
As investigações preliminares dão conta que foi um acidente que uma pessoa não conseguiria ter evitado. O vídeo saiu ontem mesmo. Essa foi inclusive a primeira declaração da polícia local, sob suspeitas de estar aliviando a barra para a Uber. Ainda vamos ter dados mais concretos, mas cá entre nós… eu não teria conseguido desviar da mulher. Mas a pessoa dentro do carro também não ajudou: em diversos momentos parecia estar olhando para baixo, possivelmente para seu celular. A função dela era estar atenta a esses imprevistos, mas até pelo layout da criança (viram o vídeo?), não me passou muita confiança de reflexos rápidos.
Mas… e daí que uma pessoa provavelmente não teria evitado o acidente? Um computador não tem que pensar muito mais rápido? Bom, é aí que a trama se complica de vez. Em tese, os sensores do carro deveriam ter notado a pessoa, porque o computador não depende exclusivamente da visão como nós. Tendo um sistema de laser e radar para detectar possíveis colisões à sua frente. Outros carros autônomos já demonstraram uma capacidade impressionante de reagir a surpresas no trânsito, então não está descartada uma falha nos sistemas do carro… mas, notem a sutileza: a falha do carro autônomo, se aconteceu, aconteceu num nível de excelência que não se espera de um ser humano.
Ver alguém surgindo no meio de uma estrada escura seria pedir demais em qualquer julgamento de responsabilidade para uma pessoa, ainda mais se ela estava com os faróis ligados e andando na velocidade permitida da via. Se não fosse um carro autônomo, provavelmente estaríamos falando sobre alguém ver as luzes de um carro na pista e decidir atravessar na frente mesmo assim. Até que ponto temos que cobrar mais de uma inteligência artificial? As leis para carros autônomos deveriam ser mais severas? Se o máximo que eles alcançarem for capacidade humana de resolver problemas, será que já não está bom demais? Colocamos carros na mão de pessoas que bebem, que usam drogas, que descontam sua raiva… um computador que falha mais ou menos nas mesmas coisas que uma pessoa saudável e atenta falharia não parece um grande problema.
Mas, podemos mais. Com o tempo, as tecnologias avançam e chegaremos num ponto onde os computadores não falharão nesses momentos. E aí vamos descobrir o enorme dilema que sai disso: se não é falha, é escolha. Como os computadores de carros autônomos tem que ser instruídos a escolher quando vidas humanas estão em risco? Porque retirar falhas do sistema não significa excluir acidentes da equação. Enquanto pessoas ainda puderem dirigir, o fator de aleatoriedade estará muito presente. Enquanto pessoas estiverem atravessando ruas ou vivendo perto de estradas, nenhuma máquina vai estar livre desse tipo de surpresas.
E mesmo com computadores enxergando muito bem ao seu redor e com tempos de resposta espetaculares, máquinas ainda quebram. O sistema pode ser perfeito quando funcional, mas se der algum bug no software ou se der um mau contato no hardware, as coisas ainda podem dar muito errado. Nesses casos de imprevisibilidade, como um computador deve agir?
Em primeiro lugar, deve proteger a vida humana, correto? Nem quero imaginar um mundo onde os carros autônomos estão programados para reduzir os custos de um acidente antes de pensar em salvar vidas. Presume-se que a primeira regra de todas seja manter todas as pessoas envolvidas sãs e salvas. Mas isso já começa a dar trabalho: porque vamos ter que começar a pensar em dilemas do tipo sob uma nova ótica, a de que vai dar tempo de tomar a melhor decisão. Uma pessoa não é obrigada a escolher corretamente numa situação de pânico, nosso sistema de leis entende que o ser humano é falho e faz muita coisa errada sem a clara intenção de fazer mal a outras pessoas.
Mas, num computador, alguém tomou a decisão antes. Digamos que a lógica é reduzir o número de casualidades. Ferir o mínimo de pessoas possível. Parece razoável, não? Mas complica… sempre complica. Vamos dar um exemplo para esclarecer melhor: você está dirigindo, e um casal atravessa a rua sem aviso algum, bem na sua frente. Está muito em cima para frear, você só tem duas opções, desviar para a calçada onde uma outra pessoa aleatória está esperando para atravessar, ou atropelar o casal que está bem na sua frente. Pela lógica do número de casualidades, o computador deveria ir para a calçada e ferir uma pessoa ao invés de duas. Mas… o casal atravessou quando não podia, a outra pessoa estava certa esperando sua vez. Vamos recompensar irresponsabilidade nesse caso?
Ok, então vamos colocar mais um grau de complexidade aqui: menor número de casualidades de acordo com o grau de obediência às regras de trânsito vigentes. Aí o computador seria responsável por julgar quem merece ou não ser protegido das consequências de um acidente. Quem escreveu o código teria poder de vida ou morte na nossa sociedade… a pessoa que escreveu esse código tem autoridade para tomar essa decisão? Quando uma pessoa tem uma decisão dessas para tomar, convencionamos aceitar que ela não estava em condições para fazer um juízo de valor verdadeiro da situação. Ela age por instinto. Um computador toma a decisão deliberadamente. Se você toma uma decisão de matar alguém sabendo muito bem o que está fazendo, mesmo que seja para proteger outras pessoas… você é ou não um assassino? Porque esse tipo de decisão numa pessoa comum vem com valores internos… entendemos quando uma pessoa decide ferir ou matar outra para proteger alguém querido, mas um computador não tem que ter ninguém querido. É uma escolha fria.
Você não pode simplesmente matar alguém por achar que essa pessoa vai fazer mal a outras, não sem uma provocação clara que possa ser provada depois. Um computador não poderia também. E voltando ao ponto das pessoas queridas, qual seria a responsabilidade do carro autônomo sobre as pessoas que está levando? Deve tratá-las como qualquer um ou colocar alguma prioridade na vida delas para a decisão? Outro exemplo: o computador nota que vai acontecer uma colisão se continuar em linha reta. Se não mudar de rota, tem 20% de chance de matar seu passageiro e 50% de chance de matar o motorista do outro carro. Se mudar de rota, tem 25% de chance de matar a pessoa que carrega e 30% de chance de matar a do outro carro. Mudar de rota diminui a chance de morte em geral, mas aumenta a do próprio passageiro. Qual escolher?
Vamos querer andar em carros que arriscam nossa própria vida para proteger outras pessoas? Será que dá pra confiar que outras pessoas não hackeariam os sistemas dos próprios carros para fazê-los escolher sempre a via de menor risco para elas? Tem mais, tem muito mais: se o sistema que faz essas escolhas pode ser mexido e está na mão de autoridades, será que um carro carregando um desembargador não vai ter um algorítimo de proteção desequilibrado em relação a outras pessoas? Será que o carro do presidente não vai ter prioridade total sobre todas as outras pessoas do país?
Alguém vai ter que tomar essas decisões. E piora… durante boa parte desse processo, vai ter um volante ou algo do tipo no carro, para o caso de uma pane. A pessoa tem que ter a chance de assumir o controle do veículo caso note o computador fazendo algo errado. E se a pessoa errar nessa decisão e assumir o controle do carro para fazer algo ainda pior? O computador tem que tomar uma decisão de passar por cima das decisões de um humano para protegê-lo. O que pode dar muito errado. Computadores podem ter capacidade de tomar decisões em frações de segundo, mas ainda sim foram programados por pessoas. Ele pode ter prioridades completamente malucas para nós e decidir atropelar criancinhas se for a opção mais correta na sua lógica. Como é que fica o psicológico de alguém que viu seu carro atropelar uma criança deliberadamente? Por mais correta que possa ter sido a opção da máquina, ela pode parecer moralmente errada para nós.
Ainda não temos que lidar com todas esses dilemas no mundo de hoje, mas carros autônomos são uma tendência que vai pegar. Precisamos entender toda essa complexidade comportamental e tomar decisões muito difíceis que estamos protelando faz tempo. Não tenho problemas com um carro autônomo atropelando alguém, mesmo se errou. Motoristas erram o tempo todo, e na média um computador vai errar muito menos, ou pelo menos errar de formas mais previsíveis. O perigo é quando não for mais erro, for decisão. Quem vai definir esse código de conduta?
Ou pior, quem vai definir esse código de conduta quando isso fatalmente chegar ao Brasil?
Para dizer que preferia o texto de funk, para dizer que é só colocar o sistema do Carmaggedon em todos os carros, ou mesmo para dizer que vai adorar transferir os pontos da sua carteira para um computador: somir@desfavor.com
O carro é autônomo e a Jojô Nescauzinho q tava ao volante é uma “antônoma”.
Acho q ela deveria ser responsabilizada criminalmente. No futuro, qdo esses carros estiverem estabelecidos na sociedade, o motorista não ser responsabilizado, td bem. Afinal, é essa justamente a utilidade desses carros, vc poder fazer outras coisas enquanto “dirige”. Mas era um fuckin’ teste. Ela estava lá SÓ PRA ISSO, e poderia ter pelo menos tentado frear, diminuindo um pouco a porrada, mas não, não tirava os olhos do colo (com certeza do celular).
“Nem quero imaginar um mundo onde os carros (…) estão programados para reduzir os custos (…) antes de pensar em salvar vidas”.
Nem seria questão de imaginar. Já estamos em um mundo assim, em que a tecnologia para reduzir custos precede o salvar vidas.. Só ver o que aconteceu com a VW no escândalo do Dieselgate.
A empresa (cujo maior acionista é o governo da província em que está a sede da empresa) fez lobby com outras montadoras para incluir na legislação da União Europeia o uso justificado do software que fazia diminuir a emissão de poluentes (defeat devices) em situações em que houver “necessidade de proteger o motor contra dano ou acidente e para a utilização segura”. Essa necessidade foi expressa em termos tão vagos que ainda está difícil para as agências reguladoras na Europa fiscalizar e sancionar as empresas que não recolheram ou, pior, ainda fabricam carros a diesel com esses mecanismos. Quanto mais dar uma base legal para alguém processar as montadoras. E, nesse ínterim, estima-se que dezenas de milhares de pessoas morrem por lá a cada ano por conta da poluição desses veículos…E, nisso, só a VW pagou o pato nos EUA.
Aí fico imaginando se essa vaga “necessidade de proteger contra dano ou acidente e para a utilização segura” não possa ser novamente objeto de lobby para inclusão em legislação que proteja, desta vez, a tecnologia por trás dos carros autônomos contra sanções legais e administrativas decorrentes dos potenciais acidentes tratados aqui. E aí, a pobre mulher com a bicicleta seria a primeira de outras dezenas de milhares de vítimas a cada ano. Ou centenas.
E mesmo que não houvesse tal lei protegendo a tecnologia, fico pensando na necessidade desses carros autônomos terem caixas pretas, assim como aviões, para facilitar investigações. Só que aí faltaria capital humano de qualidade e em quantidade para dar conta de cada acidente que houver, fatal ou não. Haja delegado para fazer inquéritos que envolvem tecnologias tão complexas. E, nisso, fico pensando também na quantidade de melhorias e atualizações necessárias nos programas que rodam nessas carros autônomos, por conta do resultado dessas investigações, dos recalls ou mesmo das revisões determinadas pelos fabricantes. O custo não ficaria bem mais alto do que um carro convencional?
Nisso, corremos o caso de termos o que se chama de de-risking. Se não der conta dos riscos de tecnologias tão complexas, melhor nem permiti-las. É o que acontece, por exemplo, com bitcoins, em que o Banco Central e a CVM proibiram seu uso como meio de pagamento e nem sua compra por fundos de investimento. O Presidente do Banco Central até já deu entrevista dizendo que só regula quando as fintechs conseguirem se firmar no mercado por si sós (!).
Até porque, imagina o trabalho para programar para o mercado brasileiro um carro autônomo para dar conta de ruas tão esburacadas, calçadas irregulares, sinalização precária, pessoas que atravessam ruas, avenidas, estradas e cruzamentos conforme critérios individuais, prever postes enviados no meio da rua…entre tantas outras peculiaridades. Outra brecha para aumentar o preço desses carros por aqui…
(Ou então programar o carro para não respeitar o sinal vermelho a partir das 1h para não ser assaltado, ou poder mandar o carro passar na naquela enchente porque não quero perder a novela, o futebol, o BBB, etc, mesmo contra a vontade do carro…hahaha)
Se houver alguém especialista no assunto, sou toda ouvidos…
A mulher saiu totalmente das sombras, até penso que para um ser humano isso seria difícil de evitar…mas para um carro com scanners a laser e radares…falha boba, não?
Já há dezenas de relatos de pequenos incidentes com autônomos em trânsito urbano nos EUA pelo motivo de que, como estes carros levam a legislação ao pé da letra, fica complicado de conviver com os humanos que, vez ou outra, cometem uma infração aqui, outra ali. E uma das reclamações mais comuns diz respeito à lentidão causada por esses carros em alguns casos; eles param totalmente quando veem uma placa de pare, mesmo que nao esteja vindo ninguém, coisa que os humanos não fazem. E isso já ocasionou diversas batidas.
O desafio dos programadores e engenheiros no futuro será fazer com que carros autônomos se integrem melhor ao trânsito, e interajam melhor com humanos, esses seres falhos…
Então até os motoristas agora vão perder os empregos… Alguma profissão feita por humanos vai resistir ao futuro? Qual? Vai ser colocada em prática a renda básica universal? https://epocanegocios.globo.com/Revista/noticia/2017/07/bilionarios-do-setor-de-tecnologia-embarcam-no-movimento-da-renda-basica-universal.html
Eu honestamente acredito que a humanidade vai inventar profissões e mais profissões para ter o que fazer. Quando tiver um software ou robô que faça a tarefa anterior, criamos novas necessidades. É meio que a toada do desenvolvimento da espécie até aqui: já estamos vendo isso acontecer, faz muito tempo.
E sobre renda básica universal: vale um texto sim.
Já tem um des rotas sobre renda básica, não?
*des potas
Até que demorou. E essa de piloto automático existe na aviação há DÉCADAS.
Não com esse nível de complexidade.
Ixiiiii… Estou confusa agora
A partir das reflexões do Somir, prevejo gente hackeado veículos autônomos para realizar sequestros e atentados #blackmirrorfeelings
Se eu não me engano, há algum tempo atrás, uns especialistas conseguiram hackear um carro à distância pela sua conexão wifi (sim, nos EUA carros com acesso à internet não são tão incomuns…). Eles conseguiram trocar a estação de rádio, desligar o ar condicionado, e até desligar o motor! Tudo por comandos disparados remotamente!
Então sim, é perfeitamente possível invadir e assumir o controle de um carro remotamente
Tá doido, não vai ter essa de carro autônomo para autoridade não. Se não acaba com o emprego de chofer e aí como o amigo vai fazer para ganhar 10 mil por mês?
Certeza que vão hackear isso aí. Não somente o dono do carro, mas outras pessoas que queiram lhe causar mal. Quando isso chegar ao Brasil vai ter que tirar outra habilitação, especial, com curso de não sei quantas horas. Porque não deve ser somente essa diferença para um carro normal. Só estou imaginando o pessoal no banco de trás no vukadão enquanto o carro dirige e atropela alguém.
Eu acredito que tratarão o carro como um animal irracional. Se causou dano a alguém a culpa recairá sobre o proprietário, ainda que a outra pessoa tenha dado causa, tipo essa que resolveu atravessar fora do lugar.