{"id":28893,"date":"2025-05-07T14:52:44","date_gmt":"2025-05-07T17:52:44","guid":{"rendered":"https:\/\/www.desfavor.com\/blog\/?p=28893"},"modified":"2025-11-03T21:30:23","modified_gmt":"2025-11-04T00:30:23","slug":"caixa-preta-da-ia","status":"publish","type":"post","link":"https:\/\/www.desfavor.com\/blog\/2025\/05\/caixa-preta-da-ia\/","title":{"rendered":"Caixa-preta da IA."},"content":{"rendered":"<p>Culpado. Eu j\u00e1 escrevi v\u00e1rias vezes aqui sobre como a Intelig\u00eancia Artificial tem uma esp\u00e9cie de caixa-preta entre nosso pedido e sua resposta. Caixa-preta no sentido de n\u00e3o sabermos o que acontece l\u00e1 dentro, e isso d\u00e1 um ar meio \u201cm\u00e1gico\u201d \u00e0 coisa toda. N\u00e3o \u00e9 bem assim.<!--more--><\/p>\n<p>Todo mundo j\u00e1 tentou explicar a essa altura do campeonato, mas aqui vai de novo: a IA nos modelos atuais como o ChatGPT e os geradores de imagem trabalha transformando dados que damos para ela em matem\u00e1tica, fazendo contas com eles e convertendo de volta em coisas que entendemos. No fundo, todo computador faz isso&#8230; e s\u00f3 isso.<\/p>\n<p>A analogia da caixa-preta \u00e9 bacana para demonstrar a complexidade do que esses programas de computadores fazem, mas ainda \u00e9 complexidade programada por seres humanos. Numa analogia mais esclarecedora, \u00e9 como se a IA tivesse sido treinada para fazer um bolo, mas do jeito que precisamos fazer para ela entender como fazer um bolo, a receita tem 10 bilh\u00f5es de passos.<\/p>\n<p>Entram os ingredientes que conhecemos, sai um bolo. Para a gente basta dizer para colocar 2 ovos. Mas o jeito que o computador faz as coisas o for\u00e7a a transformar cada contra\u00e7\u00e3o de cada fibra do m\u00fasculo de cada um dos dedos num passo. E todas elas precisam estar coordenadas. S\u00e3o incont\u00e1veis instru\u00e7\u00f5es para fazer a mesma coisa que at\u00e9 o mais tapado de n\u00f3s faria s\u00f3 com um pedido de duas palavras.<\/p>\n<p>Isso \u00e9 a caixa-preta. O computador ainda est\u00e1 fazendo uma coisa que entendemos, a IA n\u00e3o quebrou a realidade de forma nenhuma. S\u00f3 que \u00e9 humanamente imposs\u00edvel olhar para a receita com 10 bilh\u00f5es de passos da IA e descobrir qual delas est\u00e1 errada. Um espasmo min\u00fasculo do dedo que faz com que os ovos caiam no ch\u00e3o, e talvez voc\u00ea demore anos para descobrir qual deles \u00e9 o culpado.<\/p>\n<p>N\u00e3o \u00e9 misterioso, \u00e9 chato. A grande sacada computacional aqui foi a ideia de treinamento: deixar a IA se virar com seus 10 bilh\u00f5es de passos e s\u00f3 dizer para ela se saiu um bolo ou n\u00e3o. Quanto mais parecido com um bolo, mais o incentivo para o computador fazer aquelas contas naquela ordem. Curiosamente, criamos m\u00e1quinas viciadas em aceita\u00e7\u00e3o, mesmo que sejam absolutamente incapazes de entender o conceito de aceita\u00e7\u00e3o.<\/p>\n<p>O perigo da IA para o mundo est\u00e1 na caixa-preta, mas n\u00e3o por ela come\u00e7ar a \u201cpensar sozinha\u201d l\u00e1 dentro. \u00c9 porque as etapas que ela segue para fazer as coisas mais banais j\u00e1 fogem da capacidade de aten\u00e7\u00e3o da maioria de n\u00f3s. At\u00e9 mesmo entre n\u00f3s, que em tese nos entendemos, j\u00e1 existem pessoas e mais pessoas fazendo coisas que pouqu\u00edssimos conseguem supervisionar.<\/p>\n<p>Porque essa \u00e9 a palavra-chave do risco: supervis\u00e3o. O nosso caminho tecnol\u00f3gico passa por aumento exponencial de complexidade, o que vai reduzindo o n\u00famero de pessoas capazes de fazer um ju\u00edzo de valor. Voc\u00ea pode at\u00e9 n\u00e3o saber subir um muro como um pedreiro, mas n\u00e3o precisa de muito conhecimento espec\u00edfico para saber se o muro est\u00e1 subindo torto. Quanto mais gente capaz de perceber problemas num projeto, maior a chance de evitarmos problemas.<\/p>\n<p>E muito mais do que o perigo de uma rebeli\u00e3o das m\u00e1quinas, vamos ter que lidar com a incompet\u00eancia delas, sem muito jeito de resolver antes de ver o resultado. E como vamos colocar tarefas mais e mais complexas na m\u00e3o delas, pode chegar um momento em que n\u00e3o vamos saber julgar se deu certo ou n\u00e3o. Se a IA disser que o muro precisa ser torto por causa de zilh\u00f5es de fatores t\u00e9cnicos que nem voc\u00ea nem os melhores especialistas do mundo conseguem revisar em tempo h\u00e1bil&#8230; voc\u00ea fica do lado dele ou n\u00e3o?<\/p>\n<p>Se o mundo atual \u00e9 indicativo de algo, \u00e9 que sim. As pessoas j\u00e1 confiam bastante umas nas outras em coisas como pr\u00e9dios, barragens, instala\u00e7\u00f5es el\u00e9tricas, etc. Voc\u00ea sabe mesmo se o edif\u00edcio onde est\u00e1 \u00e9 seguro? Se n\u00e3o est\u00e1 prestes a desabar por uma falha na aerodin\u00e2mica? A gente confia em especialistas, e a IA vem para ser especialista em ser especialista.<\/p>\n<p>E eu at\u00e9 acredito que na m\u00e9dia a IA vai ser mais eficiente que pessoas nessas tarefas ultra complexas. Mas como ela pega as nossas premissas e calcula em cima delas, os erros humanos podem se acumular. E eu j\u00e1 devo ter falado aqui como radia\u00e7\u00e3o aleat\u00f3ria pode acabar quebrando uma conta feita num processador. Existem muitos pontos de erro, mesmo com as IAs.<\/p>\n<p>Como eu vejo um futuro em que a tecnologia avan\u00e7a e nos acostumamos com o grau mais avan\u00e7ado, esses riscos da caixa-preta v\u00e3o continuar aumentando. Evidente que j\u00e1 tem gente pensando nisso, as melhores IAs do mundo s\u00e3o treinadas com outras IAs focadas em pegar erros, mas isso meio que s\u00f3 rola a bola um pouco mais para a frente.<\/p>\n<p>O 1% de erro humano deve cair para 0,00001% de erro da IA, mas ao mesmo tempo: qu\u00e3o ousados nos tornaremos com esse tipo de margem de erro? Existem experimentos com tr\u00e2nsito dizendo que retirar sinaliza\u00e7\u00e3o de algumas vias diminui o n\u00famero de acidentes: as pessoas ficam preocupadas e assumem menos riscos. Parece ser uma tend\u00eancia nossa.<\/p>\n<p>Quanto melhor a IA, mais preta \u00e9 a caixa e mais confiantes nos tornamos em suas respostas. O tamanho dos riscos tende a aumentar consideravelmente, porque at\u00e9 dar muito errado, \u00e9 a resposta mais inteligente. Essa \u00e9 a nossa tecnologia, n\u00e3o precisa estar muito pr\u00f3xima de consci\u00eancia artificial para nos dominar. N\u00e3o \u00e9 sobre ser submetido, \u00e9 sobre se submeter.<\/p>\n<p>E talvez sirva de resposta para n\u00e3o vermos aliens por a\u00ed: eventualmente todo mundo desenvolve uma IA, e vai deixando as coisas na m\u00e3o dela at\u00e9 ela cometer um erro inescap\u00e1vel. O engra\u00e7ado \u00e9 que durante todo o caminho vai fazer sentido: depois de muitos avan\u00e7os e caixas-pretas que demorariam mil\u00eanios para as pessoas decifrarem, a IA pode cometer um erro imposs\u00edvel de identificar. Algo que vamos achar brilhante na hora, mas que pode dar imensamente errado duzentos anos depois&#8230;<\/p>\n<p>Pode ser assim que a humanidade acaba, n\u00e3o por tirania ou descaso com o ambiente, mas porque dava trabalho demais revisar o trabalho do computador.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Culpado. Eu j\u00e1 escrevi v\u00e1rias vezes aqui sobre como a Intelig\u00eancia Artificial tem uma esp\u00e9cie de caixa-preta entre nosso pedido e sua resposta. Caixa-preta no sentido de n\u00e3o sabermos o que acontece l\u00e1 dentro, e isso d\u00e1 um ar meio \u201cm\u00e1gico\u201d \u00e0 coisa toda. N\u00e3o \u00e9 bem assim.<\/p>\n","protected":false},"author":3,"featured_media":28895,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[37],"tags":[],"class_list":["post-28893","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-somir-surtado"],"_links":{"self":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts\/28893","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/comments?post=28893"}],"version-history":[{"count":0,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/posts\/28893\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/media\/28895"}],"wp:attachment":[{"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/media?parent=28893"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/categories?post=28893"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.desfavor.com\/blog\/wp-json\/wp\/v2\/tags?post=28893"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}