Franken-algorithms: as conseqüências mortais de um código imprevisível

Traduzido de Franken-algorithms: the deadly consequences of unpredictable code.

A morte de uma mulher atropelada por um carro que se auto dirige destaca uma crise tecnológica em desdobramento, pois o código empilhado em código cria "um universo que ninguém entende totalmente".

by Andrew Smith

O dia 18 de março de 2018, era o dia em que as pessoas dentro do mundo da tecnologia tinham receio. Naquela noite, uma lua nova quase não acrescentou luz a uma estrada mal iluminada de quatro pistas em Tempe, Arizona, pois um Uber Volvo XC90 especialmente adaptado detectou um objeto à frente. Parte da moderna corrida do ouro para desenvolver veículos com direção própria, o SUV vinha rodando de forma autônoma, sem nenhuma contribuição de seu motorista de apoio humano, há 19 minutos. Um conjunto de sensores de radar e de lidar emissores de luz permitiu que algoritmos a bordo calculassem que, dada a velocidade constante do veículo hospedeiro de 43 km/h, o objeto estava a seis segundos de distância - supondo que permanecesse parado. Mas os objetos em estradas raramente permanecem estacionários, de modo que mais algoritmos rastrearam um banco de dados de entidades mecânicas e biológicas reconhecíveis, procurando um ajuste a partir do qual o comportamento provável deste pudesse ser inferido.

A princípio, o computador ficou de mãos atadas; segundos depois, ele decidiu que estava lidando com outro carro, esperando que ele fosse embora e não exigisse nenhuma ação especial. Somente no último segundo foi encontrada uma identificação clara - uma mulher com uma moto, sacos de compras pendurados confusamente no guidão, sem dúvida assumindo que o Volvo a contornaria como qualquer veículo comum. Barrado de tomar ações evasivas por conta própria, o computador devolveu abruptamente o controle a seu mestre humano, mas o mestre não estava prestando atenção. Elaine Herzberg, com 49 anos de idade, foi atingida e morta, deixando os membros mais reflexivos da comunidade tecnológica com duas perguntas desconfortáveis: esta tragédia algorítmica era inevitável? E quanto acostumados a tais incidentes estaríamos nós, devíamos estar preparados para isso?

'Quando os algoritmos começam a criar novos algoritmos, ele se afasta cada vez mais da agência humana', diz Ellen Ullman.Photograph: Sean Smith/The Guardian

Se estas palavras soam chocantes, elas deveriam, até porque Ellen Ullman, além de ser uma programadora profissional distinta desde os anos 70, é uma das poucas pessoas a escrever de forma reveladora sobre o processo de codificação. Não há muito que ela não saiba sobre software na natureza.

"As pessoas dizem: 'Bem, e quanto ao Facebook - eles criam e usam algoritmos e podem mudá-los'. Mas não é assim que funciona. Eles ativam os algoritmos e aprendem, mudam e executam eles próprios. O Facebook intervém na sua execução periodicamente, mas eles realmente não os controlam. E programas específicos não rodam apenas por conta própria, eles utilizam bibliotecas, sistemas operacionais profundos e assim por diante...".

O que é um algoritmo?

Poucos assuntos são discutidos mais constantemente ou ferozmente neste momento do que algoritmos. Mas o que é um algoritmo? Na verdade, o uso mudou de maneira interessante desde o surgimento da Internet - e dos mecanismos de busca em particular - em meados dos anos 90. Na raiz, um algoritmo é uma coisa muito simples; uma regra usada para automatizar o tratamento de um pedaço de dado. Se a acontecer, então faça b; se não, então faça c. Esta é a lógica "se/então/senão" da computação clássica. Se um usuário afirma ter 18 anos, permita que ele entre no site; se não, imprima "Desculpe, você deve ter 18 anos para entrar". No núcleo, os programas de computador são pacotes de tais algoritmos. Receitas para tratamento de dados. No nível micro, nada poderia ser mais simples. Se os computadores parecem estar fazendo mágica, é porque eles são rápidos, não inteligentes.

Nos últimos anos, um significado mais portentoso e ambíguo tem surgido, com a palavra "algoritmo" sendo entendida como qualquer sistema de software de tomada de decisão grande e complexo; qualquer meio de tomar uma série de entradas - de dados - e avaliá-los rapidamente, de acordo com um determinado conjunto de critérios (ou "regras"). Isto revolucionou as áreas da medicina, ciência, transporte, comunicação, tornando fácil entender a visão utópica da computação que prevaleceu por muitos anos. Os algoritmos melhoraram nossas vidas de diversas maneiras.

Somente a partir de 2016 começou a tomar forma uma consideração mais matizada de nossa nova realidade algorítmica. Se tendemos a discutir os algoritmos em termos quase bíblicos, como entidades independentes com vidas próprias, é porque fomos encorajados a pensar neles desta forma. Empresas como Facebook e Google venderam e defenderam seus algoritmos sobre a promessa de objetividade, uma capacidade de pesar um conjunto de condições com desprendimento matemático e ausência de emoções confusas. Não é de se admirar que tais decisões algorítmicas se tenham estendido à concessão de empréstimos/ fiança/benefícios/vagas na faculdade/entrevistas de trabalho e quase qualquer coisa que requeira escolha.

Nós não aceitamos mais o argumento de venda para este tipo de algoritmo de forma tão branda. Em seu livro de 2016 Weapons of Math Destruction, Cathy O'Neil, uma antiga prodígio da matemática que deixou Wall Street para ensinar e escrever e dirigir o excelente blog mathbabe, demonstrou sem dúvida que, longe de erradicar os vieses humanos, os algoritmos poderiam ampliá-los e entrincheirá-los. Afinal de contas, o software é escrito por homens brancos e asiáticos extremamente ricos - e inevitavelmente refletirá suas presunções (Google "distribuidor de sabão racista" para ver como isto se desenrola mesmo em situações do mundo real mundano). O preconceito não requer malícia para se tornar prejudicial e, ao contrário de um ser humano, não podemos facilmente pedir a um porteiro algorítmico para explicar sua decisão. O'Neil pediu "auditorias algorítmicas" de qualquer sistema que afete diretamente o público, uma idéia sensata de que a indústria tecnológica lutará com unhas e dentes, porque os algoritmos são o que as empresas vendem; a última coisa que eles oferecerão é transparência.

A boa notícia é que esta batalha está em andamento. A má notícia é que ela já está parecendo pitoresca em relação ao que vem a seguir. Tanta atenção tem sido dada às promessas e ameaças distantes da inteligência artificial, IA, que quase ninguém notou que estamos entrando em uma nova fase da revolução algorítmica que poderia ser igualmente tensa e desorientadora - com apenas uma pergunta feita.

Cathy O’Neil mostrou que os algoritmos podem ampliar os preconceitos humanos. Photograph: Adam Morganstern.

Os algoritmos sinalizados por O'Neil e outros são opacos, mas previsíveis: eles fazem o que foram programados para fazer. Um programador hábil pode, em princípio, examinar e testar seus fundamentos. Alguns de nós sonham com um exército cidadão para fazer este trabalho, semelhante à rede de astrônomos amadores que apóiam os profissionais desta área. A legislação para permitir isso parece inevitável.

Podemos chamar estes algoritmos de "burros", no sentido de que eles estão fazendo seu trabalho de acordo com parâmetros definidos pelos humanos. A qualidade do resultado depende do pensamento e da habilidade com que foram programados. No outro extremo do espectro está o sonho mais ou menos distante da inteligência geral artificial humana, ou AGI. Uma máquina devidamente inteligente seria capaz de questionar a qualidade de seus próprios cálculos, com base em algo como nossa própria intuição (que poderíamos pensar como um amplo acúmulo de experiência e conhecimento). Para colocar isto em perspectiva, a divisão DeepMind do Google foi justamente elogiada por criar um programa capaz de dominar os jogos arcade, começando com nada mais do que uma instrução para visar a maior pontuação possível. Esta técnica é chamada de "aprendizagem de reforço" e funciona porque um computador pode jogar milhões de jogos rapidamente, a fim de aprender o que gera pontos. Alguns chamam esta forma de habilidade de "inteligência estreita artificial", mas aqui a palavra "inteligente" está sendo usada tanto quanto o Facebook usa "amigo" - para implicar em algo mais seguro e melhor compreendido do que é. Por quê? Porque a máquina não tem contexto para o que está fazendo e não pode fazer mais nada. Nem, crucialmente, pode transferir conhecimento de um jogo para o outro (o chamado "aprendizado de transferência"), o que a torna menos inteligente em geral do que uma criança pequena, ou mesmo um choco. Podemos também chamar de "inteligente" uma torre de perfuração de petróleo ou um pulgão. Os computadores já são vastamente superiores a nós em certas tarefas especializadas, mas se alguma vez isso acontecer, o dia em que eles rivalizarem com nossa capacidade geral será provavelmente após longo caminho, se acontecer. Os seres humanos podem não ser os melhores em muitas coisas, mas nós somos os segundos melhores em uma gama impressionante de coisas.

O problema é o seguinte. Entre os algoritmos fixos "estúpidos" e a verdadeira IA está a problemática do meio termo que já entramos com pouco pensamento e quase nenhum debate, muito menos acordo quanto a objetivos, ética, segurança, melhores práticas. Se os algoritmos ao nosso redor ainda não são inteligentes, ou seja, capazes de dizer independentemente "que o cálculo/curso de ação não parece certo: eu o farei novamente", eles estão, no entanto, começando a aprender com seus ambientes. E uma vez que um algoritmo está aprendendo, não sabemos mais com nenhum grau de certeza quais são suas regras e parâmetros. Nesse momento, não podemos ter certeza de como ele irá interagir com outros algoritmos, com o mundo físico, ou conosco. Onde os algoritmos fixos "mudos" - complexos, opacos e inseguros ao monitoramento em tempo real como podem ser - são, em princípio, previsíveis e questionáveis, estes não são. Após um tempo na natureza, não sabemos mais o que eles são: eles têm o potencial de se tornarem erráticos. Podemos ser tentados a chamar esses de "frankenalgos" - embora Mary Shelley não poderia ter inventado isso.

Clashing codes

Algoritmos estão começando a aprender com seus ambientes. Ilustração: Marco Goran Romano.

Estes algoritmos não são novos em si mesmos. Eu os encontrei pela primeira vez há quase cinco anos enquanto pesquisava uma peça para o Guardian sobre [negociação de alta freqüência (HFT) na bolsa de valores] (theguardian.com/business/2014/jun/07/insid…). O que encontrei foi extraordinário: um ecossistema digital feito pelo homem, distribuído entre racks de caixas pretas cultivadas como ninjas em fazendas de dados de bilhões de dólares - que é o que as bolsas de valores se tornaram. Onde uma vez havia um comércio, toda a ação havia sido devolvida a um servidor central, no qual algoritmos ágeis e predatórios tentando enganar quanto ao estado do mercado. Comerciantes humanos HFT (embora nenhum humano mais tenha negociado ativamente) chamavam esses grandes e lentos participantes de "baleias", e a maioria deles pertenciam a fundos mútuos e de pensão - ou seja, ao público. Para a maioria das lojinhas HFT, as baleias eram agora a principal fonte de lucro. Em essência, estes algoritmos estavam tentando se superar uns aos outros; eles estavam fazendo uma batalha invisível à velocidade da luz, colocando e cancelando a mesma ordem 10.000 vezes por segundo ou batendo tantas vezes no sistema que todo o mercado tremeu - tudo além da supervisão ou controle dos humanos.

Ninguém poderia se surpreender que esta situação fosse instável. Um "flash crash" havia ocorrido em 2010, durante o qual o mercado entrou em queda livre por cinco minutos traumáticos, depois se endireitou sobre outros cinco - sem razão aparente. Viajei para Chicago para ver um homem chamado Eric Hunsader, cujas prodigiosas habilidades de programação lhe permitiram ver os dados do mercado com muito mais detalhes do que os reguladores, e ele me mostrou que até 2014, “mini flash crashes” estavam acontecendo todas as semanas. Mesmo ele não conseguiu explicar exatamente por quê, mas ele e sua equipe começaram a nomear alguns dos "algos" que viram, assim como os caçadores de “crop circles" nomearam as formações encontradas nos campos de verão ingleses, chamando-os de "Wild Thing", "Zuma", "The Click" ou "Disruptor".

Neil Johnson, um físico especializado em complexidade da Universidade George Washington, fez um estudo sobre a volatilidade do mercado acionário. "É fascinante", disse-me ele. "Quero dizer, as pessoas têm falado sobre a ecologia dos sistemas de computador durante anos em um sentido vago, em termos de vírus de vermes e assim por diante". Mas aqui está um sistema que realmente funciona e que podemos estudar. A questão maior é que não sabemos como ele está funcionando ou o que poderia dar origem a ele. E a atitude parece estar 'fora da vista, fora da mente'".

Significativamente, o artigo de Johnson sobre o assunto foi publicado na revista Nature e descreveu o mercado de ações em termos de "uma transição abrupta de uma fase mista homem-máquina para uma nova fase totalmente mecanizada caracterizada por eventos freqüentes de “black swan" [ou seja, altamente incomuns] com durações ultra-rápidas". O cenário era complicado, segundo o historiador da ciência George Dyson, pelo fato de que algumas empresas HFT estavam permitindo que os algos aprendessem - "apenas deixando a caixa preta tentar coisas diferentes, com pequenas quantidades de dinheiro, e se funcionar, reforçar essas regras". Sabemos que isso já foi feito. Então você realmente tem regras onde ninguém sabe quais são as regras: os algoritmos criam suas próprias regras - você as deixa evoluir da mesma forma que a natureza evolui os organismos". Os observadores da indústria não-financeira começaram a postular um catastrófico "acidente de splash" global, enquanto a área de maior crescimento do mercado se tornou (e continua a ser) instrumentos que lucram com a volatilidade. Em seu romance The Fear Index 2011, Robert Harris imagina o surgimento da AGI - da Singularidade, não menos - a partir precisamente desta gota digital. Para minha surpresa, nenhum cientista com quem eu falei descartaria categoricamente tal possibilidade.

Tudo isso poderia ser descartado como arcanos de alta finança, não fosse por um simples fato. A sabedoria costumava sustentar que a tecnologia era adotada primeiro pela indústria pornográfica, depois por todos os outros. Mas o pornô do século 21 é financeiro, então quando eu pensei ter visto sinais de algoritmos semelhantes aos do HFT causando problemas em outros lugares, eu chamei Neil Johnson novamente.

"Você está bem no ponto", ele me disse: uma nova forma de algoritmo está se movendo para o mundo, que tem "a capacidade de reescrever pedaços de seu próprio código", momento em que se torna como "um algoritmo genético". Ele acha que viu provas deles na busca de fatos no Facebook ("Já tive minhas contas atacadas quatro vezes", acrescenta ele). Se for o caso, os algoritmos estão sendo corrigidos e adaptados, como no mercado de ações. "Afinal, o Facebook é apenas um grande algoritmo", diz Johnson.

'Facebook é apenas um grande algoritmo', diz o físico Neil Johnson. Fotografia: Christophe Morin/IP3/Getty Images

"E acho que esse é exatamente o problema que o Facebook tem". Eles podem ter algoritmos simples para reconhecer meu rosto em uma foto na página de outra pessoa, pegar os dados do meu perfil e nos ligar juntos. Esse é um algoritmo concreto muito simples. Mas a questão é qual é o efeito de bilhões de tais algoritmos trabalhando em conjunto no nível macro? Você não pode prever o comportamento aprendido no nível da população a partir de regras microscópicas. Assim, o Facebook afirmaria que eles sabem exatamente o que está acontecendo no nível micro, e provavelmente estariam certos. Mas o que acontece no nível da população? Essa é a questão".

Para sublinhar este ponto, Johnson e uma equipe de colegas da Universidade de Miami e Notre Dame produziram um trabalho, Emergence of Extreme Subpopulations from Common Information and Likely Enhancement from Future Bonding Algorithms, alegando provar matematicamente que as tentativas de conectar as pessoas nas mídias sociais inevitavelmente polarizam a sociedade como um todo. Ele acha que o Facebook e outros deveriam modelar (ou ser feitos para modelar) os efeitos de seus algoritmos na forma como os cientistas climáticos modelam a mudança climática ou os padrões climáticos.

O'Neil diz que excluiu conscientemente esta forma adaptativa de algoritmo das Weapons of Math Destruction. Em um ambiente algorítmico complicado, onde nada é claro, repartir a responsabilidade por segmentos específicos do código torna-se extremamente difícil. Isto os torna mais fáceis de ignorar ou dispensar, porque eles e seus efeitos precisos são mais difíceis de identificar, ela explica, antes de aconselhar que se eu quiser vê-los na natureza, eu deveria perguntar como poderia ser um flash crash na Amazon.

"Eu também tenho cuidado com estes algoritmos", diz ela, "e tenho pensado: 'Oh, “big datas" ainda não chegaram lá'". Mas, mais recentemente, um amigo que é livreiro da Amazon tem me dito o quão louca a situação de preços aí se tornou para pessoas como ele. De vez em quando, você verá alguém twitar 'Ei, você pode comprar um artigo de luxo na Amazon por $40.000'. E sempre que eu ouço esse tipo de coisa, penso: 'Ah! Isso deve ser o equivalente a um flash crash!'".

As evidências anedóticas de eventos anômalos na Amazon são abundantes, sob a forma de artigo de vendedores malucos, e pelo menos um artigo acadêmico de 2016, que afirma: "Exemplos surgiram de casos em que peças concorrentes de software de preços algorítmicos interagiram de formas inesperadas e produziram preços imprevisíveis, bem como casos em que os algoritmos foram intencionalmente projetados para implementar a fixação de preços". O problema, mais uma vez, é como repartir a responsabilidade em um ambiente algorítmico caótico onde a simples causa e efeito ou não se aplicam ou são quase impossíveis de serem rastreados. Como nas finanças, a vulnerabilidade é introduzida no sistema.

Perigos da vida real

Onde a segurança está em jogo, isto realmente importa. Quando um motorista saiu da estrada e foi morto em um Toyota Camry depois de ter aparentemente acelerado sem razão óbvia, os especialistas da Nasa passaram seis meses examinando os milhões de linhas de código em seu sistema operacional, sem encontrar provas do que a família do motorista acreditava ter ocorrido, mas o fabricante negou firmemente - que o carro tinha acelerado por sua própria vontade. Somente quando um par de especialistas em software embarcado passou 20 meses pesquisando o código é que conseguiram provar o caso da família, revelando uma massa distorcida do que os programadores chamam de "código spaghetti", cheio de algoritmos que ricocheteavam e disputavam, gerando resultados anômalos e imprevisíveis. Os carros autônomos atualmente sendo testados podem conter 100 milhões de linhas de código e, dado que nenhum programador pode prever todas as circunstâncias possíveis em uma estrada do mundo real, eles têm que aprender e receber atualizações constantes. Como evitar choques em um meio de código tão fluido, sobretudo quando os algoritmos também podem ter que se defender dos hackers?

Há vinte anos, George Dyson antecipou muito do que está acontecendo hoje em seu livro clássico Darwin Among the Machines. O problema, ele me diz, é que estamos construindo sistemas que estão além de nossos meios intelectuais para controlar. Acreditamos que se um sistema é determinístico (agindo de acordo com regras fixas, sendo esta a definição de um algoritmo) é previsível - e que o que é previsível pode ser controlado. Ambas as suposições acabam se revelando erradas.

"Está procedendo por conta própria, em pequenos pedaços", diz ele. "O que eu estava obcecado por 20 anos atrás que tomou completamente conta do mundo hoje são organismos digitais multicelulares, metazoários, da mesma forma que vemos na biologia, onde você tem todos esses pedaços de código rodando nos iPhones das pessoas, e coletivamente ele age como um organismo multicelular.

"Há esta antiga lei chamada lei de Ashby que diz que um sistema de controle tem que ser tão complexo quanto o sistema que está controlando, e estamos nos deparando com isso a toda velocidade agora, com este enorme empurrão para construir carros autônomos onde o software tem que ter um modelo completo de tudo, e quase por definição não vamos entendê-lo. Porque qualquer modelo que entendemos vai fazer algo como chocar com um caminhão de bombeiros porque nos esquecemos de modelar o caminhão de bombeiros".

Ao contrário de nossos antigos sistemas eletro-mecânicos, estes novos algoritmos também são impossíveis de serem testados exaustivamente. A menos e até que tenhamos máquinas super-inteligentes para fazer isso por nós, estaremos andando na corda bamba.

Investigadores federais examinam o veículo Uber autoconduzido envolvido em um acidente fatal em Tempe, Arizona. Fotografia: Folheto/Reuters

A Dyson questiona se alguma vez teremos carros que se conduzem livremente pelas ruas da cidade, enquanto Toby Walsh, um professor de inteligência artificial da Universidade de New South Wales, que escreveu seu primeiro programa aos 13 anos de idade e dirigiu um negócio de iniciantes em computação no final da adolescência, explica de um ponto de vista técnico por que isso acontece.

"Ninguém sabe como escrever um pedaço de código para reconhecer um sinal de parada". Passamos anos tentando fazer esse tipo de coisa na IA - e falhamos! Foi um pouco estancado por nossa estupidez, porque não fomos espertos o suficiente para aprender a quebrar o problema. Quando você programa, descobre que tem que aprender a quebrar o problema em peças simples o suficiente para que cada uma possa corresponder a uma instrução do computador [para a máquina]. Só não sabemos como fazer isso para um problema muito complexo como identificar um sinal de parada ou traduzir uma frase do inglês para o russo - isso está além de nossa capacidade. Tudo o que sabemos é como escrever um algoritmo de propósito mais geral que possa aprender a fazer isso, dado exemplos suficientes".

Daí a ênfase atual no aprendizado de máquinas. Sabemos agora que Herzberg, o pedestre morto por um carro automatizado Uber no Arizona, morreu porque os algoritmos vacilaram ao categorizá-la corretamente. Isto foi resultado de uma programação pobre, de um treinamento algorítmico insuficiente ou de uma recusa hubrística em apreciar os limites de nossa tecnologia? O verdadeiro problema é que talvez nunca saibamos.

"E eventualmente desistiremos completamente de escrever algoritmos", continua Walsh, "porque as máquinas serão capazes de fazê-lo muito melhor do que nós jamais poderíamos fazer. A engenharia de software é, nesse sentido, talvez uma profissão moribunda. Vai ser assumida por máquinas que serão muito melhores em fazê-lo do que nós".

Walsh acredita que isto torna mais importante, e não menos, que o público aprenda sobre programação, porque quanto mais alienados ficamos dela, mais parece magia além de nossa capacidade de influenciar. Quando lhe foi mostrada a definição de "algoritmo" dada anteriormente nesta peça, ele a achou incompleta, comentando: "Eu sugeriria que o problema é que algoritmo agora significa qualquer sistema de software de tomada de decisão grande e complexo e o ambiente maior em que está embutido, o que os torna ainda mais imprevisíveis". Um pensamento arrepiante, de fato. Assim, ele acredita que a ética é a nova fronteira da tecnologia, prevendo "uma era de ouro para a filosofia" - uma visão com a qual Eugene Spafford da Universidade Purdue, um especialista em cibersegurança, concorda.

"Onde há escolhas a serem feitas, é aí que entra a ética". E nós tendemos a querer ter uma agência que possamos interrogar ou culpar, o que é muito difícil de fazer com um algoritmo. Esta é uma das críticas desses sistemas até agora, na medida em que não é possível voltar atrás e analisar exatamente por que algumas decisões são tomadas, porque o número interno de escolhas é tão grande que como chegamos a esse ponto pode não ser algo que possamos jamais recriar para provar a culpabilidade para além da dúvida".

O contra-argumento é que, uma vez que um programa tenha falhado, toda a população de programas pode ser reescrita ou atualizada para que isso não aconteça novamente - ao contrário dos humanos, cuja propensão para repetir erros sem dúvida fascinará as máquinas inteligentes do futuro. No entanto, embora a automação deva ser mais segura a longo prazo, nosso sistema existente de [direito civil] (law.cornell.edu/wex/tort), que exige prova de intenção ou negligência, precisará ser repensado. Um cão não é considerado legalmente responsável por morder você; seu dono pode ser, mas somente se a ação do cão for considerada previsível. Em um ambiente algorítmico, muitos resultados inesperados podem não ter sido previsíveis para os seres humanos - uma característica com potencial para se tornar uma licença do canalha, na qual a ofuscação deliberada se torna ao mesmo tempo mais fácil e mais gratificante. As empresas farmacêuticas têm se beneficiado da cobertura da complexidade durante anos (ver o caso da [talidomida] (theguardian.com/society/2012/sep/01/thalid…)), mas aqui as conseqüências poderiam ser maiores e mais difíceis de reverter.

Os interesses militares

No entanto, o comércio, as mídias sociais, as finanças e os transportes podem vir a parecer café pequeno no futuro. Se as forças armadas não mais impulsionam a inovação como antes, ela continua sendo o tomador mais conseqüente da tecnologia. Não surpreende, portanto, que uma onda de preocupação entre cientistas e trabalhadores da tecnologia tenha acompanhado as revelações de que as armas autônomas estão se tornando fantasmas em direção ao campo de batalha no que equivale a uma corrida armamentista algorítmica. Um atirador robótico atualmente policia a zona desmilitarizada entre a Coréia do Norte e a do Sul, e enquanto seu fabricante, Samsung, nega ser capaz de autonomia, esta afirmação é amplamente desacreditada. A Rússia, a China e os EUA afirmam estar em vários estágios de desenvolvimento de enxames coordenados drones armados , enquanto este último planeja mísseis capazes de pairar sobre um campo de batalha durante dias, observando, antes de selecionar seus próprios alvos. Um grupo de funcionários do Google demitiu-se e milhares de outros questionaram o fornecimento de software de aprendizagem de máquinas pelo monólito tecnológico ao programa de "guerra algorítmica" do Projeto Maven do Pentágono - preocupações às quais a administração acabou respondendo, concordando em não renovar o contrato Maven e publicar um código de ética para o uso de seus algoritmos. No momento da redação, os concorrentes, incluindo a Amazon e a Microsoft, resistiram a seguir o exemplo.

Os funcionários do Google demitiram-se por causa do fornecimento de software de aprendizagem de máquinas da empresa para o programa de 'guerra algorítmica' do Pentágono. Fotografia: Mike Blake/Reuters

Em comum com outras empresas de tecnologia, o Google havia reivindicado a virtude moral de seu software Maven: que ele ajudaria a escolher alvos de forma mais eficiente e, assim, salvaria vidas. A questão é como os gerentes de tecnologia podem presumir saber o que seus algoritmos farão ou serão orientados a fazer in situ - especialmente dada a certeza de que todos os lados desenvolverão algoritmos adaptativos de contra-sistemas projetados para confundir as armas inimigas. Como no mercado de ações, a imprevisibilidade provavelmente será vista como um ativo em vez de uma desvantagem, dando às armas uma melhor chance de resistir às tentativas de subvertê-las. Desta e de outras formas, corremos o risco de virar nossas máquinas do avesso, envolvendo nosso mundo corpóreo cotidiano em código esparguete.

Lucy Suchman, da Universidade de Lancaster no Reino Unido, co-autora de uma carta aberta dos pesquisadores de tecnologia para o Google, pedindo-lhes que refletissem sobre a pressa de militarizar seu trabalho. As motivações das empresas de tecnologia são fáceis de entender, ela diz: os contratos militares sempre foram lucrativos. Por parte do Pentágono, uma vasta rede de sensores e sistemas de vigilância tem se antecipado a qualquer capacidade de usar as plataformas de dados assim adquiridos.

"Eles estão sobrecarregados com dados, porque têm novos meios para coletá-los e armazená-los, mas não podem processá-los. Portanto, é basicamente inútil - a menos que algo mágico aconteça. E eu acho que seu recrutamento de grandes empresas de dados é uma forma de pensamento mágico no sentido de: "Aqui está alguma tecnologia mágica que dará sentido a tudo isso".

Suchman também oferece estatísticas que lançam uma luz arrepiante sobre a Maven. De acordo com análises realizadas sobre ataques com drones no Paquistão de 2003-13, menos de 2% das pessoas mortas desta forma são confirmadas como alvos de "alto valor" que representam uma clara ameaça para os Estados Unidos. Na região de 20% são considerados não-combatentes, deixando mais de 75% desconhecidos. Mesmo que estes números fossem eliminados por um fator de dois - ou três, ou quatro - eles fariam uma pausa razoável para qualquer um.

"Portanto, aqui temos esta tecnologia de identificação muito grosseira e o que o Projeto Maven se propõe a fazer é automatizar isso. Nesse momento, ele se torna ainda menos responsável e aberto a questionamentos. É uma idéia muito ruim".

A colega de Suchman, Lilly Irani, na Universidade da Califórnia, San Diego, nos lembra que a informação viaja em torno de um sistema algorítmico à velocidade da luz, livre de supervisão humana. As discussões técnicas são freqüentemente usadas como cortina de fumaça para evitar a responsabilidade, sugere ela.

"Quando falamos de algoritmos, às vezes o que estamos falando é de burocracia. As escolhas que os projetistas de algoritmos e especialistas em política fazem são apresentadas como objetivas, onde no passado alguém teria que assumir a responsabilidade por eles. As empresas de tecnologia dizem que só estão melhorando a precisão com a Maven - ou seja, as pessoas certas serão mortas ao invés das erradas - e ao dizer isso, a suposição política de que aquelas pessoas do outro lado do mundo são mais matáveis, e que os militares dos EUA conseguem definir o que é suspeita, ficam incontestados. Portanto, as questões tecnológicas estão sendo usadas para fechar algumas coisas que na verdade são questões políticas. A escolha de usar algoritmos para automatizar certos tipos de decisões é também política".

As convenções legais da guerra moderna, por mais imperfeitas que sejam, assumem a responsabilidade humana pelas decisões tomadas. No mínimo, a guerra algorítmica turva a água de forma que podemos nos arrepender. Um grupo de especialistas governamentais está debatendo a questão na convenção da ONU sobre certas armas convencionais (CCW), em Genebra, esta semana.

Em busca de uma solução

'Basicamente, precisamos de uma nova ciência', diz Neil Johnson.Ilustração: Marco Goran Romano

As soluções existem ou podem ser encontradas para a maioria dos problemas aqui descritos, mas não sem incentivar as grandes tecnologias a colocar a saúde da sociedade em pé de igualdade com seus resultados. Mais grave a longo prazo é a crescente conjectura de que os métodos atuais de programação não são mais adequados ao propósito dado o tamanho, complexidade e interdependência dos sistemas algorítmicos com os quais contamos cada vez mais. Uma solução, empregada pela Federal Aviation Authority em relação à aviação comercial, é registrar e avaliar o conteúdo de todos os programas e atualizações subseqüentes com tal nível de detalhe que as interações algorítmicas são bem compreendidas com antecedência - mas isto é impraticável em grande escala. Partes da indústria aeroespacial empregam uma abordagem relativamente nova chamada programação baseada em modelos, na qual as máquinas fazem a maior parte do trabalho de codificação e são capazes de testar à medida que vão avançando.

No entanto, a programação baseada em modelos pode não ser a panaceia de certa esperança. Não apenas afasta ainda mais os humanos do processo, mas Johnson, o físico, conduziu um estudo para o Department of Defense que encontrou "comportamentos extremos que não podiam ser deduzidos do próprio código", mesmo em sistemas grandes e complexos construídos com esta técnica. Muita energia está sendo direcionada para encontrar maneiras de rastrear comportamentos algorítmicos inesperados de volta às linhas específicas do código que os causou. Ninguém sabe se uma solução (ou soluções) será encontrada, mas nenhuma é provável que funcione onde algoritmos agressivos são projetados para enfrentar e/ou se adaptar.

Enquanto esperamos por uma resposta tecnológica para o problema do emaranhamento algorítmico, há precauções que podemos tomar. Paul Wilmott, um especialista britânico em análise quantitativa e crítico vocal das negociações de alta freqüência no mercado de ações, sugere ironicamente "aprender a atirar, fazer geléia e tricotar". Mais praticamente, Spafford, o especialista em segurança de software, aconselha a tornar as empresas de tecnologia responsáveis pelas ações de seus produtos, sejam linhas específicas de código malicioso - ou prova de negligência em relação a elas - podem ser identificadas ou não. Ele observa que a venerável Association for Computing Machinery atualizou seu código de ética de acordo com o juramento Hipocrático da medicina, para instruir os profissionais da computação a não causar danos e considerar os impactos mais amplos de seu trabalho. Johnson, por sua vez, considera que nosso desconforto algorítmico é pelo menos parcialmente conceitual; dores crescentes em um novo reino da experiência humana. Ele ri ao notar que quando ele e eu falamos sobre isso pela última vez, há alguns anos atrás, minhas perguntas eram preocupações de nicho, restritas a algumas pessoas que se debruçavam sobre o mercado de ações em detalhes indecorosos.

"E agora, aqui estamos nós - está até afetando as eleições". Quero dizer, que diabos está acontecendo? Acho que a coisa científica profunda é que os engenheiros de software são treinados para escrever programas para fazer coisas que optimizam - e com boa razão, porque muitas vezes você está otimizando em relação a coisas como a distribuição de peso em um avião, ou uma velocidade mais eficiente em termos de combustível: nas circunstâncias habituais, a otimização antecipada faz sentido. Mas em circunstâncias incomuns não faz, e precisamos perguntar: 'Qual é a pior coisa que poderia acontecer neste algoritmo uma vez que ele comece a interagir com os outros? O problema é que não temos sequer uma palavra para este conceito, muito menos uma ciência para estudá-lo".

Ele pára por um momento, tentando envolver seu cérebro em torno do problema.

"O problema é que otimizar é maximizar ou minimizar algo, o que em termos de computador é o mesmo. Então o que é o oposto de uma otimização, ou seja, o caso menos ideal, e como identificá-lo e medi-lo? A pergunta que precisamos fazer, que nunca fazemos, é: "Qual é o comportamento mais extremo possível em um sistema que eu pensava estar otimizando"?

Outro breve silêncio termina com uma pitada de surpresa em sua voz.

"Basicamente, precisamos de uma nova ciência", diz ele.