Weapons of Math Destruction (Cathy O’Neil)

Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy
Compre já: Amazon BR

Lá nos idos de 2008, quando eu era jovenzinha e fazia faculdade de Jornalismo, um dos grandes momentos epifânicos que tive foi quando finalmente entendi que nada é imparcial. A escolha de noticiar um fato, a definição de um sujeito na manchete, o corte da foto e até a legenda: nada é por acaso; tudo tem um viés e um porquê.

E nesse “tudo” cabem também modelos matemáticos e estatísticos, alguns dos quais Cathy O’Neil, Ph.D em Matemática por Harvard, carinhosamente apelidou de Armas de Destruição Matemática (Weapons of Math Destruction).

“Here’s an informal model I use every day. As a mother of three, I cook the meals at home—my husband, bless his heart, cannot remember to put salt in pasta water. Each night when I begin to cook a family meal, I internally and intuitively model everyone’s appetite. I know that one of my sons loves chicken (but hates hamburgers), while another will eat only the pasta (with extra grated parmesan cheese). But I also have to take into account that people’s appetites vary from day to day, so a change can catch my model by surprise.

There’s some unavoidable uncertainty involved. The input to my internal cooking model is the information I have about my family, the ingredients I have on hand or I know are available, and my own energy, time, and ambition. The output is how and what I decide to cook. I evaluate the success of a meal by how satisfied my family seems at the end of it, how much they’ve eaten, and how healthy the food was. Seeing how well it is received and how much of it is enjoyed allows me to update my model for the next time I cook. The updates and adjustments make it what statisticians call a “dynamic model.””

Ao tema, ela destinou 272 páginas de análise e muita crítica, embasadas em estudos e também em experiências pessoais. Fascinada por Big Data, Cathy O’Neil trabalhou num hedge fund em Wall Street e também em startups, onde criou modelos matemáticos capazes de prever cliques e compras em websites. Hoje ela comanda o Lede Program in Data Practices na Columbia University Graduate School of Journalism e é uma das principais ativistas pela ética na Tecnologia. Ou seja, se existe alguém que tem bagagem para falar sobre o potencial destrutivo e impacto social dos algoritmos, essa pessoal é Cathy.

Weapons of Math Destruction

Em Washington D.C., Sarah Wysocki é uma professora tida como referência em sua escola e adorada pelos alunos e pais. Mas quando o IMPACT, sistema desenvolvido para medir o desempenho dos professores das escolas públicas, é implementado pelo Governo, Sarah leva uma nota vermelha e é prontamente demitida, sem chance de sequer contestar ou ir para uma repescagem. Sua vida, seus métodos de ensino e tudo aquilo em que acreditava foi por água abaixo.

“In WMDs, many poisonous assumptions are camouflaged by math and go largely untested and unquestioned.”

O bolso também se torna alvo do onisciente e onipresente sistema algorítmico. No mercado de seguros norte-americano, por exemplo, ter restrições financeiras – o nosso famoso “nome sujo”– acarreta mais consequências no custo anual da apólice que ter sido autuado por direção embriagada. Mas afinal, por que pagar as contas em dia é um indicador mais relevante do que dirigir com cuidado?

“In New York State, for example, a dip in a driver’s credit rating from “excellent” to merely “good” could jack up the annual cost of insurance by $255. And in Florida, adults with clean driving records and poor credit scores paid an average of $1,552 more than the same drivers with excellent credit and a drunk driving conviction.”

Ter débitos também é ponto contra nos departamentos de RH das empresas, que não raro dão ao critério peso igual ou até maior do que as qualificações e experiências do candidato. Mas como conseguir pagar dívidas se não há chances de ser empregado?

“So they substitute stand-in data, or proxies. They draw statistical correlations between a person’s zip code or language patterns and her potential to pay back a loan or handle a job.”

Esses são só alguns dos questionamentos da autora em Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy (Armas de Destruição Matemática: Como a Big Data aumenta a desigualdade e ameaça a democracia, em tradução livre).

Opaco, Escalável, Destrutível

Opaco, escalável e destrutível: segundo Cathy O’Neil, essas são as três principais características de uma Weapons of Math Destruction.

  1. Opaco: tomando a posição de uma espécie de semideus e funcionando como uma caixinha preta, esses modelos dão vereditos que costumam ser inquestionáveis, uma vez que os critérios que os compõem geralmente são secretos.
  2. Escaláveis: na incessante busca pela eficiência, os modelos precisam ser escaláveis – é necessário ter certeza de que todos passem por sua triagem e é imprescindível que isso aconteça da forma mais rápida, certeira e barata possível.
  3. Destrutível: todo modelo matemático gera falsos positivos e falsos negativos; faz parte do jogo. Nas Armas de Destruição Matemática, há pouco ou zero esforço para tentar aperfeiçoar o modelo à medida em que é aplicado. O potencial de destruição de vidas é ignorado.

But you cannot appeal to a WMD. That’s part of their fearsome power. They do not listen. Nor do they bend.”

“An algorithm processes a slew of statistics and comes up with a probability that a certain person might be a bad hire, a risky borrower, a terrorist, or a miserable teacher. That probability is distilled into a score, which can turn someone’s life upside down.

“That was a concern, because mathematical models, by their nature, are based on the past, and on the assumption that patterns will repeat.”

Escancarando o lado B da Tecnologia

Em Weapons of Math Destruction, Cathy O’Neil deixa claro quem são os mais prejudicados pelos algoritmos e modelos: os negros, os imigrantes, a classe que trabalha por um salário mínimo e as pessoas com pouca ou nenhuma educação formal. Afinal, as Armas da Destruição Matemática perpetuam preconceitos e modelos mentais enraizados na sociedade. Lembra da imparcialidade? Pois é, a forma como os números são aplicados para resolver os problemas do dia a dia está bem longe de ser neutra.

O objetivo da autora é claro: colocar na mesa o lado B da Tecnologia e como ela impacta vidas negativamente. Medir quesitos subjetivos a partir de critérios e números é o grande desafio dos cientistas de dados, mas para Cathy O’Neil, é imprescindível que esses profissionais passem a levar em conta o fator humano; segundo ela, falta para eles um bocado de Ética.

Vale a leitura?

Sem trazer muitas soluções práticas, Cathy chega a propor uma espécie de juramento dos cientistas de dados. Nele, ela convida os cientistas a refletir sobre o tema e a pensar o quanto vale a pena sacrificar um pouquinho da eficiência do modelo a fim de que o sistema tome decisões mais justas e, principalmente, seja mais transparente.

Apesar de trazer um tema bastante complexo, Weapons of Math Destruction tem um texto de fácil leitura e compreensão, até mesmo para quem é leigo. Os exemplos são bastante elucidativos e trata-se de uma excelente reflexão sobre as desgraceiras os revéses da Tecnologia na vida. 

Compre já: Amazon BR

Avaliação: 3/5

Quotes

“A model, after all, is nothing more than an abstract representation of some process, be it a baseball game, an oil company’s supply chain, a foreign government’s actions, or a movie theater’s attendance. Whether it’s running in a computer program or in our head, the model takes what we know and uses it to predict responses in various situations.”

“When it comes to WMDs, predatory ads practically define the genre. They zero in on the most desperate among us at enormous scale. In education, they promise what’s usually a false road to prosperity, while also calculating how to maximize the dollars they draw from each prospect. Their operations cause immense and nefarious feedback loops and leave their customers buried under mountains of debt. And the targets have little idea how they were scammed, because the campaigns are opaque.”

“Once the nuisance data flows into a predictive model, more police are drawn into those neighborhoods, where they’re more likely to arrest more people. After all, even if their objective is to stop burglaries, murders, and rape, they’re bound to have slow periods. It’s the nature of patrolling. And if a patrolling cop sees a couple of kids who look no older than sixteen guzzling from a bottle in a brown bag, he stops them. These types of low-level crimes populate their models with more and more dots, and the models send the cops back to the same neighborhood. This creates a pernicious feedback loop. The policing itself spawns new data, which justifies more policing. And our prisons fill up with hundreds of thousands of people found guilty of victimless crimes. Most of them come from impoverished neighborhoods, and most are black or Hispanic. So even if a model is color blind, the result of it is anything but.”

“While looking at WMDs, we’re often faced with a choice between fairness and efficacy. Our legal traditions lean strongly toward fairness.”

“The question is whether we as a society are willing to sacrifice a bit of efficiency in the interest of fairness. Should we handicap the models, leaving certain data out? It’s possible, for example, that adding gigabytes of data about antisocial behavior might help PredPol predict the mapping coordinates for serious crimes. But this comes at the cost of a nasty feedback loop. So I’d argue that we should discard the data. It’s a tough case to make, similar in many ways to the battles over wiretapping by the National Security Agency.”

“Without constant feedback, their systems grow outdated and dumb.”

“Today we’re added up in every conceivable way as statisticians and mathematicians patch together a mishmash of data, from our zip codes and Internet surfing patterns to our recent purchases. Many of their pseudoscientific models attempt to predict our creditworthiness, giving each of us so-called e-scores. These numbers, which we rarely see, open doors for some of us, while slamming them in the face of others. Unlike the FICO scores they resemble, e-scores are arbitrary, unaccountable, unregulated, and often unfair—in short, they’re WMDs.”

“And you could argue that WMDs are no worse than the human nastiness of the recent past. In many cases, after all, a loan officer or hiring manager would routinely exclude entire races, not to mention an entire gender, from being considered for a mortgage or a job offer. Even the worst mathematical models, many would argue, aren’t nearly that bad. But human decision making, while often flawed, has one chief virtue. It can evolve. As human beings learn and adapt, we change, and so do our processes. Automated systems, by contrast, stay stuck in time until engineers dive in to change them.”

Compre já: Amazon BR

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *