1. Inteligência Artificial e vieses algorítmicos

Consoante ^{Navarro (2017)}, a IA é um campo da ciência e da engenharia, encarregado de compreender o comportamento inteligente do cérebro humano e, além disso, criar artefatos que simulem dito comportamento de maneira automatizada. Para a autora, a IA se ocupa de "emular las diversas capacidades del cerebro humano para presentar comportamientos inteligentes sintetizando y automatizando tareas intelectuales" (^{Navarro, 2017}, p. 24).

Isso quer dizer que as máquinas, em alguma medida, imitam o processo cognitivo humano, após um desenvolvimento de aprendizado baseado em dados que fornecem generalizações sobre dado assunto. Porém, a IA alcançará sempre resultados superiores aos que poderia conseguir qualquer ser humano porque "el sistema planteará alternativas que ni siquiera habíamos pensado previamente al no poder abarcar todos los datos un cerebro humano". E "a mayor cantidad de datos, más posibilidades de relacionarlos y obtener, por tanto, mejores resultados" (^{Nieva Fenoll, 2018}, p. 15).

A palavra-chave na IA é "algoritmo" (^{Nieva Fenoll, 2018}, p. 15). Isso porque, "un sistema de IA necesita de una secuencia de instrucciones que especifique las diferentes acciones que debe ejecutar el computador para resolver un determinado problema". Esse esquema executivo que contempla as instruções, o caminho a ser percorrido, é desempenhado pela estrutura algorítmica (^{Navas, 2017}, p. 24).

Um algoritmo é, portanto, um esquema executivo, uma sequência de ações para resolver um problema ou responder uma questão. Assim, "una receta de cocina es un algoritmo para humanos". Uma sequência de instruções para resolver o problema de como fazer determinada receita (^{Rodríguez, 2018}, p. 109).

Todavia, computadores e máquinas precisam de algoritmos mais complexos, que os auxiliem a efetuar as tarefas definidas e que sempre produzam o mesmo resultado, com base nos mesmos parâmetros. Nesse sentido, encontra-se um subconjunto específico de algoritmos usados para aprendizado de máquina (^{Rodríguez, 2018}, pp. 109-111).

A particularidade desses algoritmos é que eles aprendem por conta própria, fazendo inferências a partir dos dados. Portanto, o aprendizado de máquina é a capacidade destas de aprender com os dados, identificando tendências e padrões em eventos aparentemente aleatórios. "Estos patrones, si se basan en series de datos lo suficientemente largas y en datos de suficiente calidad, pueden usarse para predecir el futuro" (^{Rodríguez, 2018}, p. 105). Dessa maneira, o aprendizado de máquina olha para o passado para encontrar padrões e tentar prever o futuro. "En esencia, el aprendizaje automático es pura predicción" (^{Rodríguez, 2018}, p. 105). Cabe salientar que a expressão "prever o futuro" se refere a probabilidades, pois a IA efetua, tão somente, cálculos matemáticos e probabilísticos de que algo aconteça no futuro com base em dados do passado.

Esses algoritmos vêm sendo utilizados em diversas tarefas dentro do Poder Judiciário. Um exemplo disso são os sistemas Victoria, do Tribunal de Justiça do Rio de Janeiro, e Elis, do Tribunal de Justiça de Pernambuco, que automatizaram o rito das execuções fiscais. Também o sistema Mandamus, que utiliza de técnicas de inteligência artificial para auxiliar na automação do processo de elaboração, distribuição e gerenciamento do cumprimento de mandados judiciais. Ainda, o mais conhecido deles, o Victor, é utilizado no Supremo Tribunal Federal com o objetivo de otimizar a análise da Repercussão Geral (^{Da Rosa & Guasque, 2021}).

Em que pesem os modelos¹ de IA desenvolvidos nos Tribunais brasileiros estarem servindo para ajudar na automação de atividades repetitivas e classificatórias, além de ser um instrumento de apoio à tomada de decisão judicial, é importante destacar os efeitos nocivos que o aprendizado de máquina, alimentado com big datas portadores de preconceitos e discriminações, pode gerar na sociedade e no sistema de justiça, catalisando injustiças sociais com a falsa aparência de neutralidade matemática, o que gera, conforme preleciona, O'Neil, "ciclos destrutivos de feedback" (^{O'Neil, 2020}, p. 22).

Os vieses algorítmicos ocorrem quando o algoritmo adquire e reflete os valores humanos, ou seja, ele incorpora os mesmos desvios culturais que estão implícitos nos dados que são utilizados para treinamento do modelo. Isso acaba enviesando o resultado final que é obtido.

^{Panch et al. (2019)} definem o viés algorítmico como a aplicação de um algoritmo que amplifica as desigualdades existentes em status socioeconómico, raça, origem étnica, religião, gênero, deficiência ou orientação sexual. Consoante os autores, a utilização dos algoritmos não somente reflete as desigualdades sociais pré-existentes, mas pode, em última análise, agravá-las. Segundo os pesquisadores, "se o mundo tiver uma determinada aparência, isso se refletirá nos dados, seja diretamente ou por meio de proxies, e, portanto, nas decisões algorítmicas." (^{Panch et al., 2019}).

Isso quer dizer que os modelos algorítmicos, como elucida O'Neil, apesar de desfrutarem de uma reputação de imparcialidade, os algoritmos são "opinions embedded in math" (^{O'Neil, 2019}). Eles expressam os objetivos e as ideologias de seus criadores e "seus pontos cegos, refletem as prioridades e o julgamento de quem os alimentou". Dependendo de quem construir esses modelos, quais variáveis levar em conta e com quais dados os alimentar, o resultado será um ou outro (^{O'Neil, 2020}, pp. 33-35).

Logo, algoritmos não são neutros, não são puramente matemáticos. Por outro lado, o algoritmo não cria o preconceito, somente repete um padrão contemplado nos dados utilizados para o treinamento do modelo. Como um algoritmo comporta uma sequência de regras para se chegar a um resultado, e embutido nessa sequência há um desvio, teremos um problema no resultado final. m geral, isso não surge dessa sequência de regras, que costuma ser objetiva, mas dos dados que reproduzem padrões e preconceitos sociais.

Isso acontece porque os modelos algorítmicos são, em grande medida, estatísticos. Então, a princípio, o algoritmo não faz nenhum pré-julgamento, ele não estabelece nenhuma regra, tampouco realiza valoração. Ele somente aprende com os dados mediante análises estatísticas, ou seja, ele aponta o que acontece habitualmente. O algoritmo reflete uma dinâmica social predominante.

Portanto, o cerne da questão é impedir que as ferramentas tecnológicas reproduzam limitações, falhas e preconceitos presentes na sociedade e no sistema de justiça.

É imperioso, assim, identificar os impactos negativos que os modelos enviesados podem produzir na sociedade e no sistema de justiça se não lançarmos uma atenção rigorosa sobre os dados que serão utilizados para treinamento e validação dos modelos.

2. Algoritmos como a perpetuação e massificação de práticas sociais discriminatórias

Em 2018, a Amazon decidiu descartar um modelo que a empresa utilizava para fazer a seleção dos currículos para novas contratações. Ele apresentava um viés sexista que desprezava os currículos femininos, atribuindo uma pontuação alta apenas para currículos masculinos. A discriminação da ferramenta contra candidatas do sexo feminino acontecia porque os dados utilizados para treinamento do modelo foram currículos enviados para a empresa nos últimos 10 anos, os quais são, em sua imensa maioria, de homens, como acontece na maior parte da indústria de tecnologia (^{Dastin, 2018}). Segundo o AI Index, relatório independente sobre o setor da tecnologia, os homens representam 71% dos candidatos a vagas de empregos na área da IA nos Estados Unidos (^{Paul, 2019}). Diante desse contexto, o algoritmo passou a entender que os candidatos homens eram mais aptos para as vagas.

O'Neil explica que, como o aprendizado de máquina se baseia nos dados do passado, o algoritmo constatou, estatisticamente, que não somente os homens eram maioria, como eram promovidos com mais frequência e recebiam mais aumento salarial. Em contrapartida, as mulheres eram minoria, tendiam a sair rapidamente e recebiam menos aumento. Logo, o algoritmo entendeu que os homens eram as melhores contratações, perpetuando e ampliando, por meio do modelo algorítmico, um viés histórico, sexista e misógino (O'Neil, 2018).

Ainda, um estudo conduzido pelo National Institute of Standards and Technology (NIST), agência governamental norte-americana, testou 189 algoritmos de 99 desenvolvedores. A constatação foi que a tecnologia de reconhecimento facial é, para a correspondência um para um, entre 10 e 100 vezes menos eficaz para rostos asiáticos e afro-americanos, em comparação com as imagens de caucasianos. Para a correspondência um para muitos, a equipe observou taxas mais altas de falsos positivos para mulheres afro-americanas (^{NIST, 2019}). Diferenças em falsos positivos, na correspondência um para muitos, são particularmente importantes, porque as consequências podem incluir acusações falsas - o que vem acontecendo com indesejável frequência (^{Hill, 2020}).

Esses casos têm, como raízes e denominadores comuns, a predominância maciça de homens brancos na indústria da tecnologia e a consequente ausência de diversidade nas equipes desenvolvedoras. Uma pesquisa publicada pelo AI Now Institute, instituto de pesquisa que estuda as implicações sociais da inteligência artificial, constatou que a ausência de diversidade dentro das equipes vem contribuindo para a criação de sistemas falhos e que perpetuam preconceitos de gênero e raça. Apenas 15% dos pesquisadores de IA do Facebook e 10% do Google são mulheres. As mulheres representam somente 18% dos graduados em ciência da computação nos Estados Unidos (^{Whittaker et al., 2018}).

Com relação à população negra, essa estatística é ainda menor, correspondendo a apenas 2,5% dos funcionários do Google, 4% do Facebook e da Microsoft e 6% do Twitter. A força de trabalho da Apple contempla 9% de negros, todavia, essa estatística inclui funcionários de varejo. Assim como a Amazon, que tem 26,5% de funcionários negros; no entanto, a maioria ocupa empregos de baixa remuneração e apenas 8,3% deles estão em cargos de gerência (^{Whittaker et al., 2018}).

A participação de negros na indústria da tecnologia ainda é inexpressiva. De acordo com a U.S. Equal Employment Opportunity Commission, no ano de 2014, apenas 8,6% dos graduados com bacharelado em ciência da computação e informática eram negros (^{U.S. Equal Employment Opportunity Commission, 2015}). "Evidências sugerem que a IA, como um campo, é ainda menos diversificada do que a ciência da computação como um todo" (^{Whittaker et al., 2018}).

As estatísticas revelam um setor dominado por homens brancos e asiáticos. Sendo que os demais grupos permanecem sub-representados na seara da tecnologia e da IA. A limitação de raça, gênero, áreas e contextos no desenvolvimento do modelo conduz a uma cegueira do algoritmo quanto aos elementos que não estão naquele enquadramento. Então, por exemplo, nos algoritmos de reconhecimento facial, como as equipes de desenvolvimento são majoritariamente compostas por homens brancos, existe uma incapacidade do algoritmo em identificar negros; mormente mulheres negras.

Isso ocorre porque não há componentes negros dentro da equipe, tampouco no banco de dados, que ajudem a treinar o modelo. Não há representatividade estatística.²

Conforme os cientistas da computação constroem e treinam os algoritmos, eles se concentram nas características faciais que são mais visíveis em determinada raça, mas não nas demais. Além disso, normalmente se baseiam em bibliotecas de códigos pré-existentes, que costumam ser escritas por outros pesquisadores brancos. O resultado final é voltado para focar em rostos caucasianos. Isso restou evidente no estudo do ^{NIST (2019)}, que demonstrou que algoritmos de reconhecimento facial desenvolvidos por empresas asiáticas são muito mais precisos em rostos asiáticos, comprovando que as características de gênero e raça dos criadores dos modelos detêm forte influência sobre o seu resultado final.

Mesmo que o software seja desenvolvido para aprender com a experiência e tornar-se mais preciso com técnicas de aprendizado de máquina, os conjuntos de dados de treinamento são geralmente compostos por pessoas brancas. Portanto, o algoritmo especializa-se e aprimora-se somente na identificação de indivíduos brancos.

Isso pode acontecer com relação a raças e gêneros, mas também pode ocorrer com determinados contextos e classes sociais que, se não forem bem representados no treinamento do modelo, não terão uma representatividade estatística; formarão um provável ponto cego no modelo, capaz de carrear danosas consequências sociais e violar direitos fundamentais.

O software Rekognition, desenvolvido pela Amazon para identificar pessoas em vídeos e imagens, é utilizado por inúmeros órgãos policiais dos Estados Unidos. Contudo, esse software apresenta falhas graves no reconhecimento de pessoas como falso positivo. Um estudo efetuado pela União Americana pelas Liberdades Civis, em 2018, testou o sistema submetendo fotos dos congressistas norte-americanos. O sistema identificou 28 dos deputados e senadores como criminosos. Ainda, "as falsas correspondências eram desproporcionalmente de pessoas de cor". Cerca de 40% dos congressistas, erroneamente identificados como criminosos, eram negros, embora eles representassem apenas 20% dos membros do Congresso (^{Snow, 2018}).

Ocorre que, por ser um sistema muito acessível, o Rekognition vem sendo facilmente adquirido e comercializado para segurança pública, o que deve exacerbar o falso reconhecimento positivo de pessoas negras e intensificar o racismo que permeia o nosso sistema penal.

Também é importante destacar os efeitos nocivos que o aprendizado de máquina, alimentado com big datas que retratam preconceitos e discriminações, podem gerarna sociedade e no sistema de justiça, catalisando injustiças sociais com a falsa aparência de neutralidade matemática (^{O'Neil, 2020}, p. 22).

Um dos exemplos mais conhecido é o sistema Compas (Correctional Offender Management Profiling for Alternative Sanctions), utilizado nos EUA. O Perfil de Gerenciamento Corretivo de Infratores para Sanções Alternativas, em português, é uma ferramenta desenvolvida e comercializada pela Northpointe, foi elaborada com o intuito de prever a reincidência criminal de condenados, auxiliando os juízes na definição de quais programas de tratamento ou de condicional o réu teria, com base nas informações extraídas pelo sistema. Quando os réus são autuados na prisão, eles respondem a um questionário. Suas respostas são inseridas no Compas e geram uma pontuação, incluindo previsões de "risco de reincidência" e "risco de reincidência violenta" (^{Larson et al., 2016}).

Assim, o algoritmo passou a ser utilizado não somente para negar liberdade condicional, com base na alta possibilidade de reincidência demonstrada na pontuação do algoritmo, como passou a servir de base para o aumento da pena, a partir desse mesmo critério.

O primeiro grande problema dessa circunstância é que a utilização desse algoritmo para justificar um aumento de pena solapa importantes garantias fundamentais, como a legalidade e o devido processo legal. Como bem delineou O'Neil, o questionário utilizado para avaliar o réu inclui informações sobre o seu local de moradia, seus familiares e amigos. São detalhes que passam ao largo do fato típico e das circunstâncias previstas legalmente para justificar um aumento de pena. Nessa conjuntura, o réu tem sua liberdade condicional negada, assim como a sua pena-base aumentada, não por circunstâncias legais ou por causa do crime praticado, mas devido ao seu local de moradia, suas relações de amizade, seus familiares etc. Por meio da pontuação determinada pelo algoritmo, os réus são julgados por serem quem são e pelo meio em que vivem, e não pela conduta praticada (^{O'Neil, 2020}, p. 43).

Mas a teratologia vai além. Um estudo feito por ^{Larson et al. (2016)} analisou mais de 10 mil réus criminais no Condado de Broward, na Flórida. A pesquisa comparou as taxas de reincidência previstas pelo algoritmo com as taxas reais de reincidência dos réus durante dois anos após terem sido avaliados. Os resultados da análise demonstraram que os réus negros tinham 45% mais chances de receber pontuações de risco mais altas do que os réus brancos. "Os réus negros também tinham duas vezes mais probabilidade de serem classificados erroneamente com um risco maior de reincidência violenta" (^{Larson et al., 2016}).

Ou seja, o algoritmo detinha um viés que considerava réus negros mais perigosos que os demais. Isso porque ele extraiu esse padrão dos dados que foram utilizados para treinar o sistema. No entanto, não existiam erros nos dados fornecidos; eles estavam corretos. Apesar de constituírem somente 13% da população, os negros ocupam 40% das vagas em presídios nos Estados Unidos (^{O'Neil, 2020}, p. 39). Diante disso, o modelo efetuou uma análise estatística, levando-o a adotar o padrão de que os negros eram mais perigosos.

Ao receberem pontuações mais altas do que os réus brancos, os réus negros não somente têm negada a liberdade condicional, mas também lhes são atribuídas condenações mais altas. Consoante a Associação Americana para Liberdades Civis (ACLU), as sentenças impostas a homens negros são cerca de 20% maiores do que aos condenados brancos por crimes similares (^{O'Neil, 2020}, p. 40).

Em que pese o modelo não contemplar o aspecto "raça" no questionário, constavam entre as perguntas o local de moradia do réu. Esse fator, diante do contexto social e segregador dos Estados Unidos, era um forte indicativo da raça do acusado. Então, ainda que a raça não fosse um parâmetro utilizado no julgamento, as perguntas realizadas acabaram por extrair uma informação racial, e os dados estatísticos refletiram o racismo estrutural, prejudicando o resultado final do modelo, pois o torna racista. Dessa maneira, perpetua-se, com ares de cientificidade, o racismo que contamina o sistema de justiça criminal norte-americano.

Outro retrato pernicioso que estampa essa conjuntura se encontra na ferramenta Ring, da Amazon. Os dispositivos Ring consistem em campainhas inteligentes que são conectadas às câmeras de vigilância e que, tem por fito, combater o crime. Referido sistema é disponibilizado para ser utilizado em bairros residenciais, lançando mão da rede cada vez maior de câmeras de segurança, para alertar quando um indivíduo considerado suspeito for enquadrado por alguma câmera da região. No entanto, a Amazon estabeleceu parcerias secretas com departamentos de polícia dos Estados Unidos, munindo a polícia com "câmeras onipresentes" e um sistema de vigilância muito mais amplo e poderoso (^{Sadowski, 2020}, p. 153). Algumas cidades criaram até incentivos pecuniários para colocar as câmeras Ring em bairros pobres e de alta criminalidade, permitindo aos departamentos de polícia amplo acesso às filmagens. Contudo, a utilização dessa ferramenta pelas forças policiais permite uma vigilância excessiva e invasiva em comunidades de baixa renda e de maioria negra, o que gerou um policiamento desproporcional que aumentou a violência policial nessas comunidades (^{Sadowski, 2020}, p. 154).

Ainda, a ferramenta permite e incentiva que policiais, em conjunto com moradores dos bairros e condomínios, criem listas de pessoas indesejáveis que circulam pelas áreas residenciais nobres. "Permite que os moradores, de bairros de alta renda, façam julgamentos sobre pessoas que consideram desagradáveis, convocando a polícia para confrontá-los" (^{Sadowski, 2020}, p. 154).

"O aplicativo Neighbours, do Ring, já firmou parceria com mais de 1.300 forças policiais nos Estados Unidos - um aumento de 300% em relação a agosto de 2019" (^{Biddle, 2019}). E uma pesquisa efetuada pelo site Motherboard, que é a seção de tecnologia da VICE, revelou que pessoas negras são mais propensas a serem vigiadas pelo aplicativo Neighbours (^{Haskins, 2019}).

Segundo Kelley e Guariglia, da Electronic Frontier Foundation,³ as campainhas de vigilância Ring e o aplicativo Neighbours têm papel protagonista em "permitir e perpetuar o assédio policial aos negros americanos". Essas ferramentas incentivaram "os piores instintos de muitos residentes", incitando-os a espionar pedestres, vizinhos e trabalhadores (^{Kelley & Guariglia, 2020}).

Nessa mesma linha está o software PredPol, utilizado por departamentos de polícia para prever lugares onde crimes futuros podem acontecer. Programas como esse vêm sendo amplamente utilizados em departamentos de polícia que dispõem de reduzido orçamento nos Estados Unidos. O PredPol é baseado em software sísmico, ou seja, à medida que vê um crime acontecer em dado local, ele incorpora em padrões de histórico a fim de prever os locais onde novos crimes poderão acontecer futuramente. Diferentemente do Compas, esse tipo de software não se concentra no indivíduo, uma vez que leva em conta apenas a localização geográfica. No entanto, ao configurar o sistema PredPol, os departamentos de polícia inserem, como dados de treinamento, relatórios policiais de crimes anteriores. Estes contemplam majoritariamente crimes de perturbações (já que os policiais foram todos treinados na ortodoxia da tolerância zero). Esses tipos de notificações de práticas delitivas são endêmicos em bairros de baixa renda, o que alimenta o sistema com inúmeros casos e gera alta pontuação no PredPol. A consequência é que o sistema acaba prevendo como pontos críticos para cometimento de crimes sempre os mesmos lugares, mormente bairros de baixa renda e de maioria negra, angariando um ciclo contínuo de policiamento excessivo nessas áreas. Logo, o PredPol acaba por automatizar os preconceitos. E pior, traz ares de evidência matemática e a falsa percepção de legitimidade, pois é operado mediante algoritmos "imparciais" (^{O'Neil, 2020}, pp. 135-137).

Esse enviesamento acontece porque os sistemas algorítmicos inferem qual será a próxima resposta com base em dados anteriores. Consequentemente, eles não prospectam um futuro diferente. Acontece que, além de os registros históricos certamente contemplarem preconceitos inerentes à sociedade e ao sistema de justiça, eles também podem não refletir os valores de hoje e não permitem a modificação. Isso quer dizer que transformar dados coletados em informações para treinamento dos modelos de IA torna difícil afastar-se do racismo e de outras injustiças históricas. Por isso, a sociedade civil, o governo e os envolvidos no sistema de justiça precisam ter plena ciência das limitações e dos problemas da tecnologia ao considerarem utilizar ferramentas de inteligência artificial opacas e sem explicabilidade e transparência, sobretudo na segurança pública e em outras áreas do setor público.

Diante dessas circunstâncias, os presídios estão repletos de condenados por crimes sem vítimas (crimes de perturbação), sendo a maioria provenientes de bairros de baixa renda, negros ou imigrantes hispânicos. Enquanto isso, os crimes de fraude contra o mercado imobiliário e o mercado de ações - que trouxeram profundas repercussões nefastas para milhares de pessoas que perderam suas casas, empregos e planos de saúde na crise financeira de 2008 - não preenchem os relatórios policiais nem as estatísticas do PredPol. Consoante O'Neil, "criminalizamos a pobreza, acreditando o tempo todo que nossas ferramentas não são apenas científicas, mas justas" (^{O'Neil, 2020}, p. 144).

Recentemente, impulsionados pela onda de protestos que tomou os Estados Unidos após a morte de George Floyd, a Amazon decidiu suspender, por um ano, o seu sistema de reconhecimento facial Rekognition. Porém, manteve intacta as parcerias para a utilização do aplicativo Neighbours. Sem prestar explicações detalhadas sobre a real motivação da iniciativa, a companhia afirmou apenas que defende que os governos implementem regulamentações mais rígidas para o uso ético da tecnologia de reconhecimento facial, principalmente nos Estados Unidos. A IBM aproveitou-se da ocasião para declarar que cancelou, de maneira definitiva, o desenvolvimento de softwares de reconhecimento facial (^{Paul, 2020}). Isso se traduz em um forte indicativo de que as ferramentas de reconhecimento facial são ineficientes, além de produzirem graves danos sociais.

Além da problemática da ausência de diversidade, todos esses exemplos de modelos enviesados também se devem ao fato de que os softwares não são auditados, não estão expostos à legislação que os regulamente e fiscalize, não são obrigados a submeterem-se a revisão para verificar se há enviesamento embutido, tampouco são abertos para serem revisados e auditados por pessoas de fora. Na maioria dos casos, inclusive, sequer é dado ciência à população de que está sendo submetida a um algoritmo.

A empresa CyberExtruder, por exemplo, criadora de um software de reconhecimento facial para ser utilizado na segurança pública, admite não haver realizado testes para aferir vieses em sua ferramenta. Apenas confirmou que certas cores de pele são simplesmente mais difíceis para o software lidar, dadas as limitações atuais da tecnologia (^{Breland, 2017}).

A Northpointe, que fornece o software Compas, contestou as conclusões do relatório publicado pela ProPublica, mas se recusou a revelar o funcionamento interno do programa, o qual considera comercialmente sensível (^{Buranyi, 2017}). E assim, mesmo diante do enviesamento dos modelos e da baixa efetividade das opções disponíveis, as Secretarias de Segurança Pública de vários estados brasileiros adquiriram e estão utilizando tecnologia de reconhecimento facial para auxiliar na prisão de procurados pela polícia.

Consoante dados levantados por Damasceno e Fernandes para a Folha de S. Paulo, por meio das secretarias estaduais de segurança e das polícias civil e militar, 20 estados brasileiros utilizam ou estão implementando a tecnologia de reconhecimento facial na segurança pública local. Outros três estudam sua implementação e apenas quatro estados não utilizam, não tiveram contato com o sistema ou planejam utilizar (^{Damasceno & Fernandes, 2021}).

Após cerca de um ano de utilização da tecnologia de reconhecimento facial na segurança pública brasileira, as estatísticas relativas ao enviesamento do modelo já começaram a aparecer. Um levantamento realizado pela Rede de Observatórios da Segurança constatou que, das 151 prisões por reconhecimento facial que aconteceram no país, 90% eram de pessoas negras (^{Ramos, 2019}).

Desprezando a intensa movimentação mundial, que escancara a discriminação algorítmica e requer o banimento da utilização de softwares de reconhecimento facial,⁴ a adoção dessa ferramenta está se alastra pelos estados e municípios brasileiros, incentivada e financiada pelo Governo Federal (^{Ministério da Justiça e Segurança Pública, 2019}).

Também merece menção o software Crime Radar, recentemente ofertado no Brasil pelo Instituto Igarapé, para servir de auxílio às polícias, fornecendo mapeamento e predição de crimes baseados em dados. Aos moldes do PredPol norte-americano, a plataforma digital se utiliza de algoritmos de aprendizagem profunda para prever taxas de crimes em diferentes bairros e horários. Segundo a empresa, "a plataforma pode ajudar as polícias a reduzir homicídios em até 10%, diminuir registros criminais em até 40% e encurtar drasticamente o tempo de resposta a ocorrências" (^{Instituto Igarapé, 2023}).

Não há, no entanto, regulamentação que exija e fiscalize os protocolos dos softwares utilizados, que estabeleça os cuidados com relação aos dados para treinamento dos modelos, nível de acurácia, possibilidade de auditagem externa, transparência com relação ao uso, nem como será a proteção dos dados coletados. Isso porque o artigo 4° da Lei Geral de Proteção de Dados Pessoais (^{Presidência da República do Brasil, 2018}) estabeleceu expressamente a necessidade de aprovação de lei específica para segurança pública e investigação criminal, o que não foi feito até o presente momento.

Segundo aduz Vega Iracelay, "o avanço da inteligência artificial vem ocorrendo, até agora, em meio a um vácuo regulatório geral" (^{Vega Iracelay, 2018}). Essa ausência de regulamentação, responsabilidade, auditagem e transparência na utilização da IA vem angariando consequências nefastas do ponto de vista social, pois amplia e perpetua discriminações e a seletividade que permeia a política criminal, sob a ilusória impressão de que se baseia em modelos matemáticos imparciais, precisos e objetivos. Em verdade, os resultados estão carregados de subjetividade e vieses discriminatórios tendentes a catalisar e perpetuar a marginalização e o racismo. Conforme bem apontado na exposição de motivos do Anteprojeto de Lei de Proteção de Dados para segurança pública e persecução penal:

[...] Apesar do crescimento vertiginoso de novas técnicas de vigilância e de investigação, a ausência de regulamentação sobre o tema gera uma assimetria de poder muito grande entre os atores envolvidos (Estado e cidadão). Nesse contexto, o titular dos dados é deixado sem garantias normativas mínimas e mecanismos institucionais aplicáveis para resguardar seus direitos de personalidade, suas liberdades individuais e até a observância do devido processo legal. (^{Presidência da Câmara dos Deputados, 2019})

Há que se voltar uma atenção rigorosa sobre essas tecnologias, para que não venham a contribuir com a manutenção e intensificação do racismo estrutural que permeia o sistema penal, violando garantias fundamentais. Uma vez que os sistemas são comprovadamente inefetivos, intensificarão prisões ilegais e arbitrárias de pessoas negras mediante o falso reconhecimento positivo. Modelos como esses, que têm pontos cegos que os tornam discriminatórios, servirão apenas para reforçar padrões racistas socialmente difundidos, potencializados e perpetuados através do viés de automação.⁵

A proibição da utilização de reconhecimento facial para fins de segurança pública é primordial no estado atual da arte. Os falhos softwares de reconhecimento facial constituem tecnologias sobrepostas em alicerces discriminatórios, capazes de dinamizar a seletividade do sistema penal. Teremos muitos retrocessos em conquistas civilizatórias, assim como violação a direitos fundamentais, se difundirmos a utilização de reconhecimento facial na segurança pública. Também os modelos preditivos, utilizados para auxiliar o policiamento ou sentenças penais, a exemplo do Compas e do PredPol, não podem ser permitidos, mesmo que dotados de supervisão humana (^{Nunes, 2021}). Modelos que forem treinados e alimentados a partir de estatísticas originalmente racistas servirão para retroalimentar a seletividade do sistema penal, escondidos sob um manto de "cientificidade matemática".

Com relação aos demais modelos algorítmicos, é fundamental ter uma preocupação especial com os dados que serão utilizados para treinamento dos modelos, assim como as variáveis que serão levadas em conta. Afinal, o algoritmo não cria o preconceito, apenas repete os padrões contemplados nos dados de treinamento e validação dos modelos (matemáticos ou probabilísticos). Portanto, um dos grandes desafios está em controlar esses dados e fiscalizar as correlações realizadas pelo aprendizado de máquina. É imprescindível uma conscientização e engajamento para o desenvolvimento de modelos que não perpetuem os preconceitos inseridos nos dados sociais, e que contaminam todo o sistema de justiça criminal. Urge uma regulamentação dos sistemas que se utilizam de inteligência artificial, nomeadamente aqueles que interferem em esferas jurídicas dos cidadãos, contemplando ações de mitigação, proteção e fiscalização adequadas e suficientes para proteção de liberdades individuais e dos valores democráticos.

3. Alternativas hábeis para atenuar a possibilidade de enviesamento dos modelos

Os dados constituem a matéria-prima para o desenvolvimento dos algoritmos de aprendizado de máquina. Se queremos melhorar o resultado final, livrá-lo o máximo possível de enviesamentos humanos, precisamos fiscalizar e controlar os dados utilizados para treinamento e validação dos modelos.

Para tanto, um importante critério a ser implementado na busca de uma maior neutralidade do algoritmo é a remoção de todos os atributos sensíveis presentes nos dados. Atributos como raça, gênero, posição social, religião, bem como indicativos que forneçam esses atributos, devem ser extirpados do treinamento do modelo. Logo, as perguntas realizadas devem ser cuidadosamente pensadas para que não abordem, tampouco indiquem sinais, de atributos sensíveis. A eliminação de informações sensíveis dos dados de treinamento conduziria, a princípio, a uma maior neutralidade algorítmica e resultaria em um modelo livre de discriminação.

Também é preciso ter atenção com os dados e variáveis que serão selecionados para treinar o algoritmo. A escolha equivocada pode resultar em um padrão enviesado. Tomemos como exemplo o que aconteceu com o PredPol. Lum e Isaac, da organização sem fins lucrativos Human Rights Data Analysis Group,⁶ demonstraram que, para sugerir prováveis locais de crimes, o algoritmo se valia de dados sobre prisões anteriores, o que impulsionou o policiamento excessivo em bairros de maioria negra. No entanto, quando os pesquisadores alteraram os dados de treinamento, inserindo dados relativos ao uso geral de drogas da cidade, com base nas estatísticas nacionais, o policiamento foi distribuído de maneira muito mais uniforme (^{Lum & Isaac, 2016}).

Serhii Pospielov, engenheiro de software, explica que esse tipo de viés de amostragem "ocorre quando os dados usados para treinamento não são grandes ou representativos o suficiente, levando a uma representação incorreta da população real" e salienta que uma alternativa para mitigar a ocorrência desse viés é a utilização de uma amostragem aleatória na seleção de dados. Para o engenheiro a amostragem aleatória simples é um método muito efetivo para garantir que todos na população tenham as mesmas chances de serem selecionados no conjunto de dados de treinamento, o que minimiza o viés de amostragem (^{Pospielov, 2022}).

Outro critério que deve ser observado é a promoção da máxima transparência do modelo. Essa transparência deve abranger os dados que foram utilizados, os resultados obtidos, a equipe desenvolvedora, o nível de acurácia etc. O princípio da transparência, segundo Vega Iracelay, implica saber se o cidadão está submetido a uma interação com um sistema de IA, "se existem mecanismos para prevenir uma indevida discriminação e quais são os meios para conhecer o processo de decisão adotado por um mecanismo automatizado" (^{Vega Iracelay, 2018}). A transparência dessas informações permite a auditagem do algoritmo e a adoção de medidas corretivas.

A transparência, e a consequente explicabilidade, foram erigidas a um dos cinco princípios elencados pela Organização para a Cooperação e Desenvolvimento Econômico em sua Recomendação do Conselho sobre Inteligência Artificial - a OECD/ LEGAL/0449, a primeira norma intergovernamental sobre IA. Segundo a Recomendação, os envolvidos com sistemas de IA devem comprometer-se com a transparência e a divulgação responsável em relação aos sistemas, devendo fornecer informações apropriadas e consistentes com o estado atual da arte. Também deve ser garantida a conscientização das partes interessadas sobre suas interações com os sistemas de IA, inclusive no local de trabalho. Ademais, a transparência deve permitir que as pessoas afetadas por um sistema de IA compreendam o resultado e possibilitar que desafiem esse resultado com base em informações de fácil compreensão sobre os fatores e a lógica que serviu de base para a decisão.

É certo que muitos algoritmos são opacos, ou seja, ainda que exista uma regra de aprendizagem, a maneira como se dá o aprendizado não é controlada, nem mesmo pelos desenvolvedores - o que se denomina black box. Então, não há como obter 100% de transparência. Por outro lado, a transparência relativa aos dados utilizados no treinamento do modelo, aos resultados obtidos, ao nível de acurácia e à equipe desenvolvedora já permitiria a constatação de dados sensíveis, de vieses, de falhas relacionadas com a composição da equipe, e permitiria correções.

Ainda, é imperioso que os sistemas sejam projetados, contem com designs, que permitam a auditoria e a prestação de contas. A opacidade de alguns modelos não afasta a possibilidade de auditagem e a prestação de contas relativas aos dados, ao resultado final, a acurácia etc.

Outra questão que também merece especial atenção refere-se à diversidade nas equipes desenvolvedoras. É preciso uma equipe multidisciplinar e heterogênea. Tal diversidade deve envolver profissionais de distintas áreas, mas também a diversidade racial e de gênero, para ampliar, assim, as perspectivas e contextos representados e possibilitar a construção de modelos mais amplos e democráticos.

Vega Iracelay inclui essa preocupação e salienta a importância de garantir a participação das mulheres e das minorias para que o desenvolvimento de modelos de IA "sean inclusivos, y representen la pluralidad de intereses, culturas, intereses y perspectivas. En especial es imprescindible asegurar la igualdad de género en el desarrollo de IA, siendo este uno de los grandes desafíos en la Utopía del Internet" (^{Vega Iracelay, 2018}).

Também é preciso ampla publicidade para que os usuários estejam inequi-vocadamente cientes de que estão diante de um sistema de IA. A publicidade também permite maior controle por parte de agentes externos. Ademais, as vítimas de preconceitos, ou qualquer outro tipo de violações cometidas por sistemas IA, somente poderão ter ciência, contestar e provar a violação se tiverem acesso aos dados (^{Vega Iracelay, 2018}).

Convém advertir que atribuir à supervisão humana a solução dos problemas de enviesamento algorítmico é indesejado e pueril. O viés algorítmico acontece, exatamente, porque os algoritmos reproduzem os vieses cognitivos humanos, os valores e os preconceitos inerentes aos indivíduos. Logo, não é suficiente uma rigorosa supervisão humana em decisões sensíveis, que interferem de maneira contundente em direitos fundamentais dos cidadãos. Há que se ter prudência e evitar o desenvolvimento de modelos que possam aprofundar as já abissais mazelas sociais do preconceito e da segregação (^{Nunes, 2021}).

Por fim, insta salientar que, em que pese a existência desta contundente problemática de natureza ética, não devemos deixar de utilizar os algoritmos em inúmeras funções de auxílio. Até porque, por outro lado, se os algoritmos forem bem utilizados, eles constituirão grandes aliados no aprimoramento do ambiente institucional judicial brasileiro, trazendo a esperança de uma justiça mais célere, efetiva e capaz de transmitir maior segurança jurídica e estabilidade. Eles podem, inclusive, eliminar alguns dos vieses cognitivos humanos por não estarem sujeitos, por exemplo, à fadiga, ao humor, à fome - elementos externos à atividade de julgar, mas que sabidamente interferem na tomada de decisão judicial.

Nesse sentido cabe aventar a pesquisa realizada por Danziger et al. Os pesquisadores analisaram 1.112 decisões, de oito juízes israelenses, incumbidos de julgar pedidos de concessão de liberdade condicional. A conclusão foi que quando os juízes fazem decisões sequenciais repetidas, eles tendem a decidir mais a favor do status quo ao longo do tempo, mas eles podem superar essa tendência fazendo uma pausa para refeição. O estudo mostrou que cerca de 65% das decisões foram a favor do autor no início de cada sessão (pela manhã, após o café da manhã e após a pausa para o almoço), e eles diminuíram gradualmente para 0-10% ao final de cada sessão. Os autores concluíram que fatores como o cansaço, o esgotamento mental e a fome influenciam diretamente na tomada de decisão judicial (^{Danziger et al., 2011}). Em regra, a tomada de decisão mediante cumprimento de critérios objetivos e com o uso de modelos algorítmicos estaria desprovida desse tipo de viés cognitivo humano.

Por fim, como Vega Iracelay pontua muito bem, a ameaça promovida por sistemas de IA é real, já ocorre e tende a se aprofundar a passos largos, motivo pelo qual a regulamentação é inevitável, necessária e urgente. Contudo, uma vez que essa tecnologia transcende as fronteiras e tem uma natureza global, avaliar o seu real impacto, as melhores estratégias e a regulamentação deve ser feito de maneira global, e não isoladamente por país. "A cooperação entre governos e intervenientes privados é necessária para garantir que aproveitamos as oportunidades que a IA proporciona, mitigando os riscos que ela pode acarretar" (^{Vega Iracelay, 2018}).

Ainda que constituam ferramentas extremamente promissoras e profícuas, a inteligência artificial tem limitações e, em muitos casos, a sua utilização impacta de maneira drástica os direitos fundamentais. Por isso, é imprescindível voltarmos uma atenção rigorosa sobre a utilização de inteligência artificial em situações que interferem na esfera jurídica dos cidadãos, em modelos algorítmicos que possam ferir garantias fundamentais. É premente que haja regulamentação, fiscalização e transparência para que a utilização de inteligência artificial não venha solapar conquistas civilizatórias e contribuir para a massificação e perenização da discriminação, do sexismo e do racismo.