A cidade de Nova York será uma das primeiras dos Estados Unidos a enfrentar seriamente a caixa preta dos algoritmos, sistemas de tomadas de decisões automáticas que raramente são públicas, mas que cada vez mais influenciam nossas vidas. Um projeto de lei aprovado pelo conselho da cidade nesta semana ordena a criação de uma força-tarefa local para monitorar e avaliar o efeito desses algoritmos nas pessoas.

A menos que o prefeito Bill de Blasio vete o projeto de lei, o que não deve acontecer, a força-tarefa fará auditorias dos algoritmos da cidade para verificar impactos desproporcionais em diferentes comunidades e sugerir maneiras de informar ao público o papel da automatização.

Em uma cidade com oito milhões de habitantes, decisões precisam ser feitas. Na cidade de Nova York, algoritmos influenciam em praticamente todos os aspectos da vida municipal, desde vagas em escolas para estudantes até um critério para decidir se um suspeito é mantido ou solto da prisão até o seu julgamento. Até mesmo bombeiros utilizam algoritmos por lá: o corpo de bombeiros quer inspecionar pelo menos 10% dos 300 mil edifícios a cada ano, então utilizam uma ferramenta algorítmica para ajudar a decidir quais prédios serão visitados e em qual ordem.

Tais ferramentas ajudam as agências públicas a processar casos mais rápido, mas remover o elemento humano significa que fica mais difícil responsabilizar alguém, especialmente quando a maioria das pessoas não percebe que os algoritmos são a razão pela qual elas tiveram um empréstimo negado, ficaram presas em vez de serem liberadas até o julgamento ou até mesmo tiveram seu prédio inspecionado para sua segurança.

“Parte da missão dessa força-tarefa será determinar como podemos avaliar os resultados dos sistemas automatizados e descobrir se e quando algum prejuízo é causado”, disse ao Gizmodo o conselheiro James Vacca, presidente do Comitê de Tecnologia do Conselho da Cidade e coautor do projeto de lei. “Espero que a força-tarefa avalie como as ferramentas algorítmicas impactam na distribuição de vagas em escolas, no policiamento dos bairros, na determinação de recursos contra incêndios, na alocação de benefícios, e isso acaba trazendo outros usos para casos em que ainda nem estamos pensando.”

Vacca tem total confiança de que o prefeito da cidade não vetará o projeto, o que significa que a força-tarefa trabalhará com agências públicas para determinar se seus “processos automatizados de decisões” impactam diferentes grupos de forma injusta, o que deverá ser feito a partir disso e como informar para as pessoas que elas foram impactadas.

O problema sobre como informar isso ao público é algo chave e diferencia outros projetos que já passaram pela cidade. Uma versão antiga do projeto incluía um parágrafo que exigia que agências revelassem publicamente o código-fonte dos algoritmos, o que seria inédito para os Estados Unidos. Essa cláusula não passou até a versão final do projeto, embora Vacca diz que ele não descarta eventuais publicações de códigos-fonte.

“Ao elaborar e alterar a legislação, tivemos que trabalhar com uma série de coisas complexas, tanto do ponto legal quanto do técnico”, disse ele. “A força-tarefa formada examinará as melhores maneiras de garantir a responsabilidade algorítmica e mitigar o viés, e suas recomendações serão públicas. Essas recomendações podem ser, e espero que sejam, consideradas pela administração e o Conselho, e, a partir de agora, nenhuma medida está fora de questão.”

Um número cada vez maior de estudantes e acadêmicos está se comprometendo a pesquisar problemas de justiça e enviesamento em algoritmos, embora poucas leis exijam transparência.

Imagem do topo: AP