“Os recentes desenvolvimentos em inteligência artificial generativa e a crescente aplicação desta tecnologia continuam a levantar sérias questões de direitos humanos, incluindo preocupações com a discriminação racial”. O alerta é da relatora especial da ONU sobre formas contemporâneas de racismo, discriminação racial, xenofobia e intolerância correlata, Ashwini K.P.
No lançamento de seu novo relatório no Conselho de Direitos Humanos em Genebra, na Suíça, ela disse existir um entendimento prejudicial de que a tecnologia é neutra e objetiva. No texto, Ashwini K.P explora como essa suposição está permitindo que a inteligência artificial perpetue a discriminação racial.
Discriminação racial e IA
Ela explica que preconceitos raciais são reproduzidos por meio de avanços tecnológicos como policiamento preditivo. Essas ferramentas fazem avaliações sobre quem cometerá crimes futuros e onde qualquer crime futuro poderá ocorrer, com base em dados pessoais e de localização.
Para ela, o policiamento preditivo pode exacerbar o histórico excesso de policiamento das comunidades segundo linhas raciais e étnicas.
Ashwini K.P. adiciona que como as autoridades policiais têm historicamente concentrado sua atenção nesses bairros, os membros das comunidades estão super-representados nos registros policiais.
Isso tem um impacto sobre o local onde os algoritmos preveem que ocorrerão futuros crimes, o que leva a uma maior mobilização da polícia nessas áreas em questão.
Policiamento preditivo
De acordo com suas descobertas, os algoritmos de policiamento preditivo com base em localização baseiam-se em vínculos entre locais, eventos e dados históricos de crimes para prever quando e onde é provável que ocorram futuros crimes, e as forças policiais planejam suas patrulhas de acordo com isso.
Segundo ela, assim como acontece com as ferramentas de localização, os dados de prisões anteriores de pessoas, muitas vezes manchados pelo racismo sistêmico nos sistemas de justiça criminal, podem distorcer as previsões futuras dos algoritmos.
A relatora acrescenta que o uso de variáveis como histórico socioeconômico, nível de escolaridade e localização pode atuar para perpetuar preconceitos históricos.
Regulamentação
O relatório também fornece uma breve análise dos esforços para gerenciar e regulamentar a IA em nível nacional, regional e internacional. Para Ashwini K.P., a inteligência artificial deve ser fundamentada nas normas internacionais de direitos humanos.
Há outros direitos em que a IA representou um risco, incluindo no setor de saúde, em que algumas ferramentas para criar pontuações de risco à saúde demonstraram ter fatores de correção baseados em raça.
Ashwini K.P. também descobriu que, quando a IA é aplicada a ferramentas educacionais, ela pode incluir preconceitos raciais.
Para a especialista, embora a inteligência artificial tenha um potencial real de impacto, ela não é uma solução para todas as questões sociais e deve ser gerenciada de forma eficaz para equilibrar seus benefícios e riscos.
A relatora avalia que a regulamentação da IA é uma forma de garantir esse equilíbrio e recomenda que os Estados enfrentem o desafio de regulamentar a IA com um maior senso de urgência, tendo em mente a perpetuação da discriminação racial.
