Quando você pensa em pessoa bem-sucedida, que imagem vem à sua mente? E se pensar em cabelo bonito, qual a sua referência? Se você buscar por estes mesmos termos na internet, as respostas que irá encontrar serão parecidas com as suas? Se você for uma pessoa negra, é provável que as respostas não sejam tão parecidas assim, e essa é mais uma das faces do racismo estrutural que você precisa conhecer: o racismo algorítmico.
Esse termo vem ganhando bastante relevância e atenção na última década, graças ao trabalho de lideranças negras na área de tecnologia, como a pesquisadora Joy Buolamwini. Quando atuava como pesquisadora em um laboratório de mídias do MIT, uma das maiores escolas de tecnologias do mundo, ela se deparou com uma situação estranha e constrangedora. Ao testar algumas webcams com reconhecimento facial, Joy se surpreendeu ao perceber que as câmeras detectavam o rosto de seus colegas, mas não o seu. Diferentes fabricantes, mesmo resultado, pois todas usavam o mesmo algoritmo. O motivo: o algoritmo foi construído sem incluir pessoas negras em sua base de treinamento.
Joy conta mais sobre essa história e como isso a motivou a engajar na pauta da justiça algorítmica no documentário Coded Bias, disponível na Netflix. Além dessa história, o documentário explora em detalhes as formas como as empresas de tecnologia introduzem seus vieses de pensamento – de forma deliberada ou não – em sistemas digitais. Vale assistir!
Entender como essas tecnologias funcionam e os motivos que levam a isso é importantíssimo, especialmente para pessoas negras, pois isso impacta nossas vidas muito mais do que podemos imaginar.
Por que isso acontece?
Tecnologias digitais visam ganhar eficiência por automatizar o máximo possível de todos os processos. Quando se trata de processos simples, com poucos dados e regras, cria-se um sistema (o que nos acostumamos a chamar de algoritmo), e foi o que aconteceu nos últimos 20 anos, em que vimos diversos tipos de sistemas entrarem nas nossas vidas e nas empresas.
Quando se trata de processos complexos – até mesmo para um ser humano – são necessárias ferramentas computacionais muito mais complexas, que demandam quantidades enormes, por vezes colossais, de dados. E nestes casos, os dados são usados para gerar estas ferramentas usando técnicas de Inteligência Artificial (IA).
IAs como estas processam estes grandes volumes de dados e criam formas de reproduzir o conhecimento que está intrínseco nestes dados. Ou seja, se os dados têm pouca representatividade, ou vieses de comportamento, naturalmente a IA também irá reproduzi-los, porém com muito mais capacidade de alcance, o que a torna uma ferramenta tão perigosa.
Vamos explorar alguns dos impactos em alguns setores, para discutirmos de forma bem prática.
Vida financeira
Historicamente, por incontáveis vezes, pessoas negras tentaram acessar o sistema financeiro para obter crédito, investimento, consórcios, entre outros serviços. Porém, ficavam suscetíveis às decisões e julgamento do gerente do banco ou do próprio operador de caixa. Esses dados e critérios são os mesmos usados para alimentar as ferramentas de análise de crédito automatizada. Isso ocorre tanto em bancos tradicionais quanto nos bancos digitais, que estão nos celulares de quase todos os brasileiros.
O impacto desses vieses inseridos no sistema financeiro é gigantesco, pois restringe de forma sistemática o acesso de pessoas negras ao sistema financeiro. Por esse motivo, iniciativas como a Conta Black, o Movimento Black Money e o Banco Maré visam trazer alternativas financeiras que entendam melhor a nossa realidade e aumentem o alcance de serviços financeiros para a população negra e periférica.
Redes Sociais
Os casos de racismo e discriminação racial na internet estão sujeitos às mesmas leis que regem a nossa vida fora da internet. Porém, nas redes sociais, é muito mais fácil para agressores, racistas e criminosos cobrirem seus rastros e escaparem das devidas penas, especialmente em situações nas quais as plataformas em que isso ocorre não possuem operação no Brasil e não visam se adequar à legislação nacional vigente.
Por esse motivo, apesar de tecnicamente possível, muitas plataformas não filtram nem punem usuários que se comportam dessa forma, por entenderem que isso é liberdade de expressão. Além disso, o que os algoritmos escolhem para aparecer na sua timeline também é baseado naquilo que os construtores de cada plataforma consideram relevante para seus usuários. Sendo assim, mesmo que a sua timeline esteja cheia de cultura negra, isso não significa que é dessa forma para a maioria das pessoas. Redes sociais reforçam bolhas, incentivam o que chamam de engajamento, mesmo que a custo de ofensas, crimes digitais e da saúde mental das pessoas de grupos minoritários que sofrem com esse tipo de agressão online.
Agentes de IA
Extremamente populares recentemente, ferramentas como ChatGPT agem como assistentes pessoais, gerando conteúdos de texto, de imagens e até mesmo vídeos, de acordo com o pedido – ou prompt – passados por nós. Da mesma forma que os exemplos anteriores, estes modelos utilizam conhecimento existente na internet para modelar seu funcionamento e, por vezes, são enviesados por opiniões intrínsecas aos dados usados na sua base de conhecimento.
E, para além disso, conhecimentos afrocentrados ou afrorreferenciados não costumam fazer parte destas bases na mesma proporção. Um dos motivos é o baixo índice de profissionais negros e com letramento racial compondo as equipes que alimentam essas bases. Consequentemente, isso reforça o apagamento histórico do pensamento negro, que usamos como base muitas vezes no nosso trabalho diário. Padrões de beleza estabelecidos comercialmente como hegemônicos pela sociedade (magreza, pele e olhos claros e cabelos lisos, por exemplo) fazem com que imagens geradas automaticamente “embranqueçam” as pessoas e afinem traços do rosto, removendo pouco a pouco a representatividade dos conteúdos gerados.
Compras online
Os territórios periféricos ou majoritariamente negros também são punidos com o racismo algorítmico em plataformas de entrega e até mesmo aplicativos de transporte. Infelizmente, é bem comum motoristas ou entregadores recusarem entregas em áreas periféricas, pois os próprios aplicativos marcam esses territórios como perigosos ou não recomendam a circulação nessas localidades. Por esse motivo, projetos como o naPorta ou o próprio CEP para todos, do governo federal, visam trazer acessibilidade logística para a população negra e periférica.
Segurança pública
A relação entre pessoas negras e a atuação das forças policiais e de segurança pública é um tema que nos atravessa há séculos e é mais um intensificado pelo uso das tecnologias digitais e de IA. Ferramentas de reconhecimento facial automático, muitas vezes, reforçam padrões racistas e classificam pessoas negras como criminosos de forma errônea.
Diversas prefeituras utilizam câmeras de vigilância com reconhecimento facial em áreas de circulação pública. Quem já foi seguido por seguranças em um supermercado sabe a sensação, porém, com câmeras e algoritmos trabalhando de forma mais silenciosa, talvez seja tarde para argumentar quando a abordagem chegar.
O que podemos fazer
Que as provocações trazidas neste artigo sobre os perigos do ganho de escala digital das estruturas raciais que nos excluem de maneira sistemática chamem a sua atenção ao circular em ambientes digitais. Eles podem parecer espaços neutros, mas não são. Eles afetam diretamente as nossas vidas e reforçam pensamentos de colonização em toda a sociedade.
Ter essa atenção te permitirá utilizar a internet de forma mais segura e consciente. Buscar referências fora do que os buscadores e chats de IA podem gerar, para fortalecer seu embasamento e o trabalho dos pensadores e pesquisadores negros que geram, partilham e fortalecem uma ética diferente.
Na área da educação, esse ano, a professora Zelinda Barros lançou o livro IA na ERER: introdução ao uso de inteligência artificial na Educação das Relações Étnico-raciais, tema importante frente à responsabilidade de as escolas desenvolverem o conhecimento africano, afrodescendente e indígena em sala de aula, e o crescente uso de IA pelos próprios estudantes em sala de aula, pelas leis 10.639/2003 e 11.645/2008, que tratam do Ensino da Cultura Africana e Indígena.
Outra referência nacional importante é o pesquisador Tarcízio Silva, com livros e artigos produzidos sobre o tema, pautando o debate não apenas no Brasil, mas também em fóruns internacionais.
Entre os criadores de conteúdo, Pablo Nunes é um pesquisador que traduz temas tão complexos de forma muito didática. Páginas como O Panóptico também desenvolvem o tema e são uma ótima opção para seguir e acompanhar no dia a dia. A gaúcha Kizzy Terra é referência em tecnologia e explora o tema em seu perfil e no portal Programação Dinâmica.
Sei que é cansativo exercermos o ativismo em todos os espaços em que estamos, então, mesmo que seja para sua proteção, conhecer os riscos e limites das tecnologias digitais é extremamente necessário.
Todos os textos de membros da Odabá estão AQUI.
Fausto Vanin é um agente de transformação digital que utiliza a tecnologia para impulsionar mudanças sociais. Com doutorado em Computação Aplicada e certificação em Inovação e Estratégia pelo MIT Sloan School of Management, ele é cofundador da OnePercent, empresa referência em blockchain, e da Lanceiros, que desenvolve soluções tecnológicas com foco na redução de desigualdades. Também é mentor, palestrante, e voluntário em organizações do terceiro setor, como Odabá, Aldeia da Fraternidade e Social Good Brasil. @faustovanin
