Amazon revolucionou o mundo dos negócios de diversas maneiras. A mais conhecida é a sua visão de marketplace, no qual é possível encontrar tudo o que é desejado pela maioria das pessoas, bem como poucas unidades de produtos de baixa demanda. Essa lógica, que contradiz o princípio de que os sortimentos devem focar o que vende mais, ficou conhecida como cauda longa.

Outra quebra de paradigma é a ideia de estruturar produtos para vender internamente e, a partir dessa experiência, para fora. Esse princípio esteve por trás da criação da divisão AWS, líder mundial em infraestrutura computacional, bem como da inteligência artificial (IA) presente nos sistemas de recomendação do marketplace e gadgets.

Nesse espírito, a Amazon decidiu aplicar seus mais sofisticados algoritmos de IA em seus próprios processos de recrutamento e seleção. O ano era 2014 e o mercado começava a se abrir para essa tendência, que agora se mostra hegemônica. Não demorou para ficar claro que a IA favorecia a contratação de homens brancos. Tal constatação foi parar na mídia, dando origem ao primeiro grande escândalo corporativo sobre os vieses da inteligência artificial na área de pessoas.

É claro que o primeiro impulso foi o de responsabilizar o algoritmo, mas não funcionou: tanto a matemática, quanto o software pareciam livres de bugs. Foi aí que uma análise mais aprofundada revelou que o viés emergia do fato de a IA funcionar adequadamente, sob as premissas que nortearam a sua construção: ajudar a Amazon a encontrar profissionais com perfis parecidos aos seus colaboradores de destaque, os quais — acho que você já entendeu — eram, em sua maioria, homens brancos, já que esse era o perfil hegemônico na empresa.

Além do dano reputacional — que ainda aqui ecoa —, existe um problema organizacional nessa abordagem: está mais do que bem estabelecido que empresas mais diversas e balanceadas em relação a gênero dão mais lucro e se adaptam melhor a ambientes de negócios em transformação (para saber mais, acesse aqui).

A Amazon deixou de usar o sistema algum tempo depois do incidente e, influenciada pelo caso, embarcou numa verdadeira jornada de redefinição de papéis e perfis, tornando-se um exemplo de diversidade e cultura organizacional aberta.

A questão que isso coloca é simples: como é que a empresa que desenvolve a Alexa e alguns dos sistemas de IA corporativos mais vendidos do mundo (para conhecer, acesse aqui) não foi capaz de resolver o problema, tornando o seu algoritmo de contratação justo? A resposta é um pouco menos simples do que a pergunta e começa assim: porque se trata de um problema sem solução. Ao menos em parte.

Conforme o modelo conceitual que criei, os vieses da inteligência artificial podem ser de dois tipos principais: vieses baseados em exclusão algorítmica mediada e vieses líquidos do processamento. Os primeiros surgem pela mediação do usuário. Por exemplo, você decide impulsionar um post divulgando uma vaga no LinkedIn, entra nos filtros e ali exclui pessoas de determinada idade, moradoras de determinada região e assim por diante.

Um estudo da professora Miranga Bogen (2019) mostrou que anúncios nos Estados Unidos de vagas de caixa de supermercado são exibidos predominantemente para mulheres (85% de mulheres), enquanto anúncios de vagas para motorista são exibidos para uma audiência 75% negra. É o algoritmo sendo ajudado por aqueles que patrocinam os posts. (Para ler o artigo, acesse aqui.)

Outro exemplo aponta que os homens são mais propensos a se candidatar a empregos que exigem experiência de trabalho que estão além de suas qualificações, já as mulheres tendem a ir apenas para empregos em que suas qualificações correspondem aos requisitos do cargo. Nesse caso, o algoritmo do LinkedIn interpreta essa variação de comportamento e ajusta as recomendações de tal maneira que acaba prejudicando as mulheres, conforme citam De Muralha Sheridan e Hilke Schellmann (2021). Para ler o artigo na íntegra, acesse aqui.

Esse tipo de viés é de fácil mitigação do ponto de vista técnico — basta limitar os critérios de seleção dos anunciantes —, mas difícil do ponto de vista conceitual, já que os filtros são formas de atender à demanda de quem mantém o negócio rodando.

Em contraste, os vieses líquidos do processamento são inerentes a outros tantos algoritmos de IA e suas bases de dados. Neste caso, o que se almeja do ponto de vista constitucional é claro — um sistema perfeitamente justo e preciso —, ao passo que existem prerrogativas técnicas que impedem que isso aconteça.

Explico. Imagine que eu queira implementar um método para reduzir a criminalidade na minha cidade. Prefeito que sou, espalho câmeras por todos os lados e as equipo com algoritmos de IA configurados para avisar a polícia toda vez que uma situação suspeita acontecer. Para definir situação suspeita uso o que há de melhor: milhares de vídeos de furtos e roubos ou, mais especificamente, dos segundos que antecedem esses eventos reais.

Vai pensando nisso, enquanto eu aproveito para falar um pouco de mim.

Sou um cientista-empresário, que estudou em escola privada e fez faculdade na pública. Meus ascendentes emigraram da Europa, quando as coisas estavam feias por lá. Tenho terceiro grau completo e, como bom brasileiro, não gosto de cerveja, nem de futebol. Ah, moro no bairro dos Jardins, em São Paulo, mas só estou por aqui em parte do ano.

Aí eu te pergunto: qual seria a chance desse hipotético sistema de IA disparar uma notificação de perigo ao me ver mexendo na maçaneta de um carro, numa rua escura? Se o mesmo funcionar bem (como é o caso do Detecta, da polícia civil de São Paulo), seria baixíssima, afinal, o mais provável é que eu (incluindo todos os meus heterônimos aqui do bairro) tenha perdido o sensor e esteja empenhado no processo de checar se não o deixei dentro do carro.

E se eu tivesse 19 anos? E se eu fosse negro? E se fossem as duas coisas?

Sendo uma realidade que a taxa de jovens e de negros presos por roubo e furto é superior a de brancos e asiáticos mais velhos, o algoritmo treinado para essa detecção irá agir de forma parecida a um policial preconceituoso. E o resultado final será a reiteração de um ciclo de discriminação e criminalidade que, entre outras coisas, se mantém pela ausência de um elemento essencial: oportunidade.

Frente a essa situação, uma solução óbvia é tornar a IA míope para aspectos fisionômicos. Porém, isso não irá eliminar o problema, já que a identidade se manifesta pelo estilo de roupa, além da questão etária.

Um passo adiante, é possível torná-la insensível à idade e a vestimentas também. Melhora, mas não elimina de vez os vieses, já que as regiões pelas quais as pessoas circulam determinam muito do seu espaço na sociedade. Por isso, uma opção comumente adotada por IAs desse tipo (chamados de IA de policiamento preditivo) é mascarar o CEP da localidade.

Sem identificação dos traços fisionômicos, idade, roupa, nem região de atuação, eis que os vieses desaparecem. E isso ocorre enquanto a acurácia preditiva cai a 0%. A mesma coisa se aplica às contratações por IA.

Antes que a desesperança tome conta e você comece a pensar mal da IA para recrutar e selecionar, lembre-se como funciona a alternativa mais comum, que é a indicação.

Está mais do que provado que as pessoas se organizam em grupos a partir de características identitárias e que as indicações tendem a reforçar enormemente o status quo. Aliás, elas são bem mais enviesadas do que a IA, conforme diversos estudos mostram (aqui vai um exemplo).

Miranda Bogen, que trabalha com vieses da IA na Meta (antigo Facebook) pensa assim. Segundo ela, a IA permite uma abordagem mais justa à seleção, desde que sejam abstraídas informações relacionadas à identidade de cada candidato. É verdade — porém uma verdade parcial e um pouco ingênua, dado que existe uma relação direta entre abstração de características presentes nos modelos de desempenho almejados e perda de acurácia algorítmica, conforme explicado acima.

Outra linha de defesa do uso da IA nos processos de recrutamento e seleção é a que ignora esse debate e simplesmente diz que eles são mais rápidos e simples. Eis algo com que a maioria dos gerentes de contratação e recrutadores concordam, conforme revelado por uma pesquisa de 2018 patrocinada pelo LinkedIn. As informações estão no artigo de Rebecca Heilweil (2019) e podem ser lidas aqui.

Porém, o problema não desaparece simplesmente porque o ignoramos. Do mais, fato é que nada mais rápido e barato do que simplesmente contratar a primeira pessoa que aparentar ter condições mínimas para o cargo, ou seja, jamais trabalhar com o desafio de comparar opções para só então decidir.

O pay-off da IA para a gente

Partindo de uma visão mais sóbria sobre a IA em R&S, podemos avançar à questão que tanto interessa aos profissionais de mercado: vale a pena usar esse tipo de coisa, ou seus vieses são grandes demais para justificar isso?

No meu entendimento, o conhecimento acumulado nestes anos de IA em recrutamento e seleção indica que, a despeito dos problemas existentes, seu pay-off geral é mais positivo do que negativo, não havendo justificativas suficientes para recomendar o seu abandono. O que não é recomendado é o seu uso indiscriminado.

Processos seletivos para cargos de alta rotatividade, caracterizados por tarefas maçantes — elas próprias na mira da substituição por IA — tendem a funcionar razoavelmente bem de maneira estritamente algorítmica; em todos os outros casos, vale subir a barra da sofisticação metodológica.

Essa subida envolve dois fatores: tanto os processos de prospecção estritamente algorítmica de aptidões tendem a ser excessivamente superficiais, já que uma pessoa pode brilhar no papel e desempenhar mal na prática, quanto podem reforçar os vieses raciais e de gênero que já discutimos.

Não sou só eu quem pensa assim. Adina Sterling, professora de comportamento organizacional em Stanford, fala a mesma coisa, isto é, que os algoritmos são bons para economias de escala, mas não para as nuances. “A contratação é um processo extremamente social”, afirma.

Na esfera dessa subida de barra, não vejo ressalvas ao uso de algoritmos junto com avaliações de competências alinhadas àquilo que o cago exige e entrevista. Nesse caso, os algoritmos podem entrar na filtragem inicial de currículos, desde que estejam desenhados como um funil de boca bem aberta, bem como podem equipar ferramentas interativas que ajudem a dar match entre os candidatos e as vagas. Uma opção que desenvolvi recentemente combina microexpressões faciais e rastreamento ocular a simulações de dinâmicas decisórias críticas para o trabalho.

Outra questão fundamental é a manutenção de um processo de auditoria tecnológica em fluxo. No artigo “Desafios para mitigar o viés na contratação algorítmica”, Manish Raghavan e Barocas (2019), descrevem alguns princípios que todos os pesquisadores e empresas envolvidos com o tema deveriam seguir (para ler o artigo, acesse aqui).

Primeiro, é fundamental ter uma coleta bem variada de currículos; nada de usar um banco só. Segundo, é fundamental revisitar a estrutura do algoritmo de tempos em tempos. Finalmente, é importante dar transparência para as empresas e candidatos. Esses softwares já são complicados demais por si só; não é correto esconder ainda mais o jogo. Num mundo em que a IA avança por hora, a melhor defesa dos ideais humanistas é a transparência.

Para fechar

Este é o meu primeiro artigo como colunista da Você RH. É uma baita responsabilidade e também uma honra. Ao longo dos últimos anos, escrevi sobre tecnologia para diversas publicações, além de TV, streaming etc.

Porém aqui meu “lugar de fala” é diferente. A minha primeira graduação é em psicologia (USP) e, no fundo, é assim como me vejo mais profundamente: como um apaixonado pela mente e pelo comportamento humano. Espero que nossos encontros celebrem isso e que eu também possa aprender com você, por meio de comentários públicos ou e-mails. Um abraço e até daqui a pouco!

Prof. Dr. Álvaro Machado Dias é neurocientista, professor associado e livre-docente da Universidade Federal de São Paulo. Também é diretor do Centro de Estudos Avançados em Tomadas de Decisão, sócio da Human Factor, metaverso em R&S, T&D e fellow da Behavioral and Brain Sciences de Cambridge.

• Mais lidas

1

Cursos

Programa do iFood oferece bolsas de estudo para o Encceja; veja como participar

2

Políticas e Práticas

O que funciona nas dinâmicas de grupo – e o que é perda de tempo

3

Saúde Mental

Os 12 sinais de alerta do burnout

4

Desenvolvimento

Um guia do que não fazer para se dar bem com seu novo gestor

5

Desenvolvimento

5 dicas para melhorar a comunicação escrita no escritório

• Gestão de pessoas
• Inteligência artificial
• Processos de seleção
• Recrutamento
• Recursos humanos (RH)
• Tecnologia