Jornalistas que relataram o Implant Files , a investigação premiada do Consórcio Internacional de Jornalistas Investigativos sobre a regulamentação negligente da indústria de dispositivos médicos de US $ 400 bilhões em todo o mundo, ouviram histórias de horror repetidas vezes. Pacientes prejudicados por dispositivos médicos vêm de todas as origens, mas a maioria dos milhares que ouvimos compartilharam uma característica definidora: eram mulheres.

Os implantes de controle de natalidade romperam o útero, destruindo os órgãos internos. Os implantes mamários quebraram dentro de seus corpos, causando dor persistente. Dispositivos destinados a manter o coração batendo no ritmo provocavam choques repentinos, em alguns casos até provocando golpes.

E não foram apenas os “dispositivos femininos” que os machucaram, mas os implantes neutros em sexo, como os quadris artificiais.

A tendência observada é consistente com estudos que mostraram que as mulheres experimentam taxas mais altas de falha do implante de quadril do que os homens e têm reações imunológicas mais fortes a dispositivos que contêm metais.

Queríamos saber mais, assim como os pesquisadores em saúde.

“Ter informações sobre sexo é muito importante porque alguns produtos diferem na segurança entre homens e mulheres”, disse Diana Zuckerman, especialista em dispositivos médicos e presidente do Centro Nacional de Pesquisa em Saúde, um centro de pesquisas em Washington, DC

O lugar natural para olhar era da Food and Drug Administration o Experience Fabricante e Facility usuário do dispositivo ( MAUDE ) banco de dados. Este conjunto de dados público contém 8 milhões de relatórios arquivados por fabricantes, médicos e pacientes quando se suspeita que um dispositivo médico tenha causado um ferimento ou uma morte ou tenha funcionado mal de uma maneira que possa colocar as pessoas em risco.

Nós batemos em uma parede.

Acontece que, embora o FDA colete informações sobre o sexo dos pacientes, a agência não tornará os dados públicos por razões de “confidencialidade do paciente”, disse um porta-voz do FDA. Por outro lado, um banco de dados comparável da FDA sobre eventos adversos a medicamentos divulga informações sobre o sexo dos pacientes em seu painel público.

Que tal dados agregados, perguntamos? O FDA disse que não novamente. Desta vez, a agência disse que não tinha recursos para atender à solicitação.

Nós não desistimos. Nossa equipe notou que o sexo dos pacientes é frequentemente divulgado através de pronomes (“o paciente relatou que pode ver sangue no tubo da infusão de insulina”) e adjetivos (“um paciente do sexo masculino em boa saúde foi submetido a uma correção no joelho”) no ‘incidente relatórios enviados à FDA.

Extrair informações sexuais manualmente de um labirinto de milhões de registros teria sido uma tarefa impossível. Mas e o recrutamento de inteligência de computador para fazer o trabalho por nós?

Seis meses depois, um algoritmo que escrevemos conseguiu identificar positivamente o sexo do paciente em mais de 340.000 casos de ferimentos e morte. Desses, 67% eram mulheres e 33% eram homens.

É impossível generalizar as descobertas sobre sexo de pacientes para todo o universo de lesões e mortes relatadas ao MAUDE, mas os resultados servem como evidência adicional de um desequilíbrio entre pacientes e sexo que os especialistas dizem que o FDA não está fazendo o suficiente para explorar.

A deputada Rosa DeLauro, democrata de Connecticut, pressionou o FDA para restringir a supervisão de dispositivos médicos por duas décadas. Ela prestou atenção especial a dispositivos problemáticos focados nas mulheres, incluindo implantes mamários texturizados, que estão ligados a uma forma rara de câncer de sangue, e Essure, um contraceptivo implantável recentemente retirado do mercado.

No início deste ano, ela reintroduziu a Lei de Segurança de Dispositivos Médicos , que tornaria mais fácil para pacientes prejudicados processar os fabricantes de dispositivos.

Em um e-mail, DeLauro pediu ao FDA que liberasse o conjunto de dados completo, para que o público possa entender melhor as ameaças potenciais colocadas por dispositivos que podem afetar desproporcionalmente mulheres ou homens.

Liberá-lo, ela disse, “é a coisa certa a fazer”.

Em um e-mail, um porta-voz da FDA disse que a agência concorda que o público deve ter mais informações sobre relatórios de eventos adversos para dispositivos médicos, mas que a tecnologia por trás da plataforma MAUDE está desatualizada, limitando a capacidade da agência de atingir esse objetivo. O Congresso recentemente alocou dinheiro apenas para esse fim e as atualizações estão em andamento, disse o porta-voz.

O porta-voz também apontou as ações que a agência está tomando para entender melhor o desempenho dos dispositivos médicos em pacientes do sexo feminino, que incluem audiências públicas e novos programas de pesquisa para avaliar e monitorar dispositivos usados ​​especificamente para mulheres.

Colocando a IA a serviço do jornalismo

Os esforços do ICIJ para catalogar o sexo de centenas de milhares de pacientes feridos ou mortos por um dispositivo médico começaram no início deste ano no Gates Building da Universidade de Stanford, onde o Google nasceu 22 anos atrás. Compartilhamos chá e amendoins torrados com estudantes e pesquisadores, enquanto debatíamos idéias para resolver a busca do ICIJ de obter dados de interesse público que o governo dos EUA negara.

A reunião deu início a uma parceria entre o ICIJ e o laboratório do Prof. Chris Ré , um bolsista da MacArthur, cuja equipe tem como objetivo tornar mais rápido e fácil para os seres humanos ensinar aos computadores o que sabem sobre um tópico, para que os computadores possam ter um trabalho minucioso. tarefas de humanos (e os humanos podem fazer um trabalho mais significativo!).

No ICIJ, também tínhamos outro objetivo: continuar explorando maneiras pelas quais a inteligência artificial pode ajudar repórteres investigativos a lidar com histórias pesadas em documentos que são tão vastas que aparentemente são impossíveis de executar.

Além disso, jornalistas e acadêmicos podem trabalhar bem juntos? Também queríamos testar isso.

O laboratório de Re havia desenvolvido uma ferramenta chamada Snorkel , que usa uma abordagem de aprendizado de máquina chamada “supervisão fraca” para classificar texto e imagens. Em outras palavras, o computador pode tirar conclusões de uma quantidade relativamente pequena de dados classificados por seres humanos e seguindo algumas regras aplicadas a uma grande quantidade de dados não classificados. (Aqui está uma descrição técnica do Snorkel ).

Se você já está um pouco tonto, deixe-me dar um exemplo para ajudar. Hoje, a abordagem predominante de aprendizado de máquina é o “aprendizado supervisionado”, no qual os seres humanos passam centenas de horas rotulando manualmente milhares de pontos de dados (por exemplo: este é um tumor benigno, este é um tumor maligno) para que o computador possa aprender a reconhecer padrões e fazer previsões.

Bem, isso não vai acontecer em uma redação com recursos e tempo, que são praticamente todos eles. No Snorkel, usando uma supervisão fraca, o computador obtém um conjunto de parâmetros a seguir para que ele possa fazer a rotulagem normalmente feita pelos seres humanos sozinha.

Veja como o experimento de aprendizado de máquina do Implant Files funcionou, em quatro etapas:

Etapa 1 – Gere um primeiro conjunto de etiquetas

O primeiro passo foi rotular um pequeno conjunto de dados para desenvolvimento e validação. Isso significava, sim, algum trabalho manual. Três jornalistas classificaram o sexo do paciente em 1.000 relatórios de incidentes do banco de dados MAUDE. Eles identificaram três categorias: feminino, masculino e desconhecido. Essa última categoria significava que a narrativa no relatório do incidente não tinha marcadores suficientes que nos permitissem prever o sexo do paciente. Percebemos que esse era o caso em muitos casos devido à baixa qualidade dos dados da FDA, que é auto-relatada e não obrigatória.

Etapa 2 – forneça os parâmetros ou regras do computador

O analista de dados sênior do ICIJ, Rigoberto Carvajal, e o estudante de ciência da computação de Stanford Mandy Lu decidiram escrever um conjunto de regras (conhecidas como “funções de rotulagem” na linguagem Snorkel) que ajudariam a treinar o computador na classificação automática de sexo. As regras abordaram pronomes comumente associados a homens e mulheres, bem como adjetivos e órgãos do corpo. Aqui está uma imagem de como são algumas dessas regras em nosso código:

“É como criar um dicionário para a máquina”, explica a editora de dados do ICIJ, Emilia Diaz-Struck, que liderou a equipe de jornalistas.

Como nas crianças, é ensinar por repetição: fornecer ao computador vários exemplos das diferentes maneiras pelas quais algo é verdadeiro até que o conceito persista.

Com a ajuda das regras, o computador inicia seu processo de treinamento. Em seguida, produz um conjunto de dados classificados por máquina que mostra se ele reconheceu se o paciente afetado pelo dispositivo médico era masculino, feminino ou se não era possível saber com base na narrativa do relatório.

Etapa 3 – Traga de volta os humanos para validar

Para testar se o computador estava aprendendo corretamente, trouxemos de volta os jornalistas para verificar dois conjuntos diferentes de resultados. Eles fizeram algumas grandes descobertas que mostram os limites da inteligência computacional:

  • O computador lutou para identificar o paciente quando várias pessoas, como médicos, enfermeiros, cônjuges, foram nomeadas no relatório do incidente. Uma distinção que os humanos podem fazer muito rapidamente acabou sendo uma grande provação para o algoritmo. Para ajudá-lo, o cientista Jason Fries , que também era gerente de projeto, escreveu regras adicionais que orientavam o computador a reconhecer termos associados a relacionamentos conjugais ou profissionais de saúde, facilitando a exclusão de outras pessoas além do paciente.
  • Os jornalistas encontraram casos de falsos positivos associados às palavras feminino e masculino porque, ao que parece, certos dispositivos têm um sexo atribuído. Portanto, nesses casos, as referências femininas ou masculinas estavam se referindo a partes de dispositivos médicos e não a pacientes. Aqui está um exemplo: “uma rachadura foi identificada no conector fêmea”.

Os jornalistas eram “especialistas em domínio” cruciais, que verificaram os resultados do algoritmo em tempo real, para que os cientistas da computação pudessem ajustá-lo para melhorar a precisão. E tivemos o cuidado de ter pelo menos dois verificadores de fatos para cada rodada, para que eles pudessem revisar o trabalho um do outro.

Etapa 4 – Corra! (o código em relação aos dados completos)

Finalmente, chegou o momento de executar o algoritmo em todo o banco de dados do FDA MAUDE. Com foco na década que terminou em 2017 (o mesmo período de tempo que usamos na investigação do Implant Files), o computador foi capaz de atribuir sexo aos pacientes em 23% dos casos de lesões e morte identificados na investigação do Implant Files. Isso foi feito com 96% de precisão. Eles foram prejudicados por dispositivos que variam de aparelhos de teste de glicose a dispositivos cardiovasculares e próteses.

O que aconteceu com os outros 77%? O computador atribuiu a eles o rótulo “desconhecido” porque os relatórios de incidentes não forneciam informações suficientes para que o computador fizesse uma previsão precisa. O problema, na maioria das vezes, era a falta de um adjetivo ou pronome específico do sexo.

O que aprendemos

Não foi apenas a máquina que ficou mais inteligente como resultado da colaboração entre o ICIJ e Stanford. O exercício de aprendizado de máquina deu à redação uma compreensão mais profunda das maneiras pelas quais a IA pode aumentar nosso trabalho, especialmente quando há muitos dados confusos. Também nos ensinou:

  • A qualidade dos dados é importante: os relatórios de ferimentos e mortes de dispositivos eram complexos e espalhados por todo o lugar (escritos por uma multidão de diferentes grupos de pessoas, como médicos, pacientes, fabricantes), o que dificultava ainda mais o trabalho do algoritmo. O pesquisador Jason Fries continuou nos lembrando que, se os leitores humanos não concordarem com o rótulo, a máquina não funcionará melhor. “Isso refletirá a confusão.”
  • Os seres humanos importam: o trabalho teria sido impossível sem jornalistas que orientassem a pesquisa e verificassem os resultados até o fim. A inteligência artificial não substituirá os repórteres tão cedo, complementará seu trabalho e captará os aspectos mais repetitivos de sua pesquisa, liberando-os para focar naquilo que somente os humanos podem fazer bem: contextualizar, simpatizar, contar histórias.
  • Menos é mais: o uso de uma abordagem simples baseada em regras para rotular dados, em oposição a um processo completamente “caixa preta”, permite que nós e o público saibamos exatamente o que o computador está fazendo. “No jornalismo, precisamos ver o processo passo a passo”, diz Rigoberto Carvajal, analista de dados do ICIJ.

Se você estiver interessado em desenvolver nossos dispositivos médicos ou usar uma abordagem de aprendizado de máquina semelhante para resolver um problema jornalístico diferente, tornamos nosso código público no Github . Você pode entrar em contato conosco pelo data@icij.org .

As pessoas a seguir fazem parte da parceria do Machine Learning for Investigations entre o ICIJ e a Universidade de Stanford: Alex Ratner, Jason Fries, Mandy Lu, Jared Dunnmon, Alison Callahan, Sen Wu, Emilia Diaz-Struck, Rigoberto Carvajal, Delphine Reuter, Zshekinah Collier, Karrie Kehoe, Karen de la Hoz.

Marina Walker Guevara, diretora de iniciativas estratégicas do ICIJ, desenvolveu a parceria entre Stanford e ICIJ quando era bolsista John S. Knight na universidade em 2018-2019.

Fonte: ICIJ – Imagem de destaque: Stanford AI Créditos ICIJ

Print Friendly, PDF & Email

Facebook Comments

Comments are closed.