Governança de IA
IA e Governança: Modelos de ML, Riscos e Boas Práticas em Saúde
Por Noerci Battistella · · 17 min de leitura
A Inteligência Artificial (IA) já deixou de ser apenas tendência e se consolidou como uma realidade tangível em diversos setores, incluindo a saúde. Hoje, ao mesmo tempo em que a IA e o Machine Learning (ML) oferecem oportunidades de otimizar fluxos, reduzir custos e aprimorar diagnósticos, também expõem as instituições a riscos novos e cada vez mais complexos. E nesse mar de informações há alguns materiais que podem nos nortear para onde ir. Os Audit Practitioner’s Guide to Machine Learning (Partes 1 e 2), publicados pela ISACA, foram meu primeiro norte para me guiar por onde começar. Essas publicações, somadas às discussões recentes conduzidas pela própria entidade (ISACA, 2024a-f; 2025), servem como bússola para quem busca implementar, auditar e governar soluções de IA de forma ética, segura e efetiva.
Entre teoria e prática: Por que Governança de IA importa tanto?
Em um setor sensível como o hospitalar, as decisões envolvendo algoritmos de IA podem impactar diretamente a saúde de pacientes. Imagine um modelo de classificação que priorize exames de imagem com pouca acurácia ou que apresente viés contra determinados grupos demográficos. As consequências vão além de simples falhas de software — podem afetar vidas. Nesse sentido, governança não é apenas um “item a mais”, mas o pilar que assegura transparência, responsabilidade e confiabilidade no uso de algoritmos inteligentes.
De acordo com a ISACA (2024a-f; 2025), as instituições devem estabelecer políticas claras, criar comitês multidisciplinares (envolvendo TI, compliance, área clínica e jurídica) e manter os profissionais capacitados quanto aos riscos e boas práticas de IA. A ideia é garantir que cada modelo — seja um simples algoritmo de detecção de anomalias em ECG ou um sistema avançado de triagem hospitalar — esteja alinhado às necessidades do negócio, respeitando ao mesmo tempo a privacidade e a segurança do paciente.
Modelos de Machine Learning: Categorias, Riscos e Métricas
Para quem ainda não é especialista em ciência de dados, vale entender que o termo Machine Learning descreve algoritmos que aprendem com exemplos, em vez de serem programados para cada situação específica. No contexto da saúde, isso pode ir desde a classificação de imagens médicas até a predição de tempo de internação. Há três grandes categorias de ML, cada uma com seus riscos e peculiaridades:
Supervisionado
Em Machine Learning supervisionado, o algoritmo é treinado com dados previamente rotulados. Pense, por exemplo, em um conjunto de imagens de raio-X, cada uma marcada como “saudável” ou “com patologia”. O modelo “aprende” a reconhecer padrões que separam um rótulo do outro — seja pela presença de certas manchas no raio-X ou pelo formato de estruturas ósseas. Nos bastidores, técnicas como Regressão Linear (para prever valores numéricos, como nível de glicose ou tempo de internação) e Classificação (p. ex., dizer se um exame está normal ou não) predominam nesse tipo de abordagem. Entretanto, se os dados rotulados não forem de boa qualidade ou estiverem enviesados, o modelo aprenderá padrões equivocados, potencialmente prejudicando diagnósticos e recomendações clínicas.
Não Supervisionado
Em contrapartida, Machine Learning não supervisionado não conta com rótulos explícitos. Em vez disso, o algoritmo analisa grandes quantidades de dados “crus” e tenta encontrar agrupamentos, tendências ou anomalias. É como se o modelo explorasse sozinha um “labirinto de informações” para descobrir similaridades: agrupar pacientes com perfis clínicos parecidos, detectar padrões de uso de leitos ou mesmo encontrar correlações inesperadas em exames laboratoriais. Técnicas como Clustering (K-means), Detecção de Outliers e Dimensionalidade Redutiva (como PCA) se encaixam aqui. O grande desafio está na interpretação: como o algoritmo encontrou essas subdivisões? Faz sentido médico ou administrativo? Uma má interpretação dos grupos formados pode levar a decisões equivocadas na prática hospitalar.
Aprendizado por Reforço
Já o Aprendizado por Reforço segue uma lógica parecida com a de um jogo: o algoritmo, chamado de “agente”, realiza ações num ambiente (real ou simulado) e recebe “recompensas” (ou punições) conforme o resultado de cada ação. Com o tempo, ele aprende quais estratégias produzem mais recompensas. No ambiente de saúde, podemos imaginar um robô circulando pelo hospital, aprendendo as rotas mais eficientes para distribuir medicamentos; ou até mesmo um software otimizando o fluxo de pacientes no pronto-socorro. A principal vantagem é a flexibilidade: o modelo aprende com a experiência real e se adapta a situações complexas. Porém, a falta de supervisão direta pode fazer com que o algoritmo descubra caminhos inesperados ou comportamentos “criativos” que não necessariamente atendem aos protocolos clínicos, tornando o monitoramento constante algo primordial.
Em suma, cada categoria — supervisionado, não supervisionado e aprendizado por reforço — carrega oportunidades incríveis de melhoria na rotina hospitalar, mas também exige cuidados específicos para que o aprendizado automatizado realmente sirva ao bem-estar do paciente, em vez de gerar diagnósticos precipitados ou fluxos de trabalho inadequados.
Overfitting, Underfitting e Boas Práticas de Validação
Quando lidamos com um algoritmo de Machine Learning, especialmente em cenários clínicos ou de suporte à decisão, é essencial que ele mantenha um equilíbrio entre capturar as tendências corretas dos dados e generalizá-las de forma confiável para novas situações. Se o modelo for “bom demais” nos dados de treinamento, mas falhar no mundo real, ou se for “simplório” a ponto de não reconhecer padrões essenciais, teremos problemas graves. Para ilustrar, é útil dividir os riscos em dois extremos principais e depois discutir como evitá-los:
Overfitting
Acontece quando o algoritmo “aprende” demais sobre as particularidades (e ruídos) do conjunto de treinamento, como se estivesse decorando cada detalhe dos exames ou das estatísticas de internação. No contexto hospitalar, imagine um modelo que prevê tempo de recuperação de pacientes usando dados de um único hospital, com peculiaridades daquela instituição, daquela região e de uma época específica — quando for exposto a pacientes de outros locais ou períodos diferentes, esse modelo tende a errar drasticamente.
Underfitting
Já o underfitting ocorre quando o modelo é tão simples ou mal configurado que não consegue capturar a complexidade real dos dados. É como tentar explicar um diagnóstico complexo com poucas variáveis e de maneira superficial.
Boas Práticas de Validação
Para evitar esses dois extremos, recomenda-se uma estratégia de validação robusta, que, em termos práticos, envolve separar ou particionar os dados de forma inteligente e medir o desempenho do modelo em diferentes subconjuntos, repetidas vezes.
Encontrar o ponto ideal entre não aprender de menos (underfitting) e não aprender de forma excessiva (overfitting) é um desafio constante em ML. E no setor de saúde, onde dados podem ser limitados e variáveis externas podem surgir a todo momento (novas cepas de vírus, mudanças de protocolo, entre outros), ter processos de validação e monitoramento contínuo é ainda mais crítico para garantir a confiabilidade dos resultados.
Governança, Auditoria e Educação: O Tripé fundamentado pela ISACA
A aplicação de IA na área da saúde não se limita apenas ao desenvolvimento de modelos e algoritmos. Ela envolve, de forma cada vez mais intensa, a necessidade de controlar riscos, garantir a transparência dos processos e zelar pela formação das equipes que lidam com sistemas inteligentes. A ISACA, em suas publicações, reforça a importância de um tripé que sustenta as boas práticas e assegura o uso ético e seguro da IA em qualquer instituição: governança, auditoria e educação. Antes de detalhar cada um desses pontos, vale ressaltar que o objetivo principal é equilibrar inovação tecnológica com responsabilidade, de modo que os pacientes permaneçam no centro das decisões.
Governança
Define quem toma as decisões estratégicas, como estão estruturadas as políticas internas de IA e quais regras balizam a adoção de novos algoritmos. É por meio da governança que se estabelece uma visão clara sobre as responsabilidades de cada área (TI, jurídico, compliance, corpo clínico), bem como a priorização de projetos e a avaliação de riscos associados ao uso de modelos inteligentes. Sem governança, mesmo as melhores iniciativas tecnológicas podem sair do controle, expondo a instituição a falhas éticas, regulatórias e reputacionais.
Auditoria
Atua como uma camada de verificação independente, analisando se os algoritmos e processos de IA realmente cumprem os requisitos definidos pela governança e se mantêm alinhados às regulamentações vigentes. A auditoria não se restringe a checar números; ela deve investigar a qualidade dos dados, a robustez dos modelos e a forma como os resultados são aplicados no ambiente clínico. Dessa forma, identifica lacunas e recomenda aprimoramentos, servindo como um “fiscal” que garante a integridade e a confiabilidade das soluções de IA.
Educação
Completa o tripé ao envolver todas as pessoas no ecossistema da saúde. É necessário que gestores, cientistas de dados, médicos, enfermeiros e demais profissionais entendam, minimamente, como o Machine Learning funciona, quais são seus riscos e de que modo ele pode contribuir para a melhoria do atendimento ao paciente. Educação também engloba treinamentos, workshops e ações de conscientização, pois, quando todos falam a mesma “linguagem” básica e reconhecem o valor (e os limites) da IA, as chances de sucesso aumentam exponencialmente.
Somente com esses três pilares — governança, auditoria e educação — atuando de forma integrada, é possível criar uma base sólida para o uso responsável da IA na saúde. A ISACA, por meio de seus frameworks e guias, tem oferecido diretrizes práticas para garantir que cada instituição consiga adaptar essas recomendações à sua realidade, mantendo sempre o foco no bem-estar do paciente, na segurança de dados e na eficiência dos processos.
Entre Open Source e Plataformas Comerciais: Por que não fazer tudo do zero?
Desenvolver uma solução de Machine Learning completamente do zero — criando algoritmos básicos, estruturas de rede neural e toda a infraestrutura para treinamento — pode soar tentador para equipes altamente especializadas. No entanto, na maior parte dos casos, reinventar a roda significa custo elevado, prazo estendido e, principalmente, riscos adicionais de manutenção.
Na prática, a maioria dos projetos de IA se beneficia de bibliotecas e plataformas já consolidadas, sejam elas open source ou comerciais. Essas soluções trazem blocos de construção prontos e testados por comunidades técnicas amplas, reduzindo o tempo de desenvolvimento e aumentando a confiabilidade. Além disso, muitas dessas bibliotecas possuem integrações com linguagens de programação populares (como Python, R, Java e C++), permitindo que o time de desenvolvimento se concentre na configuração e na aplicação clínica, em vez de programar cada detalhe do algoritmo desde o início.
A escolha entre usar uma abordagem open source ou uma plataforma comercial vai depender de fatores como custo, suporte, escalabilidade e requisitos regulatórios. Por exemplo, um hospital que necessita de auditoria rigorosa e suporte em tempo real pode preferir plataformas comerciais robustas. Já uma equipe de pesquisa, com desenvolvedores experientes e orçamento reduzido, pode optar por uma biblioteca de código aberto, onde a comunidade oferece constantes atualizações e melhorias.
Fazer tudo do zero quase nunca é a melhor solução, principalmente quando estamos falando de ambientes hospitalares, onde segurança, conformidade e prazo são cruciais. Em vez disso, aproveitar as bibliotecas e plataformas disponíveis permite focar naquilo que realmente importa: adequar a tecnologia às necessidades e protocolos de cada instituição, garantindo o uso responsável e eficaz da IA em saúde.
Diante das pressões de prazos e da necessidade de confiabilidade em ambiente hospitalar, a maioria das equipes escolhe bibliotecas ou plataformas já consolidadas, sejam elas open source ou proprietárias (comerciais). Ambas as abordagens trazem vantagens claras, mas também acarretam riscos específicos:
Riscos Associados a Bibliotecas Open Source
Suporte e Manutenção Variáveis
Embora comunidades open source sejam ativas e capazes de fornecer correções e melhorias constantes, nem sempre há garantias de suporte formal ou SLA (Service Level Agreement).
Dependendo da criticidade do problema, o hospital pode ficar vulnerável a tempos de resposta longos ou soluções de contorno provisórias caso surjam bugs ou falhas graves.
Possíveis Vulnerabilidades de Segurança
Projetos open source podem ser alvo de atacantes que exploram brechas em bibliotecas populares. Como o código-fonte é público, é essencial manter boas práticas de atualização e auditoria contínua.
Se a biblioteca não tiver uma comunidade suficientemente engajada, correções e patches podem demorar a sair, expondo a instituição a riscos de invasão ou vazamento de dados de pacientes.
Compliance e Licenciamento
Algumas licenças open source (ex.: GPL, AGPL) podem impor requisitos de compartilhamento de código ou restrições de uso comercial que entram em conflito com as políticas da instituição.
É preciso avaliar se a forma de distribuição e integração atende às obrigações de privacidade (HIPAA, GDPR, etc.), especialmente quando parte do código pode ser integrado a sistemas internos.
Dependência de Mantenedores Voluntários
Se o projeto é mantido por poucas pessoas ou voluntários, qualquer mudança na disponibilidade dos líderes do projeto pode comprometer a evolução e o suporte da biblioteca.
Em casos críticos, o hospital pode precisar contratar especialistas externos para resolver problemas de manutenção ou implementar novas funcionalidades com urgência.
Riscos Associados a Plataformas Comerciais
Vendor Lock-In
Ao adotar uma plataforma comercial, a instituição pode se tornar dependente de soluções proprietárias — da infraestrutura em nuvem aos algoritmos oferecidos como serviço (MLaaS).
Migrar para outro fornecedor pode ser custoso e complexo, pois envolve transferir dados, retrain de modelos e possíveis adequações de código personalizado.
Custos Elevados
Licenciamento, suporte avançado e custos de armazenamento/treinamento na nuvem podem se tornar expressivos, principalmente em projetos de larga escala ou que processam grandes volumes de dados de pacientes.
Modelos de cobrança por uso (“pay as you go”) podem tornar difícil prever o orçamento de longo prazo, exigindo monitoramento constante.
Limitações de Customização
Plataformas comerciais frequentemente oferecem um ecossistema robusto e pronto para uso, mas podem restringir a personalização de aspectos mais profundos do algoritmo ou da infraestrutura.
Ajustes muito específicos — por exemplo, exigências de protocolos médicos — podem não ser suportados nativamente, forçando a construção de soluções paralelas ou híbridas.
Questões de Privacidade e Soberania de Dados
Quando se utiliza uma nuvem ou plataforma de terceiros, é crítico avaliar onde os dados estão sendo processados e armazenados, bem como os mecanismos de segurança adotados.
Em cenários internacionais, há ainda a necessidade de checar compatibilidade com regulamentações locais (LGPD, GDPR, HIPAA), além de eventuais restrições sobre transferência de dados entre países.
Compliance e Riscos Regulatórios: Um Olhar para a Segurança do Paciente
O setor de saúde lida com dados extremamente sensíveis. Além dos regulamentos gerais de privacidade (como GDPR e CCPA) e de normas como HIPAA, cresce a pressão para que algoritmos que afetam diretamente diagnósticos e tratamentos tenham transparência e “explicabilidade”. As publicações da ISACA (2024e) mostram, por exemplo, como o EU AI Act tende a classificar determinados casos de uso de IA como “alto risco”, exigindo maior rigor na auditoria e na prestação de contas. Não se trata apenas de cumprir burocracias, mas de honrar o compromisso ético com o bem-estar dos pacientes.
Quando falamos em Machine Learning na saúde, não basta desenvolver algoritmos eficientes ou inovadores: é crucial garantir que tais soluções atendam a um conjunto cada vez mais amplo de exigências legais, éticas e, sobretudo, de proteção ao paciente. Muitos dos regulamentos recentes surgiram justamente pela percepção de que sistemas automatizados podem se tornar “caixas-pretas”, com impactos diretos em diagnósticos e tratamentos, sem que haja clareza sobre os critérios decisórios.
Confluência de Normas e Legislações
Regulamentos Gerais de Privacidade: Leis como a GDPR (União Europeia) e a CCPA (Califórnia) estabelecem regras para coleta, armazenamento e tratamento de dados pessoais, impondo multas pesadas em caso de violações. No ambiente hospitalar, dados são não apenas pessoais, mas extremamente sensíveis, envolvendo diagnósticos, históricos médicos e condições clínicas.
Regras Específicas de Saúde: No contexto dos Estados Unidos, a HIPAA (Health Insurance Portability and Accountability Act) define padrões para proteger informações de saúde, exigindo controles rígidos de segurança e confidencialidade. Da mesma forma, outros países adotam leis e diretrizes próprias que se sobrepõem às regras gerais, reforçando a necessidade de conformidade estrita.
EU AI Act: Uma proposta que tende a classificar usos de IA em graus de risco (baixo, médio, alto), exigindo níveis diferentes de transparência, auditabilidade e segurança. Aplicações que lidam diretamente com diagnósticos médicos ou triagem de pacientes possivelmente cairão na categoria de “alto risco”, demandando processo de conformidade mais rigoroso.
Transparência e “Explicabilidade”
Accountability Algorítmica: A pressão por explicações claras sobre como um modelo toma suas decisões cresce à medida que a sociedade percebe que algoritmos podem exibir preconceitos ou cometer erros sérios. Em um hospital, por exemplo, um modelo que “reprova” cirurgias ou exames críticos sem justificativa traz consequências graves à saúde do paciente.
Exigência de “Black Box to Glass Box”: Ferramentas para explicar e auditar algoritmos, como LIME, XAI e Shapley Values, tornam-se cada vez mais relevantes. Reguladores e comitês de ética exigem que os responsáveis pelo sistema saibam justificar por que um paciente A recebeu um diagnóstico diferente de um paciente B, ainda que ambos apresentassem sintomas semelhantes.
Compromisso Ético e Risco de Danos
Propagação de Erros: Se um modelo falha ao identificar sinais de uma doença grave (por subtreinamento, viés, ou simplesmente por não ter sido validado adequadamente), isso impacta diretamente a vida do paciente e expõe a instituição a processos judiciais e perdas reputacionais.
Bias e Discriminação: Modelos que se baseiam em dados históricos sem a devida filtragem de padrões preconceituosos podem prejudicar determinados grupos — por exemplo, subestimando sintomas de mulheres ou ignorando características específicas de minorias étnicas. Além de violações jurídicas, há um custo moral ao reforçar injustiças no sistema de saúde.
Ética Médica x Burocracia: Embora possa parecer que cumprir regulamentos e documentar processos seja mera burocracia, cada vez mais se percebe que essas etapas são parte essencial do compromisso ético de evitar danos e preservar a dignidade do paciente.
Governança e Auditoria Avançadas
Mapeamento de Fluxos de Dados: É essencial ter clareza sobre onde os dados são coletados, como são transformados e onde ficam armazenados. Toda movimentação de dados sensíveis deve ser acompanhada de registros e políticas de acesso, garantindo rastreabilidade.
Revalidação Constante de Modelos: Em aplicações críticas, não basta “subir” o modelo uma vez e deixá-lo rodando. As variáveis epidemiológicas, condições sociais e protocolos clínicos podem mudar rapidamente, exigindo revisões e auditorias frequentes para manter a qualidade das previsões.
Comitês de Ética e Segurança: Alguns hospitais já formam conselhos integrados por médicos, cientistas de dados, profissionais de TI, especialistas em ética e jurídicos, cuja função é deliberar sobre a adoção de novas tecnologias e acompanhar o desempenho delas, apontando riscos ou violações que precisem de correção imediata.
A Importância de Uma Cultura de Compliance
Mais do que uma lista de normas a cumprir, compliance na saúde precisa ser parte da cultura organizacional. É a consciência de que dados de pacientes não são apenas registros de sistema — são informações críticas que impactam vidas. Cada algoritmo implementado deve ser tratado com a mesma seriedade de um procedimento cirúrgico ou de um protocolo de medicação, pois um erro algorítmico também pode custar caro em termos de saúde, finanças e reputação.
Fechando o Ciclo: O Futuro Pertence a Quem Se Prepara
A adoção de IA na área da saúde não requer que cada hospital se torne um polo de pesquisa de ponta, mas exige, no mínimo, estratégia, governança e embasamento teórico para que todo o processo seja seguro, transparente e centrado no paciente. Conceitos técnicos como overfitting, cross-validation e confusion matrix não podem ficar restritos apenas às discussões da equipe de TI; eles devem ser minimamente compreendidos por gestores, corpo clínico e demais setores. Afinal, estamos lidando com soluções que podem potencializar resultados e elevar o patamar de atendimento, desde que sejam bem geridas, auditadas e alinhadas às normas de compliance.
Também não se deve ignorar a pressão regulatória que cresce a cada dia. Leis de privacidade e segurança de dados — somadas a diretrizes específicas como a HIPAA, o EU AI Act e a possibilidade de classificação de casos de uso como “alto risco” — reforçam a necessidade de uma visão holística. O ponto não é apenas evitar sanções legais, mas honrar o compromisso ético de proteger as informações de pacientes e garantir que algoritmos tomem decisões equânimes e fundamentadas.
Felizmente, o suporte para essa jornada existe. A própria ISACA, por meio de guias e white papers, fornece diretrizes para quem busca conhecimento sobre desenvolvimento, auditoria e governança de IA. Esses recursos, somados a uma cultura de educação interna, constituem a espinha dorsal de uma implementação sustentável e responsável. Em última análise, não basta adotar algoritmos sofisticados; é preciso cultivar um ecossistema de governança, auditoria e educação que dê suporte ao crescimento contínuo e à evolução dos modelos.
A grande pergunta que fica é: você está disposto a alinhar o poder transformador da IA à segurança, confiabilidade e responsabilidade que o setor de saúde exige? Com o embasamento correto, o envolvimento ativo de todos os profissionais e o firme compromisso com a melhoria da qualidade do atendimento, a tecnologia não só pode, como deve, ser uma aliada crucial na construção de um sistema de saúde mais eficiente, inovador e — acima de tudo — voltado ao bem-estar do paciente.
Referências Principais
- ISACA. (2022a). Audit Practitioner’s Guide to Machine Learning, Part 1: Technology.
- ISACA. (2022b). Audit Practitioner’s Guide to Machine Learning, Part 2: Compliance Risk.
- ISACA. (2024a). AI Governance Brief.
- ISACA. (2024b). “Data Governance for AI: It Starts and Ends with Data.” Blog ISACA Now.
- ISACA. (2024c). “AI and Risk Management: A Strategic Guide for CIOs and CISOs in Financial Services.” Blog ISACA Now.
- ISACA. (2024d). “For Better AI Governance, Begin with Education.” Blog ISACA Now.
- ISACA. (2024e). Understanding the EU AI Act. White Paper.
- ISACA. (2024f). “Leveraging Artificial Intelligence for Enhancing Security and Privacy in Modern Computing Systems.” Blog ISACA Now.
- ISACA. (2025). “Artificial Intelligence in the Boardroom.” Blog ISACA Now.
Em resumo, a IA na saúde não é apenas tecnologia: é estratégia, governança e visão de futuro.
