Análise do desempenho do ChatGPT em responder perguntas acadêmicas sobre insuficiência cardíaca.

Abstract

A crescente integração da inteligência artificial (IA) na saúde, especialmente através do ChatGPT, um modelo de linguagem natural da OpenAI, apresenta um enorme potencial e desafios significativos. Este estudo examina o uso do ChatGPT na cardiologia, com foco na insuficiência cardíaca, avaliando a capacidade do modelo em responder questões com base nas Diretrizes Brasileiras de Insuficiência Cardíaca Crônica e Aguda (2018). A análise envolveu a comparação das respostas do ChatGPT com o padrão ouro estabelecido pelas diretrizes, usando a escala Likert, utilizada para avaliar o desempenho do ChatGPT. Os resultados indicaram que, apesar do potencial do ChatGPT em fornecer respostas rápidas e acessíveis, sua precisão em tópicos especializados é limitada, com uma taxa geral de acerto de 74%. A IA demonstrou uma performance desigual entre os diferentes domínios, variando de 50% a 86% de acertos, revelando limitações em áreas que exigem conhecimento técnico profundo e atualizado. Além disso, foram relatadas preocupações éticas e práticas, como a disseminação de informações imprecisas e o risco de dependência excessiva dos usuários na tecnologia, sem a devida verificação por profissionais qualificados. Portanto, embora o ChatGPT tenha potencial como ferramenta educacional e de suporte à decisão, sua utilização deve ser acompanhada por supervisão rigorosa e mecanismos de verificação para garantir a segurança e precisão das informações fornecidas. A IA deve ser vista como um complemento, e não um substituto, para o conhecimento especializado, especialmente em áreas críticas como a cardiologia.