Análise comparativa do desempenho de diferentes chatbots de Inteligência Artificial generativa na resolução de questões do atendimento em farmácia comunitária

Resumo

Enquadramento: O uso da Inteligência Artificial generativa tem vindo a generalizar-se na área da saúde, apesar da ocorrência de alucinações e falhas éticas que podem comprometer as respostas dos chatbots [1,2]. Objetivo: Descrição do uso de chatbots na resolução de questões comuns em farmácia comunitária, através da análise comparativa do seu desempenho quanto às variáveis Precisão, Corroboração, Consistência, Clareza, Relevância e Reprodutibilidade. Métodos: Estudo observacional, no qual cinco investigadores independentes analisaram, de forma cega, as respostas fornecidas, em outubro de 2025 e fevereiro de 2026, pelos LLM (Grandes Modelos de Linguagem) disponibilizados gratuitamente pelo ChatGPT, Microsoft Copilot, Google Gemini, CLAUDE, Komo, Deepseek, GROK e Meta AI, sobre dois casos clínicos acerca de medicamentos e suplementação, recorrendo a metodologia modificada descrita por Daraqel et al. [3]. Resultados: As medianas das pontuações variaram entre 0 e 2, com Intervalo Interquartil (IQR) > 0 em 36 das 40 tabelas-resumo chatbot/variável/caso clínico/submissão analisadas. Nas restantes 4 tabelas, embora o IQR fosse sempre 0, a distribuição percentual das pontuações revelou 80% de concordância, demonstrando discrepâncias mesmo nas combinações com menor dispersão. Tal comprometeu a análise comparativa, evidenciando-se a influência da subjetividade como um fator limitante. Apesar disso, destacaram-se como principais erros cometidos: incorreta distinção entre medicamentos com/sem prescrição, recomendação de produtos não existentes em Portugal e indicação de posologias erradas. Conclusões: Os resultados indiciam que fatores como a sensibilidade ao prompt, linguagem, localização, mecanismos de segurança e área em estudo podem influenciar as respostas dos chatbots que parecem carecer de julgamento clínico, cometendo erros eventualmente graves. Enquanto não forem criados métodos para a sua avaliação, o seu papel na saúde deve reduzir-se apenas a ferramentas complementares. São necessárias atualizações das bases de dados, consoante diretrizes em vigor e tendo em consideração práticas locais, de forma a garantir a fiabilidade das suas respostas.