A novel framework for Covid-19 detection and clinical triage using multimodal physiological signals on a portable medical assistant

Página do item simplificado
dc.contributor.advisor-co1Krishnan, Sridhar
dc.contributor.advisor-co1IDhttps://orcid.org/0000-0002-0321-9273
dc.contributor.advisor1Bastos Filho, Teodiano Freire
dc.contributor.advisor1IDhttps://orcid.org/0000-0002-1185-2773
dc.contributor.advisor1Latteshttp://lattes.cnpq.br/3761585497791105
dc.contributor.authorSilva, Leticia Araújo
dc.contributor.authorIDhttps://orcid.org/0000-0002-1534-0708
dc.contributor.authorLatteshttp://lattes.cnpq.br/2690656852231539
dc.contributor.referee1Caldeira, Eliete Maria de Oliveira
dc.contributor.referee1IDhttps://orcid.org/0000-0002-3742-0952
dc.contributor.referee1Latteshttp://lattes.cnpq.br/8508979665054143
dc.contributor.referee2Andrade, Adriano de Oliveira
dc.contributor.referee2IDhttps://orcid.org/0000-0002-5689-6606
dc.contributor.referee2Latteshttp://lattes.cnpq.br/1229329519982110
dc.contributor.referee3Naves, Eduardo Lazaro Martins
dc.contributor.referee3IDhttps://orcid.org/0000-0003-4175-723X
dc.contributor.referee3Latteshttp://lattes.cnpq.br/5450557733379720
dc.contributor.referee4Rodríguez, Denis Delisle
dc.contributor.referee4IDhttps://orcid.org/0000-0002-8937-031X
dc.contributor.referee4Latteshttp://lattes.cnpq.br/7140331839822423
dc.contributor.referee5Villa Parra, Ana Cecilia
dc.contributor.referee5IDhttps://orcid.org/0000-0002-7588-9372
dc.contributor.referee5Latteshttp://lattes.cnpq.br/7385634502540480
dc.date.accessioned2025-08-28T20:22:29Z
dc.date.available2025-08-28T20:22:29Z
dc.date.issued2025-08-15
dc.description.abstractEmergency and urgent care systems face growing challenges in providing timely and accurate triage, especially in resource-constrained environments where subjectivity, lack of infrastructure, and high patient volumes compromise clinical decisions. These limitations became even more evident during the Coronavirus Disease 2019 (COVID-19) pandemic, which exposed critical gaps in diagnostic capacity and highlighted the absence of scalable, non-invasive tools for autonomous assessment. This research investigates whether multimodal physiological signals — cough, speech, breath, and vital signs — collected through a portable equipment called Integrated Portable Medical Assistant (IPMA) may support intelligent triage and COVID-19 inference via Machine Learning (ML) models. To address this, a two-part experimental design was conducted. The first part focused on COVID-19 detection using public datasets and real-world data collected with the IPMA. Mel-spectrograms were extracted from audio signals, followed by texture-based feature extraction using Local Binary Pattern (LBP) and Local Ternary Pattern (LTP). LBP consistently outperformed LTP across classification tasks, with speech showing the highest discriminative power, and SpO2 and temperature emerging as the most informative physiological indicators. Although trained on public datasets, models achieved moderate generalization to IPMA data, particularly for speech and breath signals. The second part evaluated clinical risk classification based on the Manchester Triage System through a structured approach that included data preprocessing, comparison of ML and Deep Learning (DL) models, and usability assessment. Using a public pediatric dataset, ensemble classifiers such as XGBoost and Stacking achieved F1-scores above 0.99 when trained on comprehensive clinical features. Additionally, promising results were obtained using primarily vital signs and low-subjectivity variables, with models reaching F1-scores around 0.74, demonstrating the potential of objective data for low-bias risk stratification in autonomous systems. However, when tested on adult data collected with IPMA, the models showed limited performance, indicating challenges in generalizing across different populations and clinical contexts. Usability was also a central component of this study. Standardized evaluations using the System Usability Scale (SUS) (and Post-Study System Usability Questionnaire — PSSUQ — for the COVID-19 task) indicated high user acceptance of the IPMA by both patients and healthcare professionals. Reported scores reflect the system’s ease of use and perceived integration into clinical workflows, reinforcing its potential for deployment in real-world triage and screening scenarios.
dc.description.resumoSistemas de atendimento de urgência e emergência enfrentam desafios crescentes para oferecer triagem rápida e precisa, especialmente em ambientes com recursos limitados, onde subjetividade, falta de infraestrutura e o excesso de pacientes comprometem as decisões clínicas. Essas limitações tornaram-se ainda mais evidentes durante a pandemia de Coronavirus Disease 2019 (COVID-19), que expôs lacunas críticas na capacidade diagnóstica e evidenciou a falta de ferramentas acessíveis, não invasivas e capazes de realizar avaliações autônomas. Esta pesquisa investiga se sinais fisiológicos multimodais — tosse, fala, respiração e sinais vitais — coletados por um equipamento portátil denominado Assistente Médico Portátil Integrado (IPMA), podem apoiar a triagem inteligente e a inferência de COVID-19 com o uso de modelos de Aprendizado de Máquina (ML). Para isso, foi conduzido um experimento dividido em duas partes. A primeira concentrou-se na detecção de COVID-19 com uso de bases públicas e dados reais coletados com o IPMA. Espectrogramas Mel foram extraídos dos sinais de áudio, seguidos pela extração de características de textura com os descritores Padrões Binários Locais (LBP) e Padrões Ternários Locais (LTP). O LBP superou consistentemente o LTP nas tarefas de classificação, com a fala apresentando o maior poder discriminativo e SpO2 e temperatura emergindo como os sinais fisiológicos mais informativos. Embora treinados com dados públicos, os modelos apresentaram generalização moderada para os dados do IPMA, especialmente para fala e respiração. A segunda parte avaliou a classificação de risco com base no Protocolo de Triagem de Manchester, por meio de uma abordagem estruturada que envolveu pré-processamento dos dados, comparação de modelos de ML e Aprendizado Profundo (DL) e avaliação de usabilidade. Utilizando uma base pediátrica pública, classificadores como XGBoost e Stacking alcançaram F1-scores superiores a 0,99 com variáveis clínicas abrangentes. Resultados promissores também foram obtidos com sinais vitais e variáveis de baixa subjetividade, com F1-scores em torno de 0,74, demonstrando o potencial de dados objetivos para estratificação de risco com baixo viés em sistemas autônomos. No entanto, ao serem testados com dados de adultos coletados com o IPMA, os modelos apresentaram desempenho limitado, indicando desafios na generalização entre populações e contextos distintos. A usabilidade foi componente central do estudo, e avaliações padronizadas com os questionários System Usability Scale (SUS) (e Post-Study System Usability Questionnaire —PSSUQ —na tarefa de COVID-19) indicaram alta aceitação do IPMA por pacientes e profissionais de saúde. As pontuações refletem sua facilidade de uso e integração aos fluxos clínicos, reforçando o potencial do sistema para triagem em cenários reais.
dc.description.sponsorshipCoordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)
dc.formatText
dc.identifier.urihttp://repositorio.ufes.br/handle/10/20253
dc.languagepor
dc.publisherUniversidade Federal do Espírito Santo
dc.publisher.countryBR
dc.publisher.courseDoutorado em Engenharia Elétrica
dc.publisher.departmentCentro Tecnológico
dc.publisher.initialsUFES
dc.publisher.programPrograma de Pós-Graduação em Engenharia Elétrica
dc.rightsopen access
dc.subjectDetecção de COVID-19
dc.subjectProtocolo de triagem de Manchester
dc.subjectAprendizado de máquina
dc.subjectEquipamento médico portátil
dc.subjectAvaliação de usabilidade
dc.subject.cnpqEngenharia Elétrica
dc.titleA novel framework for Covid-19 detection and clinical triage using multimodal physiological signals on a portable medical assistant
dc.typedoctoralThesis
Arquivos
Pacote Original
Agora exibindo 1 - 1 de 1
Imagem de Miniatura
Nome:
LeticiaAraújoSilva-2025-Tese.pdf
Tamanho:
31.47 MB
Formato:
Adobe Portable Document Format
Descrição:
Baixar
Licença do Pacote
Agora exibindo 1 - 1 de 1
Imagem de Miniatura
Nome:
license.txt
Tamanho:
1.71 KB
Formato:
Item-specific license agreed upon to submission
Descrição:
Baixar
Coleções
Doutorado em Engenharia Elétrica