How to Determine the Accuracy of an Alternative Diagnostic Test when It Is Actually Better than the Reference Tests: A Re-Evaluation of Diagnostic Tests for Scrub Typhus Using Bayesian LCMs

• DOI: 10.1371/journal.pone.0114930
• Publication Date: 2015-05-29T18:28:42Z
• Authors: Cherry Lim; Daniel H. Paris; Stuart D. Blacksell; Achara Laongnualp...; Pacharee Kantipong; Wirongrong Chierakul; Vanaporn Wuthiekanun; Nicholas P. J. Day; Ben S. Cooper; Direk Limmathurot...
• Keywords: Adult; Male; Adolescent; Science; Veterinary medicine; Immunology; FOS: Health sciences; Polymerase Chain Reaction; Sensitivity and Specificity; Young Adult; 03 medical and health sciences; 0302 clinical medicine; Virology; Health Sciences; Pathology; Humans; Global Impact of Arboviral Diseases; Fluorescent Antibody Technique, Indirect; Aged; Aged, 80 and over; Immunology and Microbiology; Diagnostic Tests, Routine; FOS: Clinical medicine; Q; R; Public Health, Environmental and Occupational Health; Life Sciences; Bayes Theorem; Middle Aged; Diagnostic test; 3. Good health; Orientia tsutsugamushi; Infectious Diseases; Immunoglobulin M; Scrub Typhus; Tick-Borne Diseases and Pathogens Transmission; Scrub typhus; Eschar; Medicine; Female; Parasitology; Tick Vectors; Viral Hemorrhagic Fevers and Zoonotic Infections; Research Article

Le test d'immunofluorescence indirecte (IFA) est considéré comme un test de référence pour le typhus des broussailles. Récemment, les Scrub Typhus Infection Criteria (STIC ; une combinaison de culture, de tests PCR et d'IgM IFA) ont été proposés comme norme de référence pour l'évaluation des tests de diagnostic alternatifs. Ici, nous utilisons des modèles de classe latente bayésiens (LCM) pour estimer la précision réelle de chaque test de diagnostic, et de STIC, pour diagnostiquer le typhus des broussailles. Les données de 161 patients atteints de fièvre indifférenciée ont été réévaluées à l'aide de LCM bayésiens. Chaque patient a été évalué pour la présence d'un escarre et testé avec une hémoculture pour Orientia tsutsugamushi, trois tests PCR différents, IFA IgM et le test immunochromatographique (ICT) Panbio IgM. La vraie sensibilité et la spécificité de la culture (24,4% et 100%), le test PCR 56kDa (56,8% et 98,4%), le test PCR 47kDa (63,2% et 96,1%), le test PCR groEL (71,4% et 93,0%), IFA IgM (70,0% et 83,8%), PanBio IgM ICT (72,8% et 96,8%), la présence d'eschar (42,7% et 98,9%) et STIC (90,5% et 82,5%) estimés par Bayesian LCM étaient considérablement différents de ceux obtenus en utilisant STIC comme étalon de référence. Les TIC IgM avaient une sensibilité comparable et une spécificité significativement plus élevée par rapport à l'IFA (p=0,34 et p<0,001, respectivement). La faible spécificité du STIC a été causée par la faible spécificité de l'IgM IFA. Ni STIC ni IFA IgM ne peuvent être utilisés comme normes de référence pour évaluer les tests de diagnostic alternatifs. Une évaluation plus approfondie des nouveaux tests de diagnostic doit être effectuée à l'aide d'un ensemble de tests de diagnostic soigneusement sélectionnés et de modèles statistiques appropriés.<br/>The indirect immunofluorescence assay (IFA) is considered a reference test for scrub typhus. Recently, the Scrub Typhus Infection Criteria (STIC; a combination of culture, PCR assays and IFA IgM) were proposed as a reference standard for evaluating alternative diagnostic tests. Here, we use Bayesian latent class models (LCMs) to estimate the true accuracy of each diagnostic test, and of STIC, for diagnosing scrub typhus.Data from 161 patients with undifferentiated fever were re-evaluated using Bayesian LCMs. Every patient was evaluated for the presence of an eschar, and tested with blood culture for Orientia tsutsugamushi, three different PCR assays, IFA IgM, and the Panbio IgM immunochromatographic test (ICT). True sensitivity and specificity of culture (24.4% and 100%), 56kDa PCR assay (56.8% and 98.4%), 47kDa PCR assay (63.2% and 96.1%), groEL PCR assay (71.4% and 93.0%), IFA IgM (70.0% and 83.8%), PanBio IgM ICT (72.8% and 96.8%), presence of eschar (42.7% and 98.9%) and STIC (90.5% and 82.5%) estimated by Bayesian LCM were considerably different from those obtained when using STIC as a reference standard. The IgM ICT had comparable sensitivity and significantly higher specificity compared to IFA (p=0.34 and p<0.001, respectively).The low specificity of STIC was caused by the low specificity of IFA IgM. Neither STIC nor IFA IgM can be used as reference standards against which to evaluate alternative diagnostic tests. Further evaluation of new diagnostic tests should be done with a carefully selected set of diagnostic tests and appropriate statistical models.<br/>El ensayo de inmunofluorescencia indirecta (IFA) se considera una prueba de referencia para el tifus de matorral. Recientemente, se propusieron los Criterios de infección por tifus en matorrales (STIC; una combinación de cultivo, ensayos de PCR e IgM de IFA) como estándar de referencia para evaluar pruebas de diagnóstico alternativas. Aquí, utilizamos modelos de clase latente bayesianos (LCM) para estimar la verdadera precisión de cada prueba de diagnóstico y de STIC, para diagnosticar el tifus de matorral. Los datos de 161 pacientes con fiebre indiferenciada se reevaluaron utilizando LCM bayesianos. Cada paciente se evaluó para detectar la presencia de una escara y se analizó con hemocultivo para Orientia tsutsugamushi, tres ensayos de PCR diferentes, IFA IgM y la prueba inmunocromatográfica Panbio IgM (ICT). La verdadera sensibilidad y especificidad del cultivo (24.4% y 100%), el ensayo de PCR de 56 kDa (56.8% y 98.4%), el ensayo de PCR de 47 kDa (63.2% y 96.1%), el ensayo de PCR de groEL (71.4% y 93.0%), IFA IgM (70.0% y 83.8%), PanBio IgM ICT (72.8% y 96.8%), la presencia de escara (42.7% y 98.9%) y STIC (90.5% y 82.5%) estimados por Bayesian LCM fueron considerablemente diferentes de los obtenidos al usar STIC como estándar de referencia. Las TIC de IgM tenían una sensibilidad comparable y una especificidad significativamente mayor en comparación con IFA (p=0.34 y p<0.001, respectivamente). La baja especificidad de STIC fue causada por la baja especificidad de IFA IgM. Ni STIC ni IFA IgM se pueden utilizar como estándares de referencia para evaluar pruebas de diagnóstico alternativas. Se debe realizar una evaluación adicional de las nuevas pruebas de diagnóstico con un conjunto cuidadosamente seleccionado de pruebas de diagnóstico y modelos estadísticos apropiados.<br/>يعتبر اختبار التألق المناعي غير المباشر (IFA) اختبارًا مرجعيًا لفرك التيفوس. في الآونة الأخيرة، تم اقتراح معايير عدوى فرك التيفوس (STIC ؛ مزيج من المزرعة وفحوصات PCR و IFA IgM) كمعيار مرجعي لتقييم الاختبارات التشخيصية البديلة. هنا، نستخدم نماذج الفئة الكامنة البايزية (LCMs) لتقدير الدقة الحقيقية لكل اختبار تشخيصي، و STIC، لتشخيص التيفوس الفرك. تمت إعادة تقييم البيانات من 161 مريضًا يعانون من حمى غير متمايزة باستخدام نماذج الفئة الكامنة البايزية. تم تقييم كل مريض لوجود سكار، واختباره مع مزرعة الدم لـ Orientia tsutsugamushi، وثلاثة اختبارات PCR مختلفة، IFA IgM، واختبار Panbio IgM المناعي (ICT). كانت الحساسية الحقيقية وخصوصية المزرعة (24.4 ٪ و 100 ٪)، وفحص تفاعل البوليميراز المتسلسل 56kDa (56.8 ٪ و 98.4 ٪)، وفحص تفاعل البوليميراز المتسلسل 47kDa (63.2 ٪ و 96.1 ٪)، وفحص تفاعل البوليميراز المتسلسل groEL (71.4 ٪ و 93.0 ٪)، و IFA IgM (70.0 ٪ و 83.8 ٪)، و PanBio IgM ICT (72.8 ٪ و 96.8 ٪)، ووجود إشار (42.7 ٪ و 98.9 ٪) و STIC (90.5 ٪ و 82.5 ٪) المقدرة من قبل Bayesian LCM مختلفة اختلافًا كبيرًا عن تلك التي تم الحصول عليها عند استخدام STIC كمعيار مرجعي. كان لتكنولوجيا المعلومات والاتصالات IgM حساسية مماثلة وخصوصية أعلى بكثير مقارنة بـ IFA (p=0.34 و p<0.001، على التوالي). كانت الخصوصية المنخفضة لـ STIC ناتجة عن انخفاض خصوصية IFA IgM. لا يمكن استخدام STIC أو IFA IgM كمعايير مرجعية لتقييم الاختبارات التشخيصية البديلة. يجب إجراء مزيد من التقييم للاختبارات التشخيصية الجديدة مع مجموعة مختارة بعناية من الاختبارات التشخيصية والنماذج الإحصائية المناسبة.<br/>