Über- und Unterschätzung von Erfolgsquoten

 

 Buy Article Permissions and Reprints

Zusammenfassung

Bei Interventionsstudien werden häufig Fragebögen zur Erfassung von patient reported outcomes eingesetzt. Bei indirekter Veränderungsmessung kann man die Probanden in „Erfolgreiche“ und „Erfolglose“ einteilen, indem man eine kritische Schwelle der Messwertdifferenzen (minimal important difference, MID) definiert. Wegen der unvermeidlichen Messfehler kommt es zu Fehlklassifikationen. Falsch Positive und falsch Negative gleichen sich dabei in der Regel nicht aus: Liegt die MID über der durchschnittlichen Differenz, werden die Erfolge überschätzt. Liegt die MID unter der durchschnittlichen Differenz, werden die Erfolge unterschätzt. Der Fehler kann erheblich sein. Unter den Annahmen der klassischen Testtheorien lässt sich der Anteil der wahren Erfolge berechnen. Es wird ein neues, einfaches Rechenverfahren vorgestellt, das messfehlerbereinigte Erfolgsquotenschätzungen vornehmen kann. Anhand von echten Daten werden die Konsequenzen des Verfahrens demonstriert. Es wird empfohlen, diese wahren Erfolge anzugeben. Dies gilt auch für Vergleiche mit Kontrollbedingungen.

Abstract

The patient reported outcome in interventional studies is often measured with questionnaires at baseline and after the intervention. A person whose difference in outcome exceeds a critical threshold (the minimal important difference, MID) is classified as a responder, otherwise as a non-responder. The generally low reliability of differences causes misclassifications. False posi­tives and false negatives usually do not cancel out: an MID above the average difference results in an overestimated proportion of responders, while an MID below the average difference results in an underestimated proportion of responders. Such misclassifications can be substantial. We introduce a new and simple method for estimating the true proportion of responders which is based on the assumptions of classical test theory. The consequences of the method are demonstrated with empirical data. It is recommended to report the estimates of true responders. This applies to settings with one study group as well as to settings with an additional control group.

• Literatur

• 1 Ferreira M, Herbert R, Ferreira P et al. A critical review of methods used to determine the smallest worthwhile effect of interventions for low back pain. J Clin Epidemiol 2012; 65: 253-261
  Google Scholar
• 2 Sloan J, Cella D, Frost M et al. Assessing clinical significance in measuring oncology patient quality of life: Introduction to the symposium, content overview, and definition of terms. Mayo Clin Proc 2002; 77: 367-370
  CrossrefPubMedGoogle Scholar
• 3 Guyatt G, Osoba D, Wu A et al. Methods to explain the clinical significance of health status measures. Mayo Clin Proc 2002; 77: 371-383
  CrossrefPubMedGoogle Scholar
• 4 Cella D, Bullinger M, Scott C et al. Group vs. individual approaches to understanding the clinical significance of differences or changes in quality of life. Mayo Clin Proc 2002; 77: 384-392
  CrossrefPubMedGoogle Scholar
• 5 Sloan J, Aaronson N, Cappelleri C et al. Assessing the clinical significance of single items relative to summated scores. Mayo Clin Proc 2002; 77: 479-487
  CrossrefPubMedGoogle Scholar
• 6 Frost M, Bonomi A, Estwing Ferrans C et al. Patient, clinician, and population perspectives on determining the clinical significance of quality-of-life scores. Mayo Clin Proc 2002; 77: 488-494
  CrossrefPubMedGoogle Scholar
• 7 Sprangers M, Moinpour C, Moynihan T et al. Assessing meaningful change in quality of life over time: A users’ guide for clinicians. Mayo Clin Proc 2002; 77: 561-571
  CrossrefPubMedGoogle Scholar
• 8 Symonds T, Berzon R, Marquis P et al. The clinical significance of quality-of-life results: Practical considerations for specific audiences. Mayo Clin Proc 2002; 77: 572-583
  CrossrefPubMedGoogle Scholar
• 9 Gatchel R, Lurie J, Mayer T. Minimal clinically important difference. Spine 2010; 35: 1739-1743
  CrossrefPubMedGoogle Scholar
• 10 Tubach F, Ravaud P, Martin-Mola E et al. Minimum clinically important improvement and patient acceptable symptom state in pain and function in rheumatoid arthritis, ankylosing spondylitis, chronic back pain, hand osteoarthritis, and hip and knee osteoarthritis: Results from a prospective multinational study. Arthritis Care Res 2012; 64: 1699-1707
  CrossrefPubMedGoogle Scholar
• 11 Walter SD, Irwig L. Estimating the number needed to treat (NNT) index when the data are subject to error. Stat Med 2001; 20: 893-906
  CrossrefPubMedGoogle Scholar
• 12 Hartung J, Elpelt B, Klösener KH. Statistik: Lehr- und Handbuch der angewandten Statistik. München: Oldenbourg; 1982
  Google Scholar
• 13 Rogosa D, Brandt D, Zimowski M. A growth curve approach to the measurement of change. Psychological Bulletin 1982; 92: 726-748
  CrossrefPubMedGoogle Scholar
• 14 Morfeld M, Möller J, Fox M et al. Kognitiv-verhaltenstherapeutische Intervention während der stationären Anschlussrehabilitation – Programmatik und Wirksamkeit. In: Deck R, Raspe H, Koch U. Hrsg Rehawissenschaftliche Forschung in Norddeutschland. Norddeutscher Verbund für Rehabilitationsforschung. Ergebnis sechsjähriger Forschungsarbeit. Lage: Jacobs Verlag; 2007: 91-118
  Google Scholar
• 15 Jensen M. The validity and reliability of pain measures in adults with cancer. J Pain 2003; 4: 2-21
  CrossrefPubMedGoogle Scholar
• 16 Ostelo R, Deyo R, Stratford P et al. Interpreting change scores for pain and functional status in low back pain. Towards international consensus regarding minimal important change. Spine 2008; 33: 90-94
  CrossrefPubMedGoogle Scholar
• 17 Dworkin R, Turk D, Wyrwich K et al. Interpreting the clinical importance of treatment outcomes in chronic pain clinical trials: IMMPACT recommendations. J Pain 2008; 9: 105-121
  CrossrefPubMedGoogle Scholar
• 18 Mesrian A, Neubauer E, Schiltenwolf M. Gutes Therapieergebnis nach Behandlung chronischer Rückenschmerzen. Wie viel Schmerzreduktion ist klinisch relevant?. Schmerz 2007; 21: 212-217
  Google Scholar
• 19 Hüppe A, Glaser-Möller N, Raspe H. Trägerübergreifendes Projekt zur Früherkennung von Rehabilitationsbedarf bei Versicherten mit muskuloskelettalen Beschwerden durch Auswertung von Arbeitsunfähigkeitsdaten: Ergebnisse einer randomisierten, kontrollierten Evalua­tionsstudie. Gesundheitswesen 2006; 68: 347-356
  Article in Thieme ConnectPubMedGoogle Scholar
• 20 Kohlmann T, Raspe H. Der Funktionsfragebogen Hannover zur alltagsnahem Diagnostik der Funktionsbeeinträchtigung durch Rückenschmerzen (FFbH-R). Rehabilitation 1996; 35: I-VIII
  PubMedGoogle Scholar
• 21 Raspe H, Hagedorn U, Kohlmann T et al. Der Funktionsfragebogen Hannover (FFbH): Ein Instrument zur Funktionsdiagnostik bei polyartikulären Gelenkerkrankungen. In: Siegrist J. Hrsg Wohnortnahe Betreuung Rheumakranker. Stuttgart: Schattauer; 1990: 164-182
  Google Scholar