Propensity Score Matching – oder von der Kunst, den richtigen Partner zu finden

Propensity Score Matching – oder von der Kunst, den richtigen Partner zu finden

Fast jeder forschende Arzt kennt das Dilemma: Eine neue, schonende Therapieform soll mit der konservativen Standardtherapie verglichen werden. Hätte man viel Geld und noch mehr Zeit und wäre man zuversichtlich, dass beide Therapien mindestens gleich gut funktionieren, dann hätte man eine kontrolliert randomisierte Patientenstudie geplant und über Jahre geduldig Daten gesammelt.

Bei jedem Patienten wäre per Zufall entschieden worden, welche Therapie er bekommt, und nach Erreichen einer wunderbar hohen Fallzahl hätte die Auswertung ergeben, dass das neue, schonende Therapieverfahren genauso wirksam ist (nein wirksamer!) – bei deutlich weniger Nebenwirkungen.

 

Leider haben Mediziner aber wenig Zeit und nutzen daher, was an Daten zur Verfügung steht.

 

Also werden die Akten der letzten Jahre durchsucht und alle Fälle entnommen, die entweder Therapie A oder B bekommen haben, und diese dann statistisch miteinander verglichen.
Die Fallzahl ist auch hier hoch (toll!), aber bei genauerem Hinsehen fällt auf, dass die Patienten, die mit der konservativen Therapie behandelt wurden, signifikant häufiger schwerere Formen der Erkrankungen aufweisen als in der neuen, weniger erprobten Variante.
Das ist natürlich absolut verständlich, denn im Zweifelsfall geht man doch lieber auf Nummer sicher, denn das oberste Ziel ist die Heilung des Patienten!

Was sagt nun aber so eine Studie aus? Kann man aus einem positiven Ergebnis ableiten, dass die schonende Therapieform besser ist? Leider nein, denn der Schweregrade der Erkrankung hat hier mit hoher Wahrscheinlichkeit einen Einfluss auf die abhängige Variable, mit der gemessen werden soll, welche Therapieform besser ist. Solche störenden Variablen werden auch konfundierende Variablen genannt und werden spätestens bei der zukünftigen Veröffentlichung ein Problem.

 

Was also tun? Alle Daten wegschmeißen?

 

Eine Lösung wäre es, sich beide Datensätze ganz genau anzusehen und zwischen beiden Gruppen Paare zu bilden, die sich möglichst ähnlich sind. Merkmale, die dabei eine Rolle spielen könnten, wären z. B. das Alter oder das Geschlecht, aber insbesondere alle Merkmale, die die Krankheit und ihre Risikofaktoren bestimmen und somit einen Einfluss auf den Erfolg der Therapie haben könnten. Wenn man ein paar dieser Merkmale durchsucht hat, wird schnell klar, dass es fast unmöglich ist, ausreichend viele Paare in einem annehmbaren Zeitraum zu finden.

 

Aber zum Glück hat die Statistik auch hier eine Lösung entwickelt: das Propensity Score Matching!

 

Mit dieser Methode werden alle zu matchenden Variablen in einem Wert zusammengefasst, der dann dazu genutzt wird, möglichst viele Paare zu finden, die sich sehr ähnlich sind. Das ermöglicht einen direkten Gruppenvergleich, der nicht mehr unter dem Einfluss der konfundierenden Variablen steht. Das Ergebnis wird dann also wirklich von der verabreichten Therapieform bestimmt und nicht mehr von der Störvariable.

Aber wie funktioniert das? Das Propensity Score Matching (PSM) ist mittlerweile in vielen Statistikprogrammen implementiert. Ich möchte hier aber speziell den Ansatz von Felix Thoemmes (Thoemmes, 2012) vorstellen. SPSS hat zwar auch eine eigene Variante, aber das SPSS-Plug-in von Thoemmes läuft mit weniger Fehlern und erlaubt eine bessere Einschätzung zur Güte des Matchings.

Um damit zu arbeiten, müssen zuerst das kostenlose Datenanalyseprogramm R installiert, drei Pakete in R aktiviert sowie ein SPSS-Plug-in geladen werden. Das ist vielleicht zuerst ein bisschen mühsam, aber es lohnt sich und muss auch nur einmal erledigt werden. Eine gute Anleitung gibt es auch bei Thoemmes et al. (2012), unter Appendix A.

 

Wie funktioniert Propensity Score Matching?

 

Zuallererst muss für jeden Patienten ein Propensity Score (PS) errechnet werden, der alle zu matchenden Merkmale vereint. Dazu wird im ersten Schritt eine logistische Regression gerechnet, in der alle Merkmale als Covariaten eingehen und die Therapieform die dichotome abhängige Variable darstellt. Der dabei entstehende Propensity Score (PS) ist dabei definiert als die Wahrscheinlichkeit, mit der ein Patient die zu prüfende Therapie erhält.

Im zweiten Schritt werden dann möglichst viele Paare zwischen beiden Gruppen gematcht, indem genau die Patienten gesucht werden, deren PS sehr ähnlich ist. Dazu wird bei Thoemmes et al. (2012) das Nearest-Neighbour-Verfahren angewendet. Doch wie ähnlich ist ähnlich genug? Um das zu bestimmen, kann ein sogenannter Caliper festgelegt werden, der die maximal erlaubte Differenz zwischen zwei Patienten definiert. Je größer der Caliper, desto mehr Paare finden sich, aber desto schlechter wird das Matching. SPSS hat als Standardeinstellung 0.2 gewählt, Thoemmes et al. (2012) schlagen 0.15 vor. Es ist sinnvoll, den Wert zu variieren und zu schauen, wie gut das anschließende Matching klappt.

Das PSM resultiert in einem neuen Datenfile, in dem alle gematchten Patienten eingefügt werden. Das ist super, denn alle zukünftigen Analysen können jetzt problemlos mit diesem File ausgeführt werden. Stellt euch vor, die Paare hätten per Hand exportiert werden müssen – ein Alptraum!

Zusätzlich erstellt SPSS in der Ausgabe eine Auflistung von Tests und Grafiken, die helfen sollen, zu bestimmen, ob das Matching zu zwei Subpopulationen geführt hat, die sich wirklich nicht mehr bzgl. der Covariaten unterscheiden. Es wird also die Güte des Matchings beschrieben.

Zu diesen Tests gehören bspw. der Overall-Balance-Test sowie ein Maß für die relative multivariate Imbalance und eine Aufzählung der (hoffentlich) wenigen unbalancierten Covariaten. Je weniger unbalancierte Covariaten es gibt, desto besser ist das Matching. Hier kann man schauen, ob ein kleinerer Caliper weniger unbalancierte Variablen zur Folge hat.

Es werden außerdem Verteilungsdiagramme der Propensity Scores erstellt, mit deren Hilfe visuell beurteilt werden kann, ob sich beide Gruppen durch das Matching ähnlicher geworden sind.

 

Hat alles geklappt, kann mit den eigentlich in der Studie interessierenden Fragen begonnen werden: Inwiefern unterscheiden sich die beiden Therapieformen bzgl. ihrer primären und sekundären Endpunkte? Und diesmal könnt ihr diese Frage beantworten, ohne über Störvariablen zu stolpern!

 

Fazit:

 

Das von Thoemmes et al. (2012) entwickelte SPSS-Plug-in ist zwar anfänglich ein bisschen umständlich zu installieren, bietet aber sehr viele Möglichkeiten, um zwei unterschiedliche Gruppen bzgl. ihrer Merkmale anzugleichen.

 

Wichtig!

 

  1. Es können nur bekannte Störvariablen berücksichtigt werden. Unbekannte und mit anderen Covariaten unkorrelierte Störvariablen können ihren negativen Einfluss weiterhin ausüben. Daher überlegt euch ganz genau, welche Variablen einen Einfluss haben können, und nehmt diese in die logistische Regression auf!
  2. Fehlende Fälle sind für jede Toolbox ein Problem, da sie dazu führen, dass die entsprechenden Probanden nicht berücksichtigt werden. Versucht also, alle Lücken durch eine gute Recherche zu schließen. So erhaltet ihr euch auch nach dem Matching eine ausreichend große Gruppengröße!

 

Literatur:

Thoemmes, F. (2012). Propensity score matching in SPSS. arXiv.org, (January), 30. Retrieved from http://arxiv.org/abs/1201.6385

 

 

Trage dich hier zu Dr. Ortmanns beste Maildizin ein und erhalte neben Tipps und Coachinginhalten für deine medizinische Promotion einen 10 % Gutschein auf für unsere Produkte im Onlineshop!

Sie benötigen Hilfe bei der Durchführung eines Propensity Score Matchings? Kontaktieren Sie mich gerne!

10 + 2 =

10 Dinge, die ich gerne vor Beginn meiner empirischen Doktorarbeit gewusst hätte!

10 Dinge, die ich gerne vor Beginn meiner empirischen Doktorarbeit gewusst hätte!

Deine Doktorarbeit steht an und du möchtest von Anfang an Fehler vermeiden? In diesem Artikel zeige ich dir wie du das schaffen kannst!

1. Schreib über ein Thema, das dich wirklich interessiert!

Eine empirische Dissertation dauert – wenn es richtig gut läuft – 2 Jahre. Viel wahrscheinlicher ist es aber, dass du 3 bis 4 Jahre mit demselben Thema verbringen wirst. Das wird selbst für Leute, die für die Forschung geboren sind, irgendwann langweilig. Zu promovieren bedeutet, sich intensiv mit ein paar kleinen Details zu befassen und diese in bis zu drei Studien zu untersuchen. Du wirst dich also seehr, seeehr, seeeehr lange mit ein und derselben Sache beschäftigen. Das hält nur durch, wer für sich wirklich für ein Thema interessiert (oder einen Hang zu Selbstquälerei hat).

 

2. Eine kumulative Dissertation spart Zeit (äh nein).

Viele Fakultäten bieten heutzutage die kumulative Dissertation an. Man schreibt dabei bis zu drei Paper für Fachzeitschriften und spart sich die 200-seitige Monografie. Was sich im ersten Moment sehr gut anhört (90 vs. 200 Seiten, das geht doch eindeutig schneller), kann sich im Endeffekt als Trugschluss herausstellen, denn auf die Details der Promotionsordnung kommt es an!

Ein Paper zu veröffentlichen, dauert durch den Reviewprozess sehr lange und beinhaltet oft mehrere Überarbeitungsrunden. So muss man bis zum einem Jahr extra Zeit einplanen, bis die Publikation wirklich akzeptiert wird. Diese Zeit muss durch Drittmittel abgedeckt sein, denn irgendwie musst du deine Miete ja bezahlen. Schau dir zu Beginn also genau an, was in der Promotionsordnung steht:

Wie viele Paper müssen akzeptiert sein, bevor du abgeben darfst, und wie viele müssen nur „veröffentlichungsfähig“ sein? Diese Paper müssen dann qualitativ so ausgereift sein, dass sie einem Fachjournal zugeschickt werden können, müssen aber noch nicht akzeptiert sein – ein Unterschied von bis zu einem Jahr!

 

3. Mach einen Vertrag mit deinem Doktorvater.

Let’s face it – sobald du deinen Vertrag unterschrieben hast, bist du der Arbeitssklave deines Chefs (und nein, Frauen sind als Betreuer auch nicht besser). Ich habe diverse Male erlebt, dass Doktoranden mit immer neuen Aufgaben überrascht wurden, die sie unbedingt noch schnell erledigen müssen, aber dann, ja dann dürften sie ganz sicher alles zusammenschreiben und abgeben. Bei nicht wenigen ist dieser Tag nie gekommen, denn irgendwann waren die Drittmittel weg und die Diss noch sehr weit entfernt davon, als dickes Buch im Wandschrank zu glänzen.

Um dem vorzubeugen, ist es extrem wichtig, vor Beginn der Promotion in einem Exposé zusammenzufassen, was untersucht werden soll und wie viele Studien und Publikationen damit verbunden sind. Das Ganze wird noch rechtssicherer, wenn eine Promotionsvereinbarung verfasst und vom Doktoranden, dem Betreuer und dem Promotionsbüro der jeweiligen Fakultät unterschrieben wird. So kann man am Ende auf die Vereinbarung verweisen und ist auf der sicheren Seite (und eines Tages ist Dobby, der Labor-Elf frei, juhuu!).

 

4. Ich habe Geld für 3 Jahre, Füße hoch!

Du hast dein Traumthema gefunden, jemand hat dir einen Dreijahresvertrag gegeben; die wahnsinnig spannenden Forschungskolloquien und die coolen, superteuren Messgeräte im Labor geben dir das Gefühl, dass du erstmal alles in Ruhe entdecken musst. Das stimmt und Neugier ist eine richtig gute Sache, denn wer die nicht hat, passt auch nicht in die Forschung – ABER: Im Studium hatte alles eine unheimlich hohe Taktzahl an Aufgaben, die man recht schnell abarbeiten konnte. Forschung ist anders, denn hier dauert alles unheimlich lange.

Ein tragfähiges Forschungsparadigma zu entwickeln – braucht lange. Eine Messung aufzubauen – braucht lange. Datenanalyse – braucht lange. Und ein Manuskript zu schreiben und durch den Reviewprozess zu kriegen – dauert richtig, richtig, richtig lange. Es ist also enorm wichtig, von Beginn an auf die Tube zu drücken. Das heißt nicht, dass du nicht alle spannenden Angebote mitnehmen sollst, die dir deine Forschungsgruppe bietet. Aber anstatt spät in den Tag zu starten und gegen vier nach Hause zu gehen (ja ich weiß, dass du nur eine 65 %-Stelle hast), richtest du dir besser ab dem ersten Tag eine feste Arbeitsroutine ein.

Starte um 9 und gehe um 18 Uhr nach Hause. Halte die Mittagspause ein, aber gehe nicht noch 3x ins Nachbarbüro und trinke einen Kaffee mit Kollegen, auch wenn der Kopf raucht. Hab immer im Kopf, dass dein Geld irgendwann weg ist – und eine Diss im Postdoc oder in einer Firma zu Ende zu schreiben, bedeutet viele Nacht- und Wochenendschichten. Glaub mir, ich weiß, wovon ich rede.

 

5. Setz dich nicht unter Druck – du lernst noch!

Als ich gerade meine Diplomarbeit in der Hirnforschung beendet hatte und noch nicht in mein neues Labor nach Münster gewechselt bin, war es meine Aufgabe, die neuen Diplomanden und Hiwis in die Matlab-Auswertung einzuführen. Ich habe mich dabei wahnsinnig unter Druck gesetzt. Aus irgendeinem Grund war ich der Meinung, mit dem Diplom in der Tasche und als Quasidoktorand allwissend sein zu müssen – was für ein Blödsinn!

Als Doktorand hast du durch die Masterarbeit zwar schon eine eigenständige Forschungsarbeit erledigt, aber eigentlich fängt dein Weg als Forscher erst jetzt richtig an. Du wirst deine Projekte von der Pike auf selbst entwickeln, sie werden deine Handschrift tragen und in allen Einzelheiten von dir bearbeitet werden – und das ist richtig schwierig!

Dementsprechend ist es auch ganz normal, wenn du dafür Zeit und Anregungen brauchst. Dafür ist dein Promotionsbetreuer da! Lass dir die Zeit, dich in die Literatur und die Methodik einzulesen – so bekommst du das feste Wissens- und Fähigkeitsfundament, das dich später, nach vielen, vielen Jahren als Wissenschaftler, wie der allwissende Held der Forschung aussehen lässt für die du deine Chefs hältst.

Wenn du täglich einen 9-Stunden-Tag an der Uni einplanst, solltest genug Zeit haben, dir dein Expertenwissen aufzubauen. Also relax, take your time and become the master of the universe!

 

6. Such dir ein Stipendium!

Sein eigenes Ding durchzuziehen und eine tolle Doktorarbeit zu schreiben, ist möglich! Dafür braucht man aber sehr viel Geld – zumindest um den eigenen Lebensunterhalt während der gesamten Promotion zu bestreiten.

Als ich im letzten Semester meines Studiums war, habe ich lange überlegt, wie es weiter gehen könnte. Ich wollte unbedingt in die Forschung. Also habe ich mir viele Stellenausschreibungen angesehen, mich beworben und hatte letztendlich ein Stellenangebot vom Max-Planck-Institut in der Tasche. Trotzdem wurde ich immer unruhiger, da ich seit einiger Zeit die Idee hatte, mein eigenes Forschungsprojekt zum Thema Kortikale Plastizität zu entwickeln.

Bei der Entscheidung hat mir damals mein Diplomarbeitsbetreuer geholfen: Es wird immer (mehr oder weniger) passende Stellenangebote geben, aber eine gute Idee gibt es nur einmal! Also habe ich dem MPI abgesagt, mich auf ein Stipendium beworben, die Auswahltagung mitgemacht, zeitgleich (grenzdebil-optimistisch) eine Wohnung in Münster angemietet und meine ganze Zukunft auf eine Karte gesetzt.

Super riskant, aber es hat sich gelohnt! Als die Zusage kam, hatte ich meine eigenen Personalmittel für 3 Jahre, Reisegelder, inhaltliche Unabhängigkeit und ein Projekt, das mich 4 Jahre lang auch durch die Frustrationstäler der Dissertation getragen hat.

 

7. Du wirst nicht CRISPR-Cas9 entdecken.

Zumindest ist es sehr, sehr unwahrscheinlich. Natürlich startet jeder Doktorand mit dem Ziel, einen riesigen Komplex an neuen Erkenntnissen zu erarbeiten (am besten gleich im ersten Paper). Das Problem dabei ist – ihr seid keine Senior Researcher – selbst wenn ihr eine unglaubliche Entdeckung machen würdet: die anderen Forscher werden euch das Ganze höchstwahrscheinlich nicht abkaufen.

In den unzähligen Kolloquien, in denen ich war, habe ich eine Beobachtung gemacht: Je älter und erfahrener ein Forscher war, desto weniger Details standen in den Vorträgen auf den Folien. Diese Forscher haben über Jahrzehnte hinweg unzählige Studien durchgeführt, jede Studie hat ein Minidetail eines Forschungsfeldes bearbeitet und diese riesige Menge an Details, das ist das Knallerergebnis, das man sich wünscht.

Daher ist es ganz normal, wenn man kleine (sehr kleine) Brötchen pro Studie backt – erst ihre Gesamtheit ist der bahnbrechende Fortschritt.

 

8. Forschung ist ergebnisoffen.

Im Studium wird alles bewertet. Jede Hausarbeit, jede Klausur, jeder Vortrag bekommt eine Note und somit ein richtig oder falsch. Darin unterscheidet sich das Studium ganz grundlegend von der Promotion. Von nun an wirst du ergebnisoffen arbeiten. Du wirst basierend auf der bisherigen Literatur Hypothesen generieren, du wirst Daten erheben und auswerten und ein Paper schreiben, das argumentativ so aufgebaut ist, dass deine Hypothesen bestätigt werden.

Aber letztendlich muss dir klar sein, dass es von nun an kein richtig oder falsch mehr gibt. Vielleicht stellt sich schon während der Datenanalyse heraus, dass es sich ganz anders verhält, als du dir das gedacht hast. Vielleicht bestätigen deine Messungen auch deine initialen Hypothesen und irgendein Reviewer sagt dir dann, dass du trotzdem einen ganz wichtigen Aspekt in deinem Paradigma nicht beachtet hast und allein deshalb schon alles ganz anders sein kann. Und das Schlimme ist – vielleicht hat er Recht, vielleicht auch nicht.

Nur eine große Anzahl von Studien, durchgeführt von vielen verschiedenen Forschergruppen, schafft letztendlich Gewissheit. Was aber immer hilft, um Vertrauen in die eigenen Ergebnisse zu haben: Methodisch sauberes Arbeiten. Erstellt gute Studiendesigns, messt genug Leute und wertet ohne inneren Bias aus (und zwar alle Probanden und nicht nur die, die das entsprechende Ergebnis liefern – alles schon erlebt).

 

9. Lies, was dir Spaß macht.

Ich gebe es ehrlich zu, Promotionsthemen sind auf Dauer ein bisschen öde. Man beschäftigt sich sehr lange mit dem gleichen Thema. Dummerweise hat man aber nicht allzu viel Zeit, um sich parallel zum Generalisten ausbilden zu lassen, sondern steckt ziemlich viel Energie in diese eine Arbeit.

Mein Doktorvater hat mir damals einen sehr guten Tipp gegeben: „Wenn du in der Forschung bleiben willst, musst du das hier wahrscheinlich 40 Jahre lang durchhalten (sowohl die Arbeitsbelastung als auch die streckenweise thematische Einöde). Also lies immer parallel irgendein Buch, das dir Spaß macht und möglichst wenig mit deinem eigenem Thema zu tun hat.“ Das war der Tipp meines Lebens!

Ich habe mich damals in die Bücher von Oliver Sacks verliebt und später dann in die Statistikbücher von Andy Fields. (Wie letzteres kam, weiß ich auch nicht, aber wir wissen alle, wohin das geführt hat.) So oder so, sich einfach mal mit einem ganz anderen Thema zu beschäftigen, hat mir ermöglicht, neue Motivation für mein eigenes Projekt zu tanken!

 

10. Und zu guter Letzt: Du wirst durch deine Promotion nicht vermögend, aber reich an Fähigkeiten!

Was jedem Doktoranden klar sein sollte: Die Chancen, dass man durch seine Promotion später mal viel Geld verdienen wird, sind eher gering. Eine Promotion öffnet Türen, sie ist aber kein Treppenlift zu den höheren Gehaltsklassen – weder an der Uni noch in der Wirtschaft.

An der Uni erlaubt sie dir, weiter zu forschen und irgendwann eine Gruppe zu leiten, in der Wirtschaft kann es sogar schwer werden, einen Job zu bekommen, denn welcher nicht-promovierte Chef möchte gerne einen nervenden Forscher ohne Praxiserfahrung mit höherem akademischen Grad in sein Team holen (ich sage nur Kompetenzgerangel).

ABER: eine Promotion schult den eigenen Denkstil ungemein. Sie trainiert uns, Themen rational, methodisch und tiefgründig anzugehen. Ich habe in den Jahren als Doktorand und Postdoc einen – wie ich finde – ganz neuen Denkstil entwickelt, der mir hilft, Sachverhalte unheimlich schnell zu verstehen, Probleme zu strukturieren und saubere Lösungsstrategien zu entwickeln, und nicht nur das!

Durch die Promotion habe ich letztendlich den Job gefunden, der mir unendlich viel Spaß macht – und das ist wirklich unbezahlbar!

Trage dich hier zu Dr. Ortmanns beste Maildizin ein und erhalte neben Tipps und Coachinginhalten für deine medizinische Promotion einen 10 % Gutschein auf für unsere Produkte im Onlineshop!

Lade dir hier die Formelsammlung für deinen Bland-Altman-Plot herunter

Melde dich für meinen Newsletter an und erhalte sofort das PDF!

You have Successfully Subscribed!

10 % Rabatt auf unsereWorkshops & Kurse im Onlineshop!

Trage dich hier für Dr. Ortmanns beste Maildizin ein und erhalte regelmäßige Rabatte, Tipps und Coachinginhalte für deine empirische Promotion

You have Successfully Subscribed!

Lade dir hier die Checkliste für deinen Methodenteil herunter

Melde dich für meinen Newsletter an und erhalte sofort das PDF!

You have Successfully Subscribed!


Jetzt 10 % Rabatt auf alle

Workshops & Kurse sichern!

You have Successfully Subscribed!

Downloade dir hier das Flowchart für deine ANOVA

Melde dich für meinen Newsletter an und erhalte sofort das PDF!

You have Successfully Subscribed!

Lade dir hier die Vorlage für den Aufbau deines Datensatzes herunter

Melde dich für meinen Newsletter an und erhalte sofort die Excel-Vorlage!

You have Successfully Subscribed!