Vergleich zweier Messmethoden: Bland-Altman-Analysen
Vergleich zweier Messmethoden: Bland-Altman-Analysen
In der klinischen Forschung ist es häufig wichtig, den Grad der Übereinstimmung zwischen zwei Messmethoden (die den gleichen Parameter messen sollen) zu ermitteln, zum Beispiel um zu entscheiden, ob man eine Messmethode durch eine andere ersetzen kann oder zur Evaluation einer neuen, alternativen Messmethode.
Die richtige Methode zur Ermittlung und Bewertung der Übereinstimmung ist allerdings oft nicht direkt ersichtlich und häufig wird dafür eine Korrelations- oder Regressionsanalyse herangezogen. Warum das nicht der optimale Weg ist und was du stattdessen tun solltest erklären wir dir in diesem kurzen Artikel.
Ein einfaches Beispiel
Angenommen, du möchtest die Übereinstimmung zwischen zwei Messmethoden zur Messung des Blutzuckers ermitteln und hast dafür bei n = 100 Patienten, jeweils mit beiden Methoden, den Blutzucker gemessen.
Du hast also insgesamt 100 Datenpaare, nämlich für jeden Patienten eine Messung mit Methode 1 und eine Messung mit Methode 2.
Korrelation und Regression
Der einfachste Weg der Darstellung der so erhobenen Daten ist eine Punktwolke, in der für jeden Patienten der Wert von Methode 1 gegen den Wert von Methode 2 abgetragen ist.
Zusätzlich kann man die Korrelation zwischen beiden Methoden bestimmen und die zugehörige Regressionsgerade in die Punktwolke einzeichnen. Wie du sicher schon weißt erfasst die Korrelation den linearen Zusammenhang zwischen zwei Variablen und liegt stets zwischen -1 und +1, wobei -1 für einen perfekten negativen und +1 für einen perfekten positiven linearen Zusammenhang steht.
Falls du vorher noch nie etwas von der Korrelation gehört haben solltest oder deine Kenntnisse kurz auffrischen möchtest, schau doch einfach mal in unseren Blog-Artikel zu diesem Thema .
Die folgende Graphik zeigt die Punktwolke für unser (fiktives) Beispiel mit Regressionsgerade und Korrelationskoeffizient r.
Wie du sehen kannst, liegt eine nahezu perfekte positive Korrelation vor (r > 0.99), was sich graphisch auch dadurch ablesen lässt, dass sämtliche Datenpunkte nur minimal von der Regressionsgerade abweichen (bei einer perfekten Korrelation würden sämtliche Punkte auf der Geraden liegen).
Ist das nun ein Beleg dafür, dass beide Methoden zur Messung des Blutzuckers übereinstimmen? Oder anders: Ist es letztendlich egal, ob du Methode 1 oder Methode 2 zur Messung verwendest, da beide zu dem (annähernd) gleichen Ergebnis führen? Um diese Fragen zu beantworten wollen wir nun einen anderen Blick auf unsere Daten werfen.
Die Analyse von Unterschieden: Die Bland-Altman-Methode
Die grundsätzliche Idee der Bland-Altman-Methode ist, zur Beurteilung der Übereinstimmung zwischen zwei Messmethoden statt der Korrelation der Messwerte die Differenzen zwischen beiden Methoden zu analysieren. In unserem Beispiel heißt das also, dass wir für jeden der 100 untersuchten Patienten den Unterschied in der Blutzuckermessung zwischen Methode 1 und Methode 2 (Wert aus Methode 1 minus Wert aus Methode 2) bestimmen.
Wenn beide Methoden wirklich exakt gleich messen würden, dann sollten diese Differenzen alle 0 betragen. Der Mittelwert dieser Abweichungen lässt sich dann dazu nutzen, um die Unterschiedlichkeit beider Methoden in einem Maß auszudrücken.
Im Kontext von Bland-Altman-Analysen wird dieser Mittelwert auch der Bias genannt. Ist der Bias größer als 0, dann fallen die mit Methode 1 erhobenen Werte im Schnitt größer aus als die mit Methode 2 erhobenen. Ist der Bias kleiner als 0, dann fallen die mit Methode 1 erhobenen Werte im Schnitt kleiner aus. Für diesen Bias lassen sich dann auch Konfidenzintervalle berechnen und ein Signifikanztest durchführen, der testet, ob der Bias auf Populationsebene signifikant verschieden von 0 ist.
Außerdem werden im Rahmen von Bland-Altman-Analysen die sogenannten limits of agreement (Übereinstimmungsgrenzen) zwischen beiden Methoden berechnet. Diese sind gegeben durch den ermittelten Bias ± 1.96 mal der Standardabweichung der Differenzen zwischen beiden Methoden. Du kannst dir die Übereinstimmungsgrenzen so vorstellen, dass sich (auf Populationsebene) 95% aller Differenzen zwischen Methode 1 und Methode 2 innerhalb dieser Grenzen befinden.
Während sich anhand des Bias also ablesen lässt, wie groß die systematische Abweichung zwischen beiden Methoden ausfällt, gibt die Breite der limits of agreement also an, wie stark die Differenzen um diesen Bias streuen. Beide Größen solltest du zur Beurteilung der Übereinstimmung zwischen beiden Methoden heranziehen. Statistische Voraussetzung für den Signifikanztest und eine sinnvolle Berechnung der Übereinstimmungsgrenzen ist (wie so häufig), dass die Differenzen zwischen beiden Methoden aus einer Normalverteilung stammen.
Bland-Altman-Plots
Die Ergebnisse von Bland-Altman-Analysen werden üblicherweise in einer Graphik, dem Bland-Altman-Plot, zusammengefasst. Für jeden Patienten bzw. jede Messung ist auf der y-Achse die Differenz zwischen den beiden Methoden abgetragen und auf der x-Achse der Mittelwert der beiden Messungen. Außerdem sind der Bias sowie die Übereinstimmungsgrenzen abgetragen, meist mit dem jeweils zugehörigem 95%-Konfidenzintervall.
Die folgende Graphik zeigt den Bland-Altman-Plot für unser Beispiel.
Du kannst hier sofort sehen, welchen Vorteil die Bland-Altman-Methode im Vergleich zur Korrelations- oder Regressionsanalyse bietet. Der Bias in unserem Beispiel beträgt 1.22, was also bedeutet, dass die mit Methode 1 gemessenen Werte im Durchschnitt um 1.22 Einheiten größer ausfallen als die mit Methode 2 gemessenen. Dieser Bias ist signifikant (p < .05) verschieden von 0, was sich in der Graphik daran ablesen lässt, dass das 95%-Konfidenzintervall des Bias die von der 0 ausgehende durchgezogene Linie nicht enthält. Das untere Übereinstimmungsgrenze liegt bei etwa -0.45 und die obere bei etwa 2.89.
Interpretation
Die Bland-Altman-Methode zeigt für unser Beispiel also eine systematische Abweichung zwischen den beiden Methoden zur Messung des Blutzuckers, die sich in keiner Weise anhand der (fast perfekten) Korrelation bzw. der Punktwolke mit Regressionsgerade ablesen lässt. Außerdem lässt sich über die beiden Übereinstimmungsgrenzen feststellen, dass sich der Großteil der Abweichungen der Messwerte zwischen beiden Methoden in einem Intervall von etwa 2.3 Einheiten bewegt. Soweit die rein statistische Seite.
Ob diese über die Bland-Altman-Methode ermittelten Größen in der Praxis für eine „gute“ oder „schlechte“ Übereinstimmung zwischen beiden Methoden sprechen und welche praktischen Konsequenzen daraus gezogen werden sollten sind allerdings Fragen, die sich allein über zusätzliche biologische oder klinisch-inhaltliche Überlegungen beantworten lassen. Klar: Wenn der Bias und das durch die limits of agreement gegebene „Übereinstimmungsintervall“ beide 0 wären, dann läge eine perfekte Übereinstimmung zwischen beiden Methoden vor. Aber das wird in der Praxis wohl nie vorkommen. Aber ab wann der Bias bzw. das Übereinstimmungsintervall „zu groß“ bzw. eben die Übereinstimmung „zu gering“ ist, ist keine statistische Frage, sondern eine klinisch-inhaltliche, die eben auch nach klinisch-inhaltlichen Kriterien bewertet werden muss. Idealerweise legst du daher schon vor deiner Untersuchung fest, wie groß der Bias und das Übereinstimmungsintervall maximal sein sollten, um noch akzeptabel zu sein.
Worauf du noch achten solltest: Systematische Trends in den Abweichungen
Wie so oft in der Statistik ist es auch bei Bland-Altman-Analysen enorm wichtig, die relevanten Parameter wie etwa den Bias nicht bloß zu berechnen, sondern sich die Daten auch graphisch anhand des Bland-Altman-Plots zu veranschaulichen. Ansonsten kann es passieren, dass dir relevante Aspekte deiner Analysen verlorengehen. Beispielsweise kann es sein, dass systematische Trends in den Abweichungen zwischen Methode 1 und Methode 2 vorliegen, obwohl insgesamt kein Bias vorliegt. Was ist damit gemeint? Schauen wir uns ein neues Beispiel und zunächst wieder die zugehörige Punktwolke mit Regressionsgerade an.
Auch hier liegt wieder eine fast perfekte Korrelation (r > 0.99) zwischen den mit Methode 1 und den mit Methode 2 gemessenen Blutzuckerwerten vor. Wie sieht für dieses Beispiel der Bland-Altman-Plot aus?
Wie du sehen kannst liegt hier kein Bias vor. Was aber auffällt ist, dass bei (mittleren) Messwerten bis etwa 100 die Differenzen tendenziell positiv sind (also Methode 1 größere Werte liefert als Methode 2), bei Messwerten über 100 jedoch die Differenzen tendenziell negativ sind (also Methode 1 kleinere Werte liefert als Methode 2). Was bedeutet das inhaltlich?
Wenn man über den gesamten Messbereich hinweg den Mittelwert der Differenzen zwischen beiden Methoden betrachtet, dann ist dieser zwar insgesamt Null, es liegt aber ein sogenannter proportional bias vor, den du auf jeden Fall ebenfalls zur Beurteilung der Übereinstimmung der beiden Methoden heranziehen solltest. Im „unteren Wertebereich“ bringt Methode 1 systematisch größere Werte als Methode 2 und im „oberen Wertebereich“ verhält es sich genau umgekehrt. Dieser in diesem Beispiel vorliegende proportional bias wird deutlicher, wenn man die zu den Abweichungen zugehörige Regressionsgerade zusätzlich in den Bland-Altman-Plot einzeichnet.
Es kann also auch eine variable Übereinstimmung zwischen beiden Methoden in Abhängigkeit des Wertebereichs vorliegen, was aber nur durch eine graphische Analyse mittels des Bland-Altman-Plots erkennbar wird.
Zusammenfassung
Möchtest du die Übereinstimmung zwischen zwei Messmethoden evaluieren, dann kann eine Korrelations- oder Regressionsanalyse ungeeignet und irreführend sein. Die Bland-Altman-Methode der Analyse von Unterschieden bzw. der zugehörige Bland-Altman-Plot ist ein einfaches und intuitiv nachvollziehbares Verfahren, um systematische Abweichungen zwischen beiden Methoden festzustellen und zu quantifizieren.
Du solltest dabei folgendermaßen vorgehen:
- Berechne die Differenzen und den Mittelwert pro Messung.
- Überprüfe, ob diese Differenzen normalverteilt sind (graphische Analyse und/oder statistischer Test).
- Berechne den Bias und die Übereinstimmungsgrenzen (limits of agreement).
- Erstelle den Bland-Altman-Plot.
- Überprüfe anhand des Plots, ob ggf. ein systematischer Trend (proportional bias) in den Abweichungen vorliegt.
- Interpretation der Ergebnisse anhand biologischer und/oder klinisch-inhaltlicher Kriterien.
Die Schritte (1) bis (4) musst du natürlich nicht „per Hand“ machen, das lässt sich ganz komfortabel in R durchführen. Wie so oft in der Statistik ist der letzte Schritt, also die inhaltliche Interpretation, am wichtigsten und häufig auch am schwierigsten.
Ob der Bias und die Übereinstimmungsgrenzen aus klinischer Sicht noch akzeptabel sind oder nicht, darüber gibt die Bland-Altman-Methode keine Auskunft. Idealerweise hast du bereits vor den Analysen anhand inhaltlicher Kriterien festgelegt, wie groß Bias und Übereinstimmungsgrenzen für deine Zwecke maximal sein dürfen.