Die “Heinsberg-Studie” zu Covid-19: Ein weiterer Fall von unzureichendem Studiendesign?
Achim Bayer ist Professor an der japanischen Kanazawa Seiryo Universität und erlebt die Coronapandemie aus einer asiatischen Perspektive. In diesem Gastbeitrag analysiert er die “Heinsberg-Studie” zur Verbreitung des Coronavirus kritisch, vergleicht sie mit Zahlen aus Österreich und macht er konkrete Vorschläge zur Präsentation solcher Studien in den Medien.
Am 9. April haben vier Experten des Universitätsklinikums Bonn die Ergebnisse ihrer mit Spannung erwarteten Studie zur Sterblichkeitsrate von Covid-19 vorgestellt. Die Studie wurde in der Gemeinde Gangelt im Landkreis Heinsberg durchgeführt, einem der am stärksten betroffenen Gebiete Deutschlands, in dem noch erhebliche Einschränkungen bestehen. Einer der Hauptzwecke der Studie war die Ermittlung der Rate unentdeckter Infektionen mit SARS-Cov-2. Diese Rate ist entscheidend für die Bestimmung der umstrittenen Sterblichkeitsrate bei infizierten Personen.
Zur Erinnerung: Gegenwärtig wird die “Fallsterblichkeitsrate” anhand der Anzahl der Todesfälle bei Personen berechnet, die positiv auf SARS-Cov-2 getestet wurden. Es gab jedoch einige Zweifel, ob dieses Verhältnis nicht zu hoch sein könnte, wenn man bedenkt, dass einige mit SARS-Cov-2 infizierte Personen keine oder nur milde Symptome zeigen und daher keinen Testbedarf sehen.
Ein vorläufiger Bericht über die Studie wurde am 9. April veröffentlicht. Dennoch zeigt das zweiseitige Dokument einen bemerkenswerten Mangel an Zahlen und Fakten. Laut den Forschern hat der Landkreis Gangelt 12.569 Einwohner, von denen 400 Haushalte an der Studie teilnahmen. Basierend auf den Tests auf SARS-Cov-2-Antikörper in Blutproben gehen die Forscher davon aus, dass etwa 15% der Bevölkerung des Landkreises infiziert sind. Dies führt zu einer Fallsterblichkeitsrate von 0,37 Prozent. (1)
Leider bleiben wichtige Zahlen im Dokument nicht erwähnt. Unter der Annahme, dass 15% der 12.569 Einwohner infiziert sind, würde dies zu einer absoluten Zahl von 1.885 Fällen führen. Wenn 0,37% der 1.885 Personen gestorben sind, führt dies zu der Schlussfolgerung (oder besser gesagt zur Vermutung), dass es etwa 7 Todesfälle gab. Darüber hinaus berichten die Forscher, dass 600 Haushalte zufällig ausgewählt und zur Teilnahme an der Studie aufgefordert wurden, aber nur 400 (die genaue Anzahl der Personen bleibt unerwähnt). Da 400 nur zwei Drittel der zufällig ausgewählten Gruppe sind, kann gefragt werden, ob die Motivation zur Teilnahme an der Studie möglicherweise nicht auf weniger zufälligen Gründen beruht. Zum Beispiel kann es sein, dass Menschen, die die Krankheit bereits durchgemacht haben, weniger Angst haben, SARS-Cov-2 vom Forschungsteam zu bekommen.
Es ist weiterhin bemerkenswert, dass die Forscher die Anzahl früher bekannter Fälle oder die angenommene Sterblichkeitsrate vor Durchführung dieser Studie nicht erwähnen. Da eines der Hauptziele der Studie darin bestand, den Prozentsatz der bisher unentdeckten Fälle zu ermitteln, ist das Schweigen der Forscher zu diesem Punkt ziemlich beunruhigend.
Erwähnenswert ist hier, dass eine weitere randomisierte Studie in Österreich durchgeführt wurde. In diesem Fall wurden 2.000 zufällig ausgewählte Kandidaten unter 9 Millionen Österreichern kontaktiert, und 1.544 stimmten der Teilnahme zu. Hier wurden nur Speichelproben entnommen, die die akute Krankheit Covid-19 nachweisen können. Da (vor der Studie) angenommen wurde, dass nur etwa 9.000 von 9 Millionen Österreichern derzeit Covid-19 haben, war zu erwarten, dass nur Forscher diese finden würden ein oder zwei aktive Fälle unter den 1.544 Teilnehmern. Es bestand ferner eine hohe Wahrscheinlichkeit, dass die Studie zu falschen Ergebnissen führen könnte, wenn per Zufall nicht zwei, sondern vier Personen positiv getestet wurden. Es überrascht nicht, dass die Studie zu dem Ergebnis führte, dass es in Österreich „zwischen 10.200 und 67.400“ aktive Fälle gab, höchstwahrscheinlich 28.500. (2) Diese Unsicherheiten hätten leicht vermieden werden können, wenn die Studie auf die am stärksten betroffenen Bezirke beschränkt gewesen wäre. Mit einer Testkapazität von 2.000 Teilnehmern wäre es beispielsweise möglich gewesen, 5% der Einwohner in einem Landkreis mit 40.000 Einwohnern zu testen.
Die obigen Zahlen zeigen, dass in Bezug auf das Studiendesign und die Kommunikation mit der Öffentlichkeit noch viel zu tun ist. Es ist wahrscheinlich auf die schlechte Kommunikation der Testergebnisse zurückzuführen, dass Business Insider beispielsweise berichtet, dass “nur 44 Menschen – oder 0,37% der Menschen, die im Bezirk [Heinsberg] lebten – an der Krankheit gestorben sind.” (3) 44 ist allerdings die Anzahl der Menschen, die im Bezirk Heinsberg starben (254.322 Einwohner), in dem Gangelt nur eine Gemeinde unter mehreren ist.
Angesichts der Tatsache, dass diese Fragen derzeit nicht Millionen, sondern Milliarden von Menschen bewegen, ist es ziemlich erstaunlich, dass die Wissenschaft auf eine Weise betrieben wird, die die Öffentlichkeit kaum beeindrucken wird. Nur ein Teil der oben genannten Mängel liegt in der Verantwortung der Forscher, die Experten auf ihrem Gebiet sind. Vielmehr hat man den Eindruck, dass die politischen Entscheidungsträger die entscheidende Bedeutung zuverlässiger, solider Forschungsergebnisse noch nicht erkannt haben. In einer Zeit, in der täglich Milliarden von Euro im Bruttosozialprodukt verloren gehen, wäre es wünschenswert, fortlaufend umfassende, gut geplante und gut finanzierte Forschungsprojekte durchzuführen.
Empfehlungen
Jede Präsentation von Studienergebnissen sollte mindestens einen Satz der grundlegendenden Daten enthalten:
- Gesamtzahl der zu analysierenden Personen (Kohorte). Zum Beispiel 9 Millionen Österreicher, 12.569 Einwohner von Gangelt.
- Anzahl der Proben (tatsächliche Studienteilnehmer).
- Anzahl der zufällig ausgewählten Teilnehmer, Anzahl und Prozentsatz derjenigen, die sich geweigert haben, an der Studie teilzunehmen.
- Mögliche Gründe, warum ausgewählte Probanden die Teilnahme verweigerten.
- Wahrscheinlicher Prozentsatz infizierter Personen unter denjenigen, die sich weigerten, daran teilzunehmen (grobe Schätzung).
- Wurde den Teilnehmern ein Anreiz (z. B. Geld) angeboten?
- Wenn die Tests pro Haushalt durchgeführt wurden, wurden Personen desselben Haushalts anders gezählt als allein lebende Personen? Was war der Schlüssel (/ Prozent) für diese Berechnung?
- Anzahl und Prozentsatz der Intensivpfleger.
- Anzahl und Prozentsatz der Personen, die auf der Intensivstation gestorben sind.
- Schätzung der Anzahl der nicht gemeldeten Todesfälle während der Krankheit.
- Gab es eine zeitliche Begrenzung für die Zählung von SARS-Cov-19-infizierten Personen als Covid-19-Todesfälle (z. B. 14 Tage nach dem letzten Test)?
- In wie vielen Fällen wurde die Infektion erst post mortem festgestellt?
- Inwieweit unterscheiden sich die Zahlen (Prozentsätze) der randomisierten Studie von den zuvor angenommenen Werten?
- Wie verläßlich ist die Testmethode? Sind zum Beispiel Coranavirus-Antikörper spezifisch für SARS-Cov-2 oder könnten sie ein frühere Infektion mit einem anderen Coronavirus anzeigen?
Quellen
- https://www.land.nrw/sites/default/files/asset/document/zwischenergebnis_covid19_case_study_gangelt_0.pdf?fbclid=IwAR0yUWd8BQkcgZgZlpXFKnqkyRYry-MlON_AUnbKY5T4lCYmxGLJC6ZW5GM
- https://www.meinbezirk.at/c-politik/der-berg-ist-hoeher-als-gedacht-laut-stichproben-erhebung-bis-zu-67400-infiziert_a4028091
- https://www.businessinsider.com/death-rate-german-laboratory-city-5x-less-than-national-average-2020-4?op=1
Hinweis: Titelgrafik: MiroslavaChrienova auf Pixabay.com
Wenn in der Berichterstattung über eine Studie nicht einmal klar wird worauf sich die Zahlen beziehen und was genau die Fragestellung der Studie war, dann ist solch eine Berichterstattung sogar schädlich.
Ich sehe ein grosses Problem von Covid-19 Durchseuchungsstudien: Im Landesdurchschnitt sind die Fallzahlen so gering, dass für ein ganzes Land eher 10‘000 ende anstatt nur ein paar 1000 teilnehmen müssten zumal die Virustests selber eine gewisse Fehlerquote mit sich bringen.
So gesehen ist Heinsberg ( Gemeinde Gangelt ) mit seinen geschätzten 15% Infizierten eine gute Wahl. Allerdings würde ich dann wenn schon konkrete Fragestellungen zu beantworten versuchen. Beispielsweise die Zugehörigkeit von infizierten zu Berufsgruppen oder zum letzten Ferien-/Reiseaufenthalt. Mir geht es also um Fragen der Ausbreitung und der Gefahr/Wahrscheinlichkeit der Ansteckung je nach Reise-/Kontaktprofil.
Würde man den Infektstatus zudem im Abstand von 2 Wochen periodisch erneut erfassen könnte man sogar Rückschlüsse auf Verbreitungswege und wahrscheinliche Übertragungswege ziehen. Allerdings genügt dann eine Gemeinde mit 12500 Einwohnern kaum um zu detaillierten Schlüssen zu kommen.
Fazit: eine gute Studie ist meist aufwendiger (und auch teurer) als eine simple Meinungsumfrage. Infektstudien haben aber das Potenzial eine übertragbare Krankheit besser kennenzulernen und daraus Lehren zu ziehen, die in den Massnahmenkatalog eingehen können.
Übrigens: wenn man schon testet, dann sollte man immer beides testen
1) ob ein akuter Infekt vorliegt (Virusnachweis) und
2) ob ein Infekt durchgemacht wurde, also Antikörper gebildet wurden
Grund: wenn man schon eine Testperson hat dann doch möglichst viele Daten über sie erfassen
Bei diesen beiden Tests haben wir aber bei Covid-19 zwei Probleme:
1) der Virusnachweis mit der RT-PCR – Methode ist hochsensitiv und könnte auch einen Nicht-Infizierten, der aber in Kontakt mit dem Virus kam als infiziert einstufen.
2) der Antikörpernachweis ist noch zuwenig validiert und standardisiert und vielleicht sogar zuwenig spezifisch. Ein positiver Test könnte also auch eine durchgemachte Infektion mit einem harmlosen Coronavirus bedeuten.
Gemäss Ergebnis und Schlussfolgerungen der COVID-19 Case-Cluster- Study (Gemeinde Gangelt) wurden in dieser Studie tatsächlich sowohl ein Virustest durchgeführt als auch ein Antikörpernachweis, also ein Nachweis, dass eine Infektion stattgefunden hat und das Immunsystem darauf reagiert hat.
Als Ziel der Studie wird angegeben:
Das wichtigste Resultat/Behauptung der Studie ist, dass nun 15% der Bevölkerung von Gangelt die Krankheit durchgemacht haben und damit immun sind (2% der Getesteten hatten gerade eine frische, noch aktive Infektion). Leider fehlt eine Angabe, wieviele Bewohner von Gangelt schon vor dieser Studie in einem Virentest positiv getestet wurden. Eigentlich eine wichtige Grösse. Es gilt aber sicherlich, dass die meisten der 15%, die nun die Krankheit durchgemacht haben, nur wenig Symptome hatten. Das Verhältnis Anzahl der Infizierten zu Anzahl der Toten infolge der Infektion beträgt in Gangelt 0.37% während sie für ganz Deutschland 1.98% beträgt, wobei man in ganz Deutschland eben nicht weiss wieviele infiziert sind oder infiziert waren. Auch hier fehlt für mich eine wichtige Angabe, nämlich die Altersverteilung der Gestorbenen.
Beurteilung: die COVID-19 Case-Cluster- Study (Gemeinde Gangelt) scheint die Vermutung zu bestätigen, dass die meisten Infektionen mit Sars-CoV-2 nicht sehr schwer verlaufen. Da die Studie die Alterverteilung der an Covid-19 Verstorbenen und der Gemeindebewohner nicht angibt, ist eine Hochrechnung auf die zu erwartenden Covid-19 Todesfälle In Deutschland insgesamt nicht erlaubt, denn Gangelt ist wohl nicht unbedingt ein repräsentatives Abbild von ganz Deutschland.
Ergänzung: die Website Willkommen im Kreis Heinsberg gibt für den 11.April 2020 folgenden Covid-19 Staus an:
1573 Positiv Getestete, 1041 Geheilte, 481 aktuell Infizierte, 51 Verstorbene.
Gemäss statistischem Bundesamt hatte Heinsberg im Jahr 2016 eine Bevölkerung von 252‘651. Gangelt im Kreis Heinsberg hat dagegen nur 12.569 Einwohner.
Folgerung: Hochgerechnet von der Gemeinde Gangelt erwarten wir im Kreis Heinsberg 37897 Infizierte (nämlich 15% von 252‘651), finden aber nur 1573 Positiv Getestete. Damit wären die positiv Getesteten nur die Spitze eines grossen Eisbergs. Doch diese Hochrechnung ist wahrscheinlich nicht erlaubt, denn die Infizierten sind ksum gleichmässig über den Kreis verteilt.
Da der Autor in Japan lebt kann er mir vielleicht folgende Frage beantworten. Japan hat hat etwa 26,4 Millionen Einwohner mit Alter über 70 Jahren. Deutschland hat nur etwa 13,0 Millionen Einwohner über 70. Japan hat bisher 123 Covid19-Sterbefälle , Deutschland dagegen über 3000. Was macht Japan anders?
@Holzherr: Zahlen und Logik
Man könnte fast meinen, Sie hätten meinen vorherigen Blogpost Zahlen und Logik der Corona-Krise sehr gut gelesen.
@Berberich: Lage in Japan
Es war auch erst angedacht, dass Herr Bayer über dieses Thema schreibt, doch die Lage ändert sich wohl auch in Japan recht schnell. Ich habe den Autor auf jeden Fall auf Ihre Frage aufmerksam gemacht. Die Teilnahme an der Diskussion ist aber für alle freiwillig.
P.S. Eine kurze Antwort hat wahrscheinlich damit zu tun, dass Japan bereits mehr Erfahrung mit den vorherigen Virusepidemien hatte.
@Martin Holzherr 13.04. 18:50
Die wahrscheinlich nicht erlaubte Hochrechnung trotzdem mal zuende gerechnet:
„Hochgerechnet von der Gemeinde Gangelt erwarten wir im Kreis Heinsberg 37897 Infizierte (nämlich 15% von 252‘651)“
Am 11.04. im Kreis Heinsberg gab es:
1573 Positiv Getestete 51 Verstorbene.
Das Verhältnis von Infizierten zu Positiv getesteten: 37897 / 1573 => 24 : 1
Die Todesrate bezogen auf die Infizierten: 51 / 37897 => 0,135 %
Bezogen auf ganz Deutschland ergibt das (14.12. 00:00):
Aktuell ergibt sich aus 125.098 Positiv Getesteten ca. 3 mio Infizierte
Bei einer Infektionsrate von 70% der 82 mio Einwohnern und 0,135% Todesfällen hätten wir am Ende dann maximal 77.500 Todesopfer zu beklagen.
Das ist doch wesentlich weniger als die 500.000 Todesopfer, die zu Beginn des Lockdowns für eine unkontrollierte Epidemie in Deutschland angenommen wurde.
Wie oben erwähnt, eine nicht erlaubte Hochrechnung, weil hier von der Gemeinde Gangelt auf den Kreis Heinsberg hochgerechnet wurde. Hier wären aber weitere Beobachtungen interessant, ob sich dieses Ergebnis dennoch bestätigt.
Sollte sich das bestätigen, würde ich dafür plädieren, den Lockdown auf jeden Fall zu beenden und dabei zu bleiben, solange wie hier keine Krankenhäuser überlastet sind. Möglicherweise wird es dazu vor dem Herbst gar nicht mehr kommen, wenn wir hier eine sommerbedingte Abschwächung der Neuinfektionen bekommen.
Was dann im Herbst an Medikamenten und Impfstoffen oder an Massentests möglich ist, sehen wir dann ja.
Ja das Geschäft mit Melissa und Bill Gates Foundation & WHO muss medial,wissenschaftlich geschmiert werden….Siehe Impfwahn Afrika wo Frauen großflächig zwangssterilisiert wurden…..Wie seriöse Quellen immer wieder den medialen und wissenschaftlichen Mainstream seriös wiederlegen…Hinzukommt das der Test ähnlich wie die VW Autofilter fehlkonstruiert ist…..In einer Pressemeldung erschient heute die USA stellt ab sofort sämtliche Zahlungen an die WHO ein….
Noam Choamsky Linkustikprofessor über den Testlauf 2019 USA pandemieübung…https://www.youtube.com/watch?v=0k8IXhbZpa4
@Achim Bayer 15.04. 04:34 Hochrechnugen
Wieso machen die nicht noch 1000 Kontrolltests z.B. in Dortmund, wo die bestätigten Covid19-Fälle etwa 10 mal weniger sind? Wenn in Gangelt noch andere alte Coronaviren mitgemessen wurden, gibt es diese in gleicher Rate auch in Dortmund. Dann kann man die doch ganz einfach herausrechnen. Wenn dazu noch die bestätigten Fälle in Gangelt ermitteln würden, könnte man auch korrekt auf Heinsberg und ganz Deutschland hochrechnen.
Da fehlen nur die 1000 Tests, und wir wüssten endlich, wie groß das Problem maximal werden kann. Wir zerlegen gerade unsere Wirtschaft und annullieren unser soziales Leben, ohne wirklich zu wissen, wofür wir das machen. Alles auf Verdacht – und das ohne Not. Wir könnten längst wissen, wie groß unser Problem wirklich ist.
Irrrationale Denk und Verhaltensweisen -der destruktive Mensch Erich Fromm
-Lobby-Interessen -Gier und Macht beschränkter Geist
-Angst u.Panik Modus unseriöse Wissenschaftsschlussfolgerung /Medien
Für die Freunde der epidemiologischen Statistik, hier noch ein Link zu einem neuen FAZ-Artikel (07.05.2020-11:45) zur Heinsberg-Studie. Corona: Die Statistik-Schwächen der Heinsberg-Studie
@Chrys // Statistikschwächen
Danke für den Link zum FAZ-Artikel.
Der Titel des Aufsatzes: „Die Statistikschwächen der Heinsberg-Studie“, klingt vielversprechend, aber wenn ich nichts übersehen habe, ist lediglich der Vertrauensbereich der Infektionssterblichkeit nicht richtig berechnet worden. Das heißt, der Titel des Aufsatzes schwächelt auch ein bisserl (auch der Journalismus hat so seine “Fallstricke”).
Dass mit sieben Toten die errechnete mittlere Infektionssterblichkeit eh extrem unsicher ist, das kann sich eigentlich jeder denken, der mit diesem Begriff auch nur halbwegs etwas anfangen kann.
Fazit: Ein insgesamt eher schwacher Aufsatz, der den Eindruck hinterlässt, als sei er von zwei Wichtigtuern verfasst worden.
@Balanus / 09.05.2020, 13:49 Uhr
Ist bisweilen doch immer wieder erstaunlich, was Du alles so erkennen kannst.
Die Autoren des FAZ-Gastbeitrags sind übrigens so wenig Journalisten wie Achim Bayer, der Verfasser des hiesigen Gastbeitrags. Ist nicht ganz klar, ob Du das vielleicht übersehen hast.
Profunde Mängel dieser Studie wohlbegründet darzulegen, ist meines Erachtens nicht als wichtigtuerisch, sondern eher doch als aufklärerisch zu bewerten. Zumal es um eine Anglegenheit allgemeinen Interesses geht und gewiss nicht jeder solche Mängel auszumachen befähigt ist. So war in dem TP-Artikel COVID-19 aus datenwissenschaftlicher Sicht vom 4. Mai 2020 noch zu lesen:
Sofern man nicht die übliche Bedeutung von “extrem solide” und “robust” völlig verdreht, dürfte diese Einschätzung schwerlich vertetbar sein. Aber vielleicht siehst Du das ja alles wieder ganz anders?
@Chrys
Eventuell ist Dir entgangen, dass auch in dem FAZ-Artikel keinesfalls die Heinsberg-Studie kritisiert wird. Die Autoren bemängeln nur eine vom Leiter der Studie darüber hinausgehende Schlussfolgerung.
Was möchtest Du denn noch so alles völlig verdrehen und was vertreten?
@Chrys // 11.05.2020, 12:54 Uhr
»Die Autoren des FAZ-Gastbeitrags sind übrigens so wenig Journalisten wie Achim Bayer, der Verfasser des hiesigen Gastbeitrags. Ist nicht ganz klar, ob Du das vielleicht übersehen hast.«
Das hab‘ ich keineswegs übersehen.
Mag aber sein, dass die beiden FAZ-Gastbeitrag-Verfasser die Überschrift und den einleitenden Absatz (das fettgedruckte ganz am Anfang, mir fällt der Fachbegriff dafür gerade nicht ein) nicht zu verantworten haben.
Da wird ja implizit behauptet, Streeck et al. seien über die „Fallstricke der Statistik“ gestolpert. Das weckt beim Leser schon Erwartungen.
Und dann entpuppt sich der „Fallstrick“ als eine nicht korrekt ausgeführte Berechnung des Vertrauensbereichs. Zumal bei einem Wert, der ohnehin relativ unsicher ist, so dass es darauf kaum ankommt*). Der eh unsichere Wert der Infektionssterblichkeit für Gangelt ist also noch ein Stück unsicherer als angegeben. Na sowas aber auch.
Von einem „profunden Mangel“, wie Du schreibst, kann meiner Meinung also keine Rede sein. Es sei denn, Du hast da etwas anderes im Sinn, einen wirklichen Mangel, den Dorsten und ich (unabhängig voneinander ;-)) übersehen haben.
Auf die von @Joker erwähnte „Schlussfolgerung“ bin ich gar nicht erst eingegangen. Erstens handelt es sich nicht um eine „Schlussfolgerung“, das haben die Verfasser des FAZ-Artikels erfunden, und zweitens finden sich die fraglichen Überlegungen, die kritisiert werden, ganz am Ende der Diskussion und sind für die Kernbotschaft der Studie völlig irrelevant. Alles zentral Wichtige steht kurzgefasst im Abstract.
*) Unschön ist es natürlich trotzdem, so etwas sollte nicht vorkommen.
@myself
Das hatte ich falsch verstanden. Ich hatte die Aussage mit den 1,8 Mio Infizierten in ganz Deutschland nur als eine Aussage von Streeck in einer Talkshow oder einem Interview in Erinnerung. Die Zahl findet sich dann aber tatsächlich auch in der Studie:
Wer lesen kann, ist klar im Vorteil.
@Balanus & Joker / Mängel bei der Heinsberg-Studie
Um etwas Positives zu vermerken, mir gefällt die im obigen Blogext unter Empfehlungen aufgeführte und auf den aktuellen Kontext abgestimmte Checklist. Da werden eigentlich alle wesentlichen Punkte genannt, die für eine Präsentation zu berücksichtigen sind, um gefundene Resultate sowie gegebenenfalls daraus gezogene Folgerungen nachvollziehbar darzulegen. Und bemessen an diesen Kriterien kann ich dann auch nur zustimmen, wenn Achim Bayer die Heinsberg-Studie eben nicht als “extrem solide” und “robust” bewertet.
Die Statistik betreffend, eine journalistische Wortmeldung dazu und gleichfalls vom 7. Mai 2020 wie der FAZ-Artikel, findet man bei tagessschau.de [Falsche Rechnung mindert Aussagekraft]. Da heisst es:
Könnte es also nicht sein, dass Du, mein lieber Balanus, Dir diese Sache doch etwas zu sehr nach Deinem eigenen Gusto zurechtlegst?
@Chrys
Könntest Du uns bitte von den im Beitrag aufgezählten, die Kriterien nennen, die die veröffentlichte Heinsberg-Studie nicht erfüllt.
Könntest Du uns bitte schildern, wie Achim Bayer die veröffentlichte Heinsberg-Studie bewertet. Falls ich nicht erneut etwas übersehen habe, bezieht sich der obige Artikel auf eine Vorabpräsentation und ich habe im Internet nichts aktuelles unter seinem Namen gefunden.
Als positiv empfinde ich, dass bemängelte Schwächen von Beteiligten auch eingestanden werden. Aus deinem Link von der Tagesschau-Seite:
Eine Praxis, die nicht immer und nicht von allen eingehalten wird, wie wir von anderen Wissenschaftlern, Bloggern und Kommentatoren wissen – Anwesende eingeschlossen.
@Joker / 12.05.2020, 13:45 Uhr
Ich wage die (durch subjektive Erfahrung extrem solide und robust begründete) Vermutung, dass Du auch ohne fremde Hilfe bis 14 zählen und nachprüfen kannst, ob für die Heinsberg-Studie alle Kriterien auf der Checklist ausnahmslos erfüllt sind. Das scheint mir nicht der Fall zu sein, wie Achim Bayer im Text schliesslich auch ausgeführt hat. Die Studie mit höchstem Lob zu bewerten scheint mir dann auch nicht gerechtfertigt.
Alles ungeachtet der Tatsache, dass die Studie einstweilen nur als Zwischenreport vorliegt. Man lehnt sich aber nicht in den Medien weit aus dem Fenster, wenn noch zu erwarten stünde, das sich die Ergebnisse bis zum Abschlussreport noch dramatisch ändern. Das wäre ja extrem unprofessionell und gibt auch keinen Pluspunkt.
Achim Bayer bezieht sich doch nicht nur auf die Art der Präsentation, sondern insgesamt auf das Design der Studie (was bereits im Titel avisiert wird). Zitat aus dem Blogtext:
Es dürfte vielleicht ganz interessant werden, einen Vergleich mit der KoCo19 Studie des LMU Klinikums München anzustellen, wenn deren Ergebnisse präsentiert werden. Das dauert aber noch eine Weile, die Rede ist da von einigen Monaten, was immer das genau heisst.
Falls die Münchner Studie bessere Noten erhält, wird sich das der Herr Ministerpräsident Söder als persönlichen Verdienst anrechnen und laut herumtrompeten, damit das bestimmt auch alle mitkriegen.
@Chrys // 12.05.2020, 12:20 Uhr
Achim Bayer konnte sich mit seiner obigen Kritik nur auf das beziehen, was damals bekannt war. Die fertige Studie, also das, was noch begutachtet und gegebenenfalls nachgebessert werden muss, ist erst am 4. Mai ins Netz gestellt worden. Auf dieses Paper haben sich Dorsten und andere mit insgesamt positiven Stellungnahmen bezogen.
Die „letzte Schätzung“, auf die sich der Statistikprofessor Philipp Berens bezieht, ist doch wieder die bloß im Diskussionsteil stehende Überlegung der Studienautoren, die nicht mehr ist als eine kleine Draufgabe. Die kann man ja gerne kritisieren, aber das ist dann eben keine Kritik der eigentlichen Studie. Dass manche Journalisten solche Feinheiten nicht checken, ist ein altbekanntes Übel…
Da mag Achim Bayer schon eher Recht haben, man müsste mal die oben aufgeführten Punkte im Einzelnen mit der inzwischen vorliegenden Studie vergleichen. Hat ja auch @Joker schon angeregt. Am Studiendesign ist ja nichts mehr zu ändern, es interessieren jetzt also nur noch die Punkte, die das Paper selbst betreffen. Da soll der Kritikübende mal liefern, finde ich, dann können wir drüber reden 🙂
17:25 Uhr
»Alles ungeachtet der Tatsache, dass die Studie einstweilen nur als Zwischenreport vorliegt.«
Ist diese Aussage gesichert, hält sie der kritischen Prüfung stand?
Meines Wissens liegt die Studie, wie gesagt, als inzwischen als fertiges Manuskript vor.
@Balanus / 12.05.2020, 21:23 Uhr
»Die fertige Studie, also das, was noch begutachtet und gegebenenfalls nachgebessert werden muss, ist erst am 4. Mai ins Netz gestellt worden. Auf dieses Paper haben sich Dorsten und andere mit insgesamt positiven Stellungnahmen bezogen.«
Von der bereits verlinkten tagesschau.de Seite führt ein interner Link zu einem weiteren Artikel, [Fragen zur Heinsberg-Studie tauchen auf], vom 04.05.2020 15:15 Uhr. Dort heisst es noch:
Der Telepolis-Artikel von Daniel Haake [COVID-19 aus datenwissenschaftlicher Sicht] war 04.05.2020 16:00 gepostet worden. Dort ist zu lesen, die Studie laufe noch, und für Drostens Rede von einer “extrem soliden, robusten Studie” wird personal communication mit Streeck angegeben.
Wäre am 4. Mai tatsächlich noch ein finaler Report erfolgt, hätten die SWR-Journalisten, die an der Sache dran sind, vermutlich bis zum 7. Mai Kenntnis davon gehabt und dann auch erwähnt. Haben sie aber offensichtlich nicht.
Aber vielleicht kennst Du ja noch geheime Quellen, die mir verborgen sind.
@Chrys // STRENG VERTRAULICH
Geheime Quelle (PDF)
@Chrys
Ergänzend:
» Von der bereits verlinkten tagesschau.de Seite [7. Mai] führt…«
…der erstgenannte Link zur Uni-Bonn, wo per Pressemitteilung die Veröffentlichung der „Heinsberg-Studie“ bekanntgegeben wird.
@Chrys
Ja vielleicht. Nur, nachdem Du selbst grobe Fehler bei Kuhbandners Milchmädchenrechnung nicht erkennst, könnte ich mir umgekehrt vorstellen, dass Du hier Fehler siehst, wo ich keine erkennen kann. Dein Input ist für einen Vergleich unerlässlich.
“Bei gleicher Umgebung lebt doch jeder in einer anderen Welt.”
Es klang ja auch so, als ob Du schon eine eigene Bewertung der Heinsberg-Studie anhand der Kriterien gemacht hattest, Du also nur einige Zahlen zwischen 1 und 14 hättest hinschreiben müssen. Nun wiederum scheinst Du die Studie selbst noch gar nicht zu kennen.
Wie auch immer. Deine Kommentare hier bei Menschen-Bilder zum Thema Corona sind von einer völligen Schieflage gekennzeichnet. Kritik an Studien und Statistiken wird verteidigt, so absurd die auch sein mag; berechtigte Kritik aufgebauscht; aus Quellen, zum Teil selbst fragwürdig, zitierst Du einseitig und unkritisch; auf Argumente gehst Du oft nicht ein, die Rhetorik spricht Bände.
Da kann sich jeder ohne fremde Hilfe selbst eins und eins zusammenzählen.
Hoffen wir gemeinsam, dass das Peer-Review-Verfahren reicht, der Heinsberg-Studie ihre letzten Schwächen zu nehmen.
Bleib gesund.
@Balanus / 13.05.2020, 01:07 Uhr
Das habe ich in der Tat nicht gewusst — und hätte es auch nicht für möglich gehalten — dass sich die ganze Studie nur auf die Daten von insgesamt 7 Tagen stützt.
Dann liefert diese Studie allerdings auch nicht mehr als nur so etwas wie eine verwackelte Momentaufnahme, und nicht die Dynamik der epidemiolog. Ausbreitung von Covid-19 in der Gemeinde Gangelt. Für verlässliche Aussagen über das Infektionsrisiko, mit einer infizierten Person im selben Haushalt zu leben, reicht das beispielsweise schwerlich hin. Wenn dann der Eindruck entsteht, dieses Risiko sei überraschend niedrig, mag das seinen plausiblen Grund darin haben, dass die Zeitreihe schlicht zu kurz war, um ein echtes Signal in den Daten zu identifizieren. Da braucht es dann eben wohl doch Studien wie KoCo19 des LMU Klinikums München, um belastbare Aussagen zu treffen. (Am Design der Münchner Studie hat meines Wissens auch noch niemand etwas auszusetzen gehabt.)
Als Grundlage für Entscheidungen über angemessene Massnahmen im Bundesland NRW — oder gar darüber hinaus — geben die 7 Tage in Gangelt nichts her, was wirklich brauchbar erscheint. Und was die “kurze theoretische Beispiel-Hochrechnung” auf 1.8 Mio. Infizierte deutschlandweit angeht, da haben die dafür Verantwortlichen ja vielleicht jetzt begriffen, dass solche witzlosen Zahlenspielchen beim einem in puncto Statistik sachkundigen Publikum nicht so toll ankommen. Damit hätte die Kritik doch etwas gebracht, findest Du nicht?
@Joker / 13.05.2020, 10:53 Uhr
»Da kann sich jeder ohne fremde Hilfe selbst eins und eins zusammenzählen.«
Was bekommst Du denn beim Zusammenzählen da heraus? Das würde mich dann doch noch interessieren.
Und betreffend Kuhbandner, da hast Du mir bisher doch nur gezeigt, dass Du keinen Plan hast, wie man damit umgehen kann, wenn die Stichprobengrösse von Woche zu Woche variiert, nicht mal bei Deinen eigenen überschaubar simplen Zahlenbeispielen.
Ach ja, und dass er den Namen Kristan Schneider mal falsch geschrieben hat. Klar, das ist natürlich ein grober Fehler, den Du ihm nachgewiesen hast. Fühlst Du Dich jetzt besser?
@Dr. Wolfgang Engelhardt
Jetzt habe ich Sie an der faszinierenden Logik ihrer Kommentare und der ständigen Wiederholung bereits beantworteter Fragen doch noch erkannt.
Wie gewohnt, sicher etwas anderes als Sie, Frau Lopez oder sonst jemand aus der Allianz des Schwachsinns.
@Chrys // 14.05.2020, 09:52 Uhr
» Das habe ich in der Tat nicht gewusst — und hätte es auch nicht für möglich gehalten — dass sich die ganze Studie nur auf die Daten von insgesamt 7 Tagen stützt. «
Das ist bei epidemiologischen Querschnittsstudien aber nun mal üblich, dass die Daten über einen kurzen Zeitraum erhoben werden, das liegt in der Natur der Sache.
» Als Grundlage für Entscheidungen über angemessene Massnahmen im Bundesland NRW — oder gar darüber hinaus — geben die 7 Tage in Gangelt nichts her, was wirklich brauchbar erscheint. «
Was politische Entscheidungsträger mit einer Studie zur Abschätzung der Infektionssterblichkeit in einer speziellen Population anfangen (können), ist eine ganz andere Frage.
Und was das „in puncto Statistik sachkundige Publikum“ angeht: Wenn dieses Publikum dieses „witzlose Zahlenspielchen“ im Diskussionsteil für so wichtig hält, dass es meint, es müsse sich öffentlich darüber echauffieren und wichtigtuerische Gastbeiträge verfassen, dann scheint bei diesem Publikum ja einiges im Argen zu liegen, findest Du nicht?
Aber daraus gelernt haben die Studienautoren sicherlich, insoweit stimme ich Dir zu.
@Balanus / 14.05.2020, 12:00 Uhr
»Was politische Entscheidungsträger mit einer Studie zur Abschätzung der Infektionssterblichkeit in einer speziellen Population anfangen (können), ist eine ganz andere Frage.«
Nicht wirklich. Das LMU Klinikum München stellt sein KoCo19-Projekt wie folgt vor (Text war oben verlinkt):
Dort gilt offenbar das nicht als ganz andere Frage. Und das finde ich auch gut so, wenn sich die Wissenschaft hierbei der Allgemeinheit verpflichtet sieht.
»Und was das „in puncto Statistik sachkundige Publikum“ angeht: Wenn dieses Publikum dieses „witzlose Zahlenspielchen“ im Diskussionsteil für so wichtig hält, dass es meint, es müsse sich öffentlich darüber echauffieren und wichtigtuerische Gastbeiträge verfassen, dann scheint bei diesem Publikum ja einiges im Argen zu liegen, findest Du nicht?«
Nein, finde ich nicht. Denn das witzlose Zahlenspielchen ist vermutlich deswegen so sehr aufgefallen, weil der Herr Prof. Dr. Gunther Hartmann es medienöffentlich gleichsam auf dem Silbertablett serviert hat [UKB NewsRoom]:
Da bemühen sich einige redlich und unverdrossen ab, die Allgemeinheit über manipulativen Missbrauch von Zahlenspielchen und Statistik aufzuklären, und dann kommt so was…
N.B. Der “UKB NewsRoom” Text ist vermulich inhaltlich gleich mit jenem, den Du zur Uni Bonn verlinkt hattest. Den sehe ich leider nicht, habe ein temporäres connection problem mit uni-bonn.de.
@Chrys // 14.05.2020, 17:13 Uhr
» Das LMU Klinikum München stellt sein KoCo19-Projekt wie folgt vor…«
Die als prospektive Kohorten-Studie geplante Münchner Längsschnittstudie ist etwas völlig anderes die Bonner Querschnittstudie. Beide haben ihren Wert, beantworten aber unterschiedliche Fragen.
Wenn nun eine Studie (wie die der Bonner) nicht untersucht, ob z. B. bestimmte Corona-Gegenmaßnahmen wirksam sind, dann ergibt es keinen Sinn, den Studienmachern vorzuwerfen, sie hätten hierzu keine Daten geliefert. Womöglich noch mit dem Verweis auf die geplante Münchener Längsschnittstudie.
» Da bemühen sich einige redlich und unverdrossen ab, die Allgemeinheit über manipulativen Missbrauch von Zahlenspielchen und Statistik aufzuklären, und dann kommt so was…«
Unverdrossen und redlich also—soso…
Was den „manipulativen Missbrauch von Zahlenspielchen“ betrifft: reden wir noch von der kleinen Hochrechnung, die man in der Bonner Studie angestellt hat, um der interessierten Allgemeinheit zu zeigen, wie es aussähe, wenn man die lokalen Gangelter Daten aufs ganze Land übertrüge?
Dass einige (Oberlehrer, Besserwisser und Wichtigtuer) sich ausgerechnet auf diese Petitesse stürzen, lässt tief blicken…
@Balanus / 14.05.2020, 21:56 Uhr
Die Frage nach dem Wert einer bestimmten Corona-Forschung ist unter den bestehenden Umständen stats auch die Frage nach ihrem praktischen Wert, ihrer Bedeutung für die Lösung aktuell drängender Probleme. Das lässt sich jetzt nicht voneinander trennen, und wer das anders sieht, lebt wohl in einer reichlich realitätsfernen Blase.
Balanus ist hell begeistert, weil er jetzt die (vermutliche) Corona-Dunkelziffer in der Gemeinde Gangelt für die erste Aprilwoche kennt. Und scheint etwas angesäuert zu sein, wenn seine Begeisterung nicht uneingeschränkt geteilt wird. Doch die interessierte Öffentlichkeit dürfte sich etwas mehr von dieser mit grossem medialen Getöse begleiteten Heinsberg-Studie erhofft haben. Selber schuld, wer jetzt enttäucht ist, sagt uns Balanus, das liegt nun mal in der Natur der Sache. Wie tröstlich.
Und die sogenannte Hochrechnung dient doch offensichtlich überhaupt nur dem Zweck, den Wert der Studie in der öffentl. Wahrnehmung höher erscheinen zu lassen, als er ist. Hochrechnungen kennt man allgemein aus dem Kontext der Demoskopie, das suggeriert den Menschen die Assoziation mit einer Mathematik, die nur von hochqualifizierten Fachleuten beherrscht wird. Doch schauen wir einfach mal hin, was es mit dem dahinterstehenden “theoretischen Modell” auf sich hat:
Die geschätzte Infektionsrate von 15.02% ergibt bei 12,597 Einwohnern von Gangelt 1,892 Infizierte. Die IFR ist die Zahl der Corona-Todesfälle in Gangelt dividiert durch die Zahl der infizierten Einwohner, also
7/1,892 ≈ 0.0037 = 0.37%. So weit, so gut.Jetzt kommt die grandiose “Beispiel-Hochrechnung” der Infizierten mit bundesweit (gemäss Prof. Hartmann) gerundet 6,700 anzunehmenden Corona-Todesfällen:
6,700 × 1,892/7 ≈ 1,810,914 ≈ 1.8 Mio.Das verwendete “theoretische Modell” ist auch als Dreisatz bekannt und gehört zur elementaren Mathematik etwa der fünften Schulklasse. Die ganze Rechnung ist eben nur ein witzloses Zahlenspielchen ohne wissenschaftl. Aussagekraft. Dies úberhaupt als Hochrechnung zu bezeichnen, grenzt schon an Hochstapelei; der interessierten Allgemeinheit wird hier doch quasi nur ein Potëmkinsches Dorf gezeigt.
Erratum: Ich muss mich womöglich bei Prof. Dr. Gunther Hartmann entschuldigen. Was ich ihm da in den in den Mund gelegt habe, ist in den UKB News gar nicht als jemandes Zitat angeführt, wie mir erst jetzt aufgefallen ist. Mein Fehler, sorry.
@Balanus / 14.05.2020, 21:56 Uhr (Nachtrag)
Hier ist noch ein Leckerli, wie das, was Du eine »Petitesse« zu nennen beliebst, von unbedarften Journalisten rezipiert und reportiert wird [welt.de, Stand: 14.05.2020]:
Klar, im Zweifelsfall ist es dann immer einfach, die Journalisten abzuwatschen. Journalisten, denen in einer hektischen Nachrichtenwelt zu sorgfältiger Recherche häufig gar keine Zeit gegeben wird und daher auch leicht zur Verbreitung von fake news verführbar sind, indem ihnen nur einige passende Stichworte mundgerecht serviert werden.
@Balanus
Bitte beachte welche Rolle das “theoretische Modell” Dreisatz in verschiedenen Kontexten spielt. Bei der Heinsberg-Studie, angewendet auf Mittelwerte, ist es witzlose Zahlenspielerei. Von Kuhbandner an einer Stelle verwendet, wo man das tunlichst unterlassen sollte, verhilft es der interessierten Öffentlichkeit zu wesentlichen Einsichten mit wissenschaftlicher Aussagekraft in das, nach seiner Analyse, nur vorgeblich dynamische Geschehen.
Berücksichtige auch, welchen praktischen Wert für aktuell drängende Probleme eine Studie haben könnte, deren erste Zwischenergebnisse für Ende Juni erwartet werden, ist für eine interessierte Allgemeinheit nur außerhalb jeder Blase lebend nachzuvollziehen.
@Chrys // 15.05.2020, 12:35 Uhr
» Die ganze Rechnung ist eben nur ein witzloses Zahlenspielchen ohne wissenschaftl. Aussagekraft. «
Genau, ohne wissenschaftliche Aussagekraft. Weshalb sie in der Studie auch ganz am Ende der Diskussion steht und nicht im Ergebnisteil. Eine Petitesse halt, eine kleine Zugabe, meinetwegen auch ein witzloses Zahlenspielchen.
Weshalb viele Journalisten das nicht erkannt haben bzw. nicht erkennen können, weiß ich auch nicht. Was lernen die denn so auf der Journalistenschule?
Aber Gottseidank gibt es ja ein „in puncto Statistik sachkundiges Publikum“, das die ganze Sache richtig einordnen kann.
» Journalisten, denen in einer hektischen Nachrichtenwelt zu sorgfältiger Recherche häufig gar keine Zeit gegeben wird und daher auch leicht zur Verbreitung von fake news verführbar sind, indem ihnen nur einige passende Stichworte mundgerecht serviert werden. «
Die Ärmsten, mir kommen gleich die Tränen…;-)
@ Joker // Dreisätze
» Bitte beachte welche Rolle das “theoretische Modell” Dreisatz in verschiedenen Kontexten spielt. «
Ja, das war mir auch schon aufgefallen: Hier witzloses Zahlenspielchen, dort geniale Lösung eines kniffligen statistischen Problems. Wie es halt gerade passt…
@Balanus / 15.05.2020, 18:48 Uhr
»Weshalb viele Journalisten das nicht erkannt haben bzw. nicht erkennen können, weiß ich auch nicht.«
Das ist sehr einfach. Journalisten orientieren sich an der Pressemitteilung, wo die Autoren ihre Message präsentieren, die sie medial vermittelt wissen wollen. Und dort findet sich als unübersehbare Message eben diese sogenannte Hochrechnung, als sei sie eine aus der Studie zu ziehende Schlussfolgerung. Mich wundert nur, wie sich jemand darüber wundern kann, dass dies dann journalistisch aufgeriffen und verbreitet wird.
Und abgesehen von dieser spektaktulären Hochrechnung gibt die Studie auch nichts her, das sich publicity-wirksam vermarkten liesse und Gegenstand eines öffentl. Diskurses sein könnte. Was weder im Interesse der Autoren noch in dem von Armin Laschet liegt. Die interessierte Allgemeinheit kann der mit der Corona-Dunkelziffer in Gangelt von Anfang April doch nichts anfangen und fragt sich ohnehin, wozu die Landesregierung von NRW jetzt eigentlich diese Studie mit 65,000 EUR gefördert hat.
FYI. Nach meiner Erfahrung kehrt in solchen Diskussionen nie jemand wieder auf den Boden der Sachlichkeit zurück, der einmal auf ein Humpty Dumpty Niveau abgeglitten ist. Für meinen Geschmack hast Du dieses Stadium jetzt wieder mal erreicht. Und von einem Balanus anzunehmen, er könnte seinen Standpunkt noch ändern, wäre eh abwegig, das widerspricht schliesslich ganz und gar seiner sessilen Natur. Du darfst Dir also die Mühe einer Antwort ersparen, denn Deinen Standpunkt hast Du bezogen und könntest erwartungsgemäss nur noch unerhebliche Petitessen hinzugeben, die gewiss ignorabel sind.
@Chrys // 17.05.2020, 11:07 Uhr
»Journalisten orientieren sich an der Pressemitteilung,«
Viele, manche, aber nicht alle. Insbesondere Wissenschaftsjournalisten lesen in der Regel auch die Studie, weil sie wissen, dass die Pressestelle oft Dinge in den Vordergrund stellt, die in der Publikation nur eine Nebenrolle spielen und mit dem eigentlichen Studienergebnis wenig zu tun haben. Das dürfte den meisten inzwischen bekannt sein. Nur in der Breite ist das halt noch nicht überall angekommen.
Das kann man mit Recht beklagen. Also die Arbeit mancher PressesprecherInnen und die mancher JournalistInnen, die nicht unterscheiden (können) zwischen Pressemitteilung und publizierter Studie.
@FYI: Bitte nicht vergessen: Trotz ihrer sessilen Lebensweise kommen manche der Balanidae weit herum. Was die Diskussion betrifft, da scheint es nun doch mehr um die Pressemitteilung und den medial-politischen Hype zu gehen als um das vorliegende Manuskript. Erstere zu verteidigen sehe ich keinen Anlass. Und zur Studie ist im Grunde alles gesagt, bzw. sie spricht für sich selbst. Da brauche ich nichts hinzuzufügen.
tl;dr (08.05 – 18.05.2020)
Hier ist etwas neues!
Wie, da geht’s nur um einen Einzelaspekt?
Was, die ursprüngliche Kritik richtet sich gegen das Alte?
Was ist denn überhaupt das Neue?
Was soll das heißen, das sei gar nicht das Ziel der Studie gewesen?
Was ist das überhaupt, Statistik?
Ich war von Anfang an dagegen.
Warum sollte ich meine Meinung ändern, macht doch sowieso keiner?
Argumente, die kannst Du dir selbst überlegen!
Dann noch ein Letzter Kunstgriff:
Fazit: Der Wert repräsentativer Studien wird überschätzt und kann durch billige Polemik jederzeit ersetzt werden.
Man könnte allerdings als interessierter Leser auch zu dem Schluss kommen, da im Verlauf der Diskussion keine Argumente aufgetaucht sind, die im Stande wären, die Grundlagen der Heinsberg-Studie ernsthaft in Zweifel zu ziehen, die eingangs gestellte Frage sei einfach zu beantworten – Ein weiterer Fall von unzureichendem Studiendesign? Nein.
@Balanus / 18.05.2020, 16:50 Uhr
»Viele, manche, aber nicht alle [Journalisten].«
Und mindestens zwei davon, nämlich die SWR-Journalisten Frieder Kümmerer und Johannes Schmid-Johannsen, haben sogar weiter recherchiert und sich eine unabhängige fachliche Beurteilung eingeholt, indem sie Philipp Berens von der Uni Tübingen konsultiert haben. Weiters haben sie offenbar bemerkt, dass dessen Statements kompatibel sind mit dem, was Richard Neher von der Uni Basel (via Twitter?) kritisiert hatte. Schliesslch haben sie noch bei dem für Fragen zur Statistik in der Heinsberg-Studie zuständigen Matthias Schmidt nachgefragt und um Stellungnahme gebeten. Und das Ergebnis schreiben sie dann in ihrem Artikel, der auf tagesschau.de zu lesen ist. Sie machen ihren Job, und ich finde, sie machen ihn gut.
„Die Bewertung der Erkenntnisse und die Schlussfolgerungen für konkrete Entscheidungen obliegen der Gesellschaft und der Politik,“ wird Streeck in der UKB NewsRoom Mitteilung zitiert. Na ja, eine journalistische Bewertung hat er ja jetzt. Wenn ihm die nicht zusagt, sollte er sich mal fragen, was er bei der Präsentation vielleicht hätte besser machen können, damit es nicht so doof läuft.
Hinsichtlich der Bewertung kommen wir wohl nicht mehr auf einen gemeinsamen Nenner. Müssen wir aber auch nicht.
@Chrys // 19.05.2020, 13:35 Uhr
» Hinsichtlich der Bewertung kommen wir wohl nicht mehr auf einen gemeinsamen Nenner.«
Naja, eigentlich gibt es da keinen Ermessensspielraum, es ist klar vorgegeben, wo in einer wissenschaftlichen Publikation das Wichtige und wo das weniger Wichtige oder Nebensächliche zu stehen hat.
Und die beiden von Dir genannten Journalisten haben offenkundig viel Arbeit in etwas völlig Nebensächliches wie die sogenannte “Hochrechnung” gesteckt. Aber egal, auch für so etwas gibt es, wie man sieht, eine dankbare Leserschaft.
Ich denke, Streeck et al. haben das Publikum bzw. dessen Leseverständnis einfach überschätzt. Es war eigentlich vorhersehbar, dass nicht so sehr die „Erkenntnisse und Schlussfolgerungen“ der Studie von Politik und Gesellschaft bewertet werden, sondern vor allem diese “Hochrechnung”. Dumm gelaufen, in der Tat.
@Chrys
Wobei noch hinzuzufügen wäre:
Die von Dir so gelobten Journalisten haben sich nicht nur mit einer Nebensache intensiv beschäftigt, sie begehen zudem den Fehler zu ignorieren, dass die Infektionsrate in Gangelt nicht repräsentativ ist für andere Regionen in Deutschland oder andere Länder. Streeck et al. haben in ihrem Paper ausdrücklich darauf hingewiesen.
Es genügt eben nicht, statistische Berechnungen formal korrekt auszuführen, man muss auch wissen, ob es in einem konkreten Fall überhaupt sinnvoll ist, statistisch etwas zu berechnen. Streeck et al. haben da nichts falsch gemacht, die beiden Journalisten aber schon.
@Balanus / Bewertungen
Die SWR-Journalisten haben doch gar keine eigene Begutachtung oder Bewertung der sogenannten “Hochrechnung” vorgenommen, sondern “[m]ehrere Wissenschaftler” dazu konsultiert und anschliessend den Prof. Matthias Schmidt mit den recherchierten Statements konfrontiert.
Der versucht zu beschwichtigen, indem er die Affaire euphemistisch eine “kurze theoretische Beispiel-Hochrechnung” nennt. Du redest von Petitesse, was es aber nicht trifft, denn die hier passende Bazeichnung wäre Handwaving.*
Ihre schlichte Rechnung,
6,575 × 1,892/7 ≈ 1.8 Mio, hätten die Autoren doch auch transparent in ihrer Discussion präsentieren können, denn mehr ist dahinter schliesslich nicht verborgen. Stattdessen wird nebulös etwas von “theoretical model” orakelt — warum wohl machen die Autoren das so?**»Es war eigentlich vorhersehbar, dass nicht so sehr die „Erkenntnisse und Schlussfolgerungen“ der Studie von Politik und Gesellschaft bewertet werden, sondern vor allem diese “Hochrechnung”. Dumm gelaufen, in der Tat.«
Nimmt man die nebensächliche “Hochrechnung” mal heraus, dann ist nichts mehr da, was in einem von Politik und Gesellschaft zu führenden Diskurs überhaupt bewertet werden könnte. Diese Nebensache wird daher in der Mitteilung für die Öffentlichkeit auch “deutlich in den Vordergrund gestellt“, wie die beiden Journalisten bemerken. Kurzum, ohne die fabelhafte “Hochrechnung” ist die Heinsberg-Studie für die Allgemeinheit so interessant wie eine Studie darüber, wie viele Säcke Reis in China zwischen 31.3.2020 und 6.4.2020 pro Tag vermutlich umgefallen sind.
* Actions, words, or ideas that are meant to impress or appear convincing but which are in reality insubstantial or inconsequential.
** By the way, mit
6,575Todesfällen ergibt sich bei Rundung auf zwei Dezimalstellen rechts der Wert1.78 Mio., was nicht “higher than 1.8 Mio” ist, wie von den Autoren behauptet. In der UKB Mitteilung wurde dann auf6,700erhöht, das passt besser zur Behauptung. Doch das wäre jetzt wohl wirklich eine Petitesse, oder?@Chrys // Journalistische Bewertungen
»Kurzum, ohne die fabelhafte “Hochrechnung” ist die Heinsberg-Studie für die Allgemeinheit so interessant wie eine Studie darüber, wie viele Säcke Reis in China zwischen 31.3.2020 und 6.4.2020 pro Tag vermutlich umgefallen sind.«
Mir scheint, wir kommen der Sache langsam näher.
Denn diese von Dir formulierte Erkenntnis bzw. Bewertung wäre es doch gewesen, was man von einer guten journalistischen Arbeit erwarten würde—wenn es denn zutrifft.
Was aber stattdessen stattgefunden hat, ist etwas ganz anderes. Viele Journalisten sind offenkundig nicht fähig, in Pressemitteilungen die Spreu vom Weizen zu trennen. Und wenn‘s ganz schlimm kommt, nehmen sie die Spreu und setzen noch eins drauf, indem sie versuchen nachzuweisen, dass die Spreu Mängel aufweist, dass sie fehlerhaft produziert worden ist.
» Die SWR-Journalisten haben doch gar keine eigene Begutachtung oder Bewertung der sogenannten “Hochrechnung” vorgenommen,… «
Implizit haben sie das schon getan, nämlich einfach dadurch, dass sie die „schlichte Rechnung“ für so wichtig gehalten haben, dass sie mehrere Wissenschaftler dazu konsultierten.
Es mag ja sein, und es spricht in der Tat einiges dafür, dass Otto Normalverbraucher (und sei er auch Politiker) mit den Studienergebnissen nichts oder zumindest nicht viel anfangen kann. Aber muss er ja auch nicht, Hauptsache, die Fachwelt weiß die Arbeit zu würdigen.
Die Lehre, die ich aus dem Ganzen ziehe, ist, dass es einfach nicht gut ist, wenn wissenschaftliche Arbeit von einem großen medialen Interesse begleitet wird und dadurch unter einen unguten Druck gerät. Allein schon dass wir hier über ein Paper reden, das noch gar nicht das Peer-Review-Verfahren durchlaufen hat, spricht doch Bände…
» ** By the way, mit 6,575 Todesfällen ergibt sich bei Rundung auf zwei Dezimalstellen rechts der Wert 1.78 Mio., was nicht “higher than 1.8 Mio” ist, wie von den Autoren behauptet. «
Tja, was soll ich nach alldem dazu noch sagen?.;-)
Eine wie ich finde ganz brauchbare journalistische Analyse der Studie hat bereits am 4. Mai, als das Manuskript erschien, Florian Schuman auf ZEIT-Online geliefert.
@Balanus / 23.05.2020, 11:51 Uhr
Wie die WELT-Journalistin Sarah Maria Brech hier schreibt, haben die Herren Streeck und Hartmann gemeinsam die Ergebnisse der Studie “in einer Veranstaltung des Science Media Centers” presse-öffentlich vorgestellt. Die formidable “Hochrechnung” steht deshalb im Mittelpunkt der journalist. Aufmerksamkeit, weil Streeck selbst sie bei diesem Event in den Vordergrund gerückt hat. Er selbst hat hier die Akzente gesetzt, das haben sich nicht irgendwelche Journalisten so herausgepickt. Doch schauen wir nochmals hin, was da an Information rübergekommen ist:
Die für Gangelt ermittelte Covid-19 Infektionsrate von ca.
15%lässt sich nicht überregional verallgemeinern, denn Gangelt ist ein Corona-Hotspot und dieser Wert daher auch nicht repräsentativ e.g. für die ganze Republik. Darauf wurde wohl deutlich hingewiesen, und das ist offenbar auch generell so verstanden worden.However, Streeck meint, die für Gangelt ermittelte IFR von
0.37%sei dennoch hilfreich für eine Abschätzung der Corona-Dunkelziffer auch in Regionen mit höherer oder niederer Infektionsrate, im Preprint ist dabei die Rede von “a useful metric“. (Schliesslich kann niemand einen Grund nennen, warum die IFR in Gangelt denn so ganz anders sein sollte als anderswo in Deutschland. Und das liefert dann die Hypothese, vor deren Hintergrund die sogenannte “Hochrechnung” zu sehen ist.)Die SWR-Journalisten haben das aber nicht einfach geschluckt und unkritisch wiedergekäut, sondern recherchiert, u.a den Herrn Berens dazu befragt und die bekannten Antworten erhalten. Das hältst Du für ein journalistisch schlechtes oder falsches Vorgehen???
Die Unkenntnis von Gründen für eine grosse Varianz der IFR andernorts ist eben kein hinreichender Grund für die Annahme einer überregional eher ignorablen Varianz der IFR, bezogen auf den Wert für Gangelt. Die Unsicherheiten bei der angegeben Zahl von
1.8 Miosind derart gross, dass die bundesweite Corona-Dunkelziffer auch im Lichte der Heinsberg-Studie so dunkel bleibt, wie sie es zuvor eh schon war.In den welt.de Artikeln wird recht auffällig betont, die Heinsberg-Studie sei von der NRW-Landesregierung beauftragt worden. Stimmt das? Meines Wissens hat Armin Laschet dies in einem Interview beim Deutschlandfunk bestritten, und überhaupt sei es ja nur sein Minister Laumann gewesen, der die 65,000 EUR Förderung bewilligt hat. Ich glaub’, der einzige richtige Profiteur von der Studie könnte unterm Strich jemand sein, der damit gar nichts zu tun hat — Markus Söder.
@Chrys // 24.05.2020, 15:38 Uhr
» Die SWR-Journalisten haben das [die Modellrechnung] aber nicht einfach geschluckt und unkritisch wiedergekäut, sondern recherchiert, …«
Nun ja, sie haben versucht, einen wenig schmackhaften Brocken, der aus gutem Grund im Diskussionsteil abgelegt war, mittels Statistik durchzukauen und genießbar zu machen, was natürlich nicht gelingen konnte: Wo Zutaten (adäquate Daten) fehlen, hilft auch forciertes Kauen nicht weiter, es macht die Sache nur noch schlimmer. Dies nicht erkannt zu haben, war eben der Fehler. Sie hätten besser daran getan, es zu lassen.
Oder sie hätten beispielsweise Prof. Dr. Gérard Krause zitieren können, den Leiter der Abteilung Epidemiologie, Helmholtz-Zentrum für Infektionsforschung (HZI) in Braunschweig, der als Experte mit auf dem (virtuellen?) Podium der besagten SMC-Veranstaltung saß.
» Die formidable “Hochrechnung” steht deshalb im Mittelpunkt der journalist. Aufmerksamkeit, weil Streeck selbst sie bei diesem Event [SMC-Veranstaltung] in den Vordergrund gerückt hat. «
Nicht nach meiner Wahrnehmung, das Transkript der Veranstaltung (PDF) gibt diese Sicht auch nicht her. Vor allem Hartmann hat dort die „Hochrechnung“ verteidigt. Aber eben nicht als Ergebnis der Untersuchung, sondern als eine Was-wäre-wenn-Geschichte. Hypothetisch halt, wie auch Streeck es in diesem Video-Interview zwischen Tür und Angel auf welt.de deutlich macht.
Bereits diesen einfachen Sachverhalt hat die von Dir als Zeugin aufgerufene Welt-Redakteurin Sarah Maria Brech anscheinend nicht richtig erfasst, wenn sie schreibt:
(Fettung von mir)
Man muss da schon präzise sein, sonst geht eben alles durcheinander: Im Diskussionsteil werden die Untersuchungsergebnisse bloß diskutiert, nicht präsentiert. Und die Schätzung der Dunkelziffer für ganz Deutschland ist eben kein Untersuchungsergebnis. Auch wenn einige Journalisten das gerne anders sehen möchten, aus welchen Gründen auch immer.
» “a useful metric” «
Dass die IFR eine nützliche Größe ist, dürfte unbestritten sein. Sie muss nur richtig angewendet werden. Wenn die Datengrundlage schwach ist, macht es keinen Sinn, mehr als eine „über den Daumen gepeilte“ Modellrechnung anzustellen. Das heißt, da hilft auch die schönste formal korrekte Statistik nicht weiter. Das hätten die SWR-Journalisten im Zuge ihrer großartigen Recherchearbeit eigentlich erkennen müssen.
» In den welt.de Artikeln wird recht auffällig betont, die Heinsberg-Studie sei von der NRW-Landesregierung beauftragt worden. Stimmt das? «
Keine Ahnung, sicher ist, dass das Land einen kleinen Zuschuss gegeben hat, und wohl auch, dass Armin Laschet die Durchführung dieser Untersuchung begrüßt hat.
Markus Söder als politischer Profiteur? Vielleicht—was mich in der Meinung bestärkt, dass Politik und ignorante Medien der hehren Wissenschaft nicht gut tun.
@Balanus / 25.05.2020, 18:57 Uhr
Dann wissen wir also jetzt, dass es Gunther Hartmann war, der hier das Wort geführt hat und eine Interpretation liefert, inwiefern denn “the IFR calculated here remains a useful metric for other regions with higher or lower infection rates.” Demnach lässt sich aus der in der Studie bestimmten IFR für Gangelt die Anzahl von bundesweit mindestens 1.8 Mio Infizierten als eine Abschätzung nach unten erhalten. Und Journalisten, die das so schreiben, geben damit nur wieder, was ihnen gesagt wurde. Okay?
Und nochmals, die SWR-Journalisten haben dies eben nicht einfach so geglaubt, sondern recherchiert, indem sie u.a. Philipp Berens zur Statistik konsultiert haben und dessen Beurteilung berichten. Und nicht nur Berens hat da etwas zu bemängeln. berechtigterweise.
Denn für so eine Abschätzung nach unten wären bei der IFR für Gangelt zunächst die error bars einzubeziehen, was gemäss der Studie mit
(0.37±0.08)%als Unsicherheit eingeht und von Hartmann offensichtlich unterschlagen wird. Die zweite Unsicherheit besteht in der (unbestimmten) Abweichung der IFR für Gangelt gegenüber der IFR für Germany. Dazu sagt Hartmann gar nichts. Wie’s aussieht setzt er die einfach mal als vernachlässigbar an. Bei Beachtung dieser Unsicherheiten ist es aber nicht länger gerechtfertigt, die für Gangelt ermittelte IFR als “a useful metric” für andere Regionen hinzustellen, und die genannte Zahl von mindestens 1.8 Mio Corona-Infizierten in Germany wird so zu einer Angabe ohne jeglichen Erkenntniswert.Weniger denn je sehe ich noch eine Möglichkeit für uns, in dieser Sache zu einem Einvernehmen zu kommen. In Deiner Version der Geschichte sind die SWR-Journalisten und Wissenschafter wie Berens die Bösen, während für mich gerade das die Guten mit den hellen Hüten sind.
Ich erwarte eigentlich, dass das LMU Klinikum München den Kollegen aus Bonn mal zeigt, wie man professionell und ganz ohne personal PR-Manager eine gute Studie abliefert. Die im übrigen zum Teil auch von der Landesregierung, d.h. vom Bayerischen Staatsministerium für Wissenschaft und Kunst finanziert wird.
@all
Man soll nicht alles glauben, was im Internet so behauptet wird.
In dem von @Balanus verlinkten Transkript findet sich etwas mehr als nichts:
Richtig ist, dass die Unsicherheit nicht quantifiziert wird, etwa in Berechnung und Angabe eines Konfidenzintervalls.
@Chrys / Schlusswort (?)
» Demnach lässt sich aus der in der Studie bestimmten IFR für Gangelt die Anzahl von bundesweit mindestens 1.8 Mio Infizierten als eine Abschätzung nach unten erhalten. «
Es bleibt dabei: Das geht nur, wenn man die in der Heinsberg-Studie genannten Einschränkungen beachtet. Es ist und bleibt bloß eine Hausnummer. Wer meint, man könne mittels Statistik mehr aus den Daten aus Gangelt herausholen, der betreibt das, was Du andernorts „bad statistics“ genannt hast. Streeck et al. haben folglich aus gutem Grund darauf verzichtet.
»Weniger denn je sehe ich noch eine Möglichkeit für uns, in dieser Sache zu einem Einvernehmen zu kommen. «
Das scheint mir inzwischen auch so. Du hast ja noch nicht einmal den Versuch unternommen, zu begründen, warum man die in der Diskussion präsentierten Überlegungen von Streeck et al. als Teil der Studienergebnisse zu betrachten hat und darum einer gründlichen statistischen Analyse bedürfen. Wie sollte es da zu einem Einvernehmen kommen können?
Allem Anschein nach spielt es für Dich keine Rolle, dass die in Gangelt gewonnenen Daten in Bezug auf ganz Deutschland letztendlich „bad data“ sind (zu wenige Tote). Es führt zu nichts, solche Daten, wie mancherorts geschehen, zur Grundlage von weitergehenden statistischen Berechnungen zu machen.
Und last but not least: Die in München führen, anders als die Bonner Kollegen, eine prospektive Studie durch, schon vergessen? Da gestaltet sich ein direkter Studienvergleich schwierig. Zumal die Münchner u.a. von BMW und Mercedes gesponsert werden und allein schon darum klar im Vorteil sind.
@Balanus / 27.05.2020, 11:12 Uhr
»Du hast ja noch nicht einmal den Versuch unternommen, zu begründen, warum man die in der Diskussion präsentierten Überlegungen von Streeck et al. als Teil der Studienergebnisse zu betrachten hat und darum einer gründlichen statistischen Analyse bedürfen.«
Was als Ergebnis einer empirischen Untersuchung gelten kann, ist grundsätzlich immer eine Frage der Interpretation von gesammelten Daten, die ohne eine solche Interpretation bedeutungsleer blieben. Und um konkreten Fall wäre die Frage: Ist es ein Ergebnis der Studie, mit der für Gangelt ermittelten IFR eine “useful metric” gefunden zu haben mit Hinblick auf eine Abschätzung der Dunkelziffer in anderen Regionen?
Falls nein, dann wäre die Studie wohl nur als eine ordentliche Fleissarbeit zu sehen, deren Ergebnisse sich nicht ersichtlich über Gangelt hinaus verallgemeinern lassen, wovon gewiss niemand sonderlich beeindruckt wäre. Und welche “Erkenntnisse und Schlussfolgerungen für konkrete Entscheidungen” sollten in diesem Fall für Gesellschaft und Politik da überhaupt noch zu diskutieren und zu bewerten sein?
Falls ja, dann wäre der Stellenwert der Studie ungleich höher einzuschätzen. und die Studie gäbe etwas her, was sich in Gesellschaft und Politik erörtern liesse. Wobei dann aber u.a. auch SWR-Journalisten und der Tübinger Professor Berens am Diskurs teilhaben. Im übrigen unterstellst Du implizit ja auch Berens, er sei zu blöd, die Arbeit richtig zu lesen. Was mich zum nächsten Punkt bringt:
»Wer meint, man könne mittels Statistik mehr aus den Daten aus Gangelt herausholen, der betreibt das, was Du andernorts „bad statistics“ genannt hast.«
Berens meint das ganz gewiss nicht. Grob gesagt läuft seine Kritik doch auf folgendes hinaus: Bei einem nach den Regeln der Statistik korrekten Einbezug der Unsicherheiten werden diese für eine “Hochrechnung” der von den Autoren skizzierten Art so gross, dass man trotz Kenntnis der IFR für Gangelt hinsichtlch der Dunkelziffer in anderen Regionen so klug ist als wie zuvor. Mit anderen Worten, die IFR für Gangelt liefert demnach keine “useful metric” für andere Regionen, wenn man genau hinschaut.
Irgendein Statistical Consultant wird sich beim Peer Review damit zu befassen haben, und man wird sehen, ob die 1.8 Mio da unbeanstandet durchgehen.
»Da gestaltet sich ein direkter Studienvergleich schwierig. Zumal die Münchner u.a. von BMW und Mercedes gesponsert werden und allein schon darum klar im Vorteil sind.«
Mein Qualitätsurteil “gut” schliesst das Design der Studie mit ein, und was da in München gemacht wird, verspricht meines Erachtens eher Ergebnisse, die unstrittig als useful akzeptiert werden. Ja, BMW und Mercedes stellen die Autos für die mobilen Studienteams. Hoffentlich elektrische, sonst wäre das womöglich nicht so useful für’s umweltbewusste Markenimage.
@Balanus / Conclusions?
Im Abstract des Preprints steht folgender Satz unter Conclusions:
Damit wäre uns wenigstens eine Vokabel vorgegeben, auf die wir uns zur Einordnung dieses Statements vielleicht einigen könnten — conclusion.
Dass wir uns einvernehmlich darüber verständigen könnten, ob conclusions nun einer »gründlichen statistischen Analyse bedürfen«, darf dessen ungeachtet nach wie vor sicherlich bezweifelt werden.
@Chrys // 28.05.2020
» Was als Ergebnis einer empirischen Untersuchung gelten kann, ist grundsätzlich immer eine Frage der Interpretation von gesammelten Daten, die ohne eine solche Interpretation bedeutungsleer blieben. «
Das ist nur zur Hälfte richtig. Was als Ergebnis einer empirischen Untersuchung gelten soll, wird im Studienplan festgelegt, und danach, wenn die Daten vorliegen, gibt es keinen Interpretationsspielraum mehr.
» Ist es ein Ergebnis der Studie, mit der für Gangelt ermittelten IFR eine “useful metric” gefunden zu haben mit Hinblick auf eine Abschätzung der Dunkelziffer in anderen Regionen? «
„…in anderen Regionen“ mit einer ähnlichen Populationscharakteristik wie in Gangelt.
Das, was als Schlussfolgerung aus den gewonnenen Daten maximal möglich ist, steht in den Conclusions. Wobei man sich aber auch durchaus vorstellen kann, dass in diesem Falle weniger mehr gewesen wäre. Mit nur sieben Todesfällen steht die IFR auf ziemlich wackeligen Füssen. Dennoch, es ist ein Anfang, die erste empirisch begründete Schätzung der SARS-CoV-2 IFR weltweit (soweit ich weiß).
»Berens meint das ganz gewiss nicht [dass man mittels Statistik mehr aus den Daten aus Gangelt herausholen könne]. «
Aber er führt statistische Berechnungen durch mit Daten, die dafür wenig geeignet sind. Ich würde mich wundern, wenn es das Ziel der Studie gewesen wäre, um mittels der Gangelt-related IFR die Infektionsrate für ganz Deutschland zu schätzen. Wäre dies der Zweck gewesen, hätten die Studienautoren dies eigentlich vorab als Studienziel benennen und im Ergebnisteil präsentieren müssen. Haben sie aber nicht.
Von daher ist es schlicht schlechte Praxis, im Nachhinein so zu verfahren, als wäre die theoretische Modellrechnung aus der Discussion ein weiteres Studienziel gewesen.
Nicht unwahrscheinlich, dass Berens das im Grunde weiß. Dies unterstellt dürfen wir zu seinen Gunsten annehmen, dass seine nachträglichen Berechnungen lediglich aufzeigen sollen, wie man verfahren würde, wenn man mittels der Gangelt-IFR die Infektionsrate für ganz Deutschland schätzen könnte.
»Irgendein Statistical Consultant wird sich beim Peer Review damit zu befassen haben, und man wird sehen, ob die 1.8 Mio da unbeanstandet durchgehen.«
So isses. Obwohl es hier bei diesem Nebenaspekt keines besonderen Statistikers bedarf.
» Dass wir uns einvernehmlich darüber verständigen könnten, ob conclusions nun einer »gründlichen statistischen Analyse bedürfen«, darf dessen ungeachtet nach wie vor sicherlich bezweifelt werden. «
Ich verstehe nicht ganz. In den Conclusions werden doch gar keine Zahlen genannt.
@Balanus / 29.05.2020, 23:24 Uhr
Das ist mir schon klar, dass Du `Ergebnis‘ hier im weitesten Sinne als `Messergebnis‘ begriffen wissen willst, wobei dann unter Messoperation jede methodisch vorgenommene Erhebung von Daten zu verstehen wäre, was prinzipiell vom physikal. Experiment bis hin zur demoskop. Befragung reicht.
Und in diesem Sinne müsstest auch sagen, es war kein Ergebnis des Michelson-Morley Expriments, keine Bewegung der Erde im Weltaether festgestellt zu haben, denn dies sei schliesslich nur eine Conclusion. Das Ergebnis war indes, dass bei diesem Experiment (in den Grenzen der instrumentellen Messgenauigkeit) keinerlei Interferenzmuster festgestellt wurden.
Das Beispiel verdeutlich aber auch, dass es die Conclusion sein kann, die dann im Fokus der Aufmerksamkeit steht. Berechtigterweise, dazu war das Experiment natürlich auch konzipiert worden, und niemand mit Sachverstand wird FitzGerald oder Lorentz vorhalten wollen, sie hätten nicht verstanden, was eigentlich das Ergebnis des Experiments von Michelson & Morley gewesen ist.
Okay, Deine sprachlichen Gepflogenheiten bezüglich `Ergebnis‘ mögen gängige Praxis u.a. in epidemiolg. Zirkeln sein. Deswegen auch mein nachgetragener Vorschlag einer Einigung auf Conclusion, verbunden mit der Frage nach Deiner Auffassung über die Berechtigung oder gar Erfordernis von statist. Betrachtungen zu einer behaupteten Folgerung, die formal wie inhaltlich schliesslich eine statistische ist!
Die Heinsberg-Studie war von Beginn an so beworben worden, dass auch hier die (vermeintlichen) Conclusionen in den Fokus gerückt wurden. Blicken wir mal zwei Monate zurück (Kreis Heinsberg – Chance für Deutschland? WDR, Stand: 27.03.2020, 14:49):
Berens hat da wohl einen Vergleich mit einer nichtssagenden Wettervorhersage bemüht. Man könnte hier auch sagen, es ist so ähnlich, als wolle man eine Hochrechnung für den Ausgang einer Bundestagswahl auf der Grundlage eines einzigen ausgezählten Stimmbezirks vornehmen oder auch nur behaupten, so etwas sei auf eine “useful” zu nennende Weise möglich.
»„…in anderen Regionen“ mit einer ähnlichen Populationscharakteristik wie in Gangelt.«
Es wird nirgendwo definiert, was “ähnlich” in diesem Kontext genau bedeuten soll, oder? Man kann hier nur raten, dass den Autoren die Populationscharakteristik von Gangelt der von ganz Deutschland als ähnlich genug gilt.
»Ich verstehe nicht ganz. In den Conclusions werden doch gar keine Zahlen genannt.«
Gewiss doch, “the IFR calculated on the basis of the infection rate in this community” ist eine Zahl, sogar ein Ergebnis der Studie nach Deinen eigenen Begriffen. Nur ist sie an dieser Stelle nicht beziffert, den Wert einzusetzen bleibt der Leserschaft überlassen.
@Chrys // 30.05.2020, 15:50 Uhr
» Und in diesem Sinne müsstest auch sagen, es war kein Ergebnis des Michelson-Morley Expriments, keine Bewegung der Erde im Weltaether festgestellt zu haben, denn dies sei schliesslich nur eine Conclusion. «
Ja, richtig. Würdest Du das etwa anders sagen? Unterscheidest Du nicht zwischen den Mess- bzw. Untersuchungsergebnissen und dem, was man daraus folgern kann?
»Das Beispiel [mit dem Michelson-Morley Experiment] verdeutlich aber auch, dass es die Conclusion sein kann, die dann im Fokus der Aufmerksamkeit steht.«
Unbestritten, Schlussfolgerung bringen in der Regel auf den Punkt, was die Untersuchungsergebnisse (allgemein) bedeuten.
In unserem Fall ist es u.a. die Aussage, dass die errechnete IFR dazu dienen kann, in gleichartigen Populationen wie die von Gangelt die Infektionsrate zu schätzen.
Diese Aussage soll also nun nach Meinung mancher Kritiker falsch sein. Oder zu weit gehen.
Wenn die Kritiker Recht haben, wieso verwenden sie dann diese angeblich nutzlose IFR und berechnen anhand dieses Wertes das Konfidenzintervall der Infektionsrate für Deutschland?
Vermutlich wird der Einwand sein, man habe ja erst durch die statistisch saubere Berechnung der deutschlandweiten Infektionsrate erkannt, dass die IFR für Gangelt nicht auf die Population Deutschlands übertragen werden kann.
Na sowas aber auch. Dann war es doch eigentlich gut und richtig, dass die Autoren der Studie derartige nutzlose Berechnungen unterlassen und sich (im Diskussionsteil!) auf die Angabe einer Hausnummer beschränkt haben.
»Man kann hier nur raten, dass den Autoren die Populationscharakteristik von Gangelt der von ganz Deutschland als ähnlich genug gilt. «
Wenn das zuträfe, hätten die Autoren es wie Berens machen und die Gangelt-IFR nach allen Regeln der statistischen Kunst auf Deutschland übertragen müssen. Haben sie aber nachweislich nicht getan.
@Balanus / 31.05.2020, 15:22 Uhr
»In unserem Fall ist es u.a. die Aussage, dass die errechnete IFR dazu dienen kann, in gleichartigen Populationen wie die von Gangelt die Infektionsrate zu schätzen.«
Vorbehaltlich gewisser Bedenken, similar mit gleichartig zu übersetzen und mit dem Hinweis darauf, dass similar in diesem Kontext semantisch obskur bleibt, sag’ ich mal ja, darum geht’s.
Den Kern der Kritik an der von Streeck et al. als useful bezeichneten Abschätzung will ich (nach meinem Verständnis) nochmals kurz verdeutlichen.
Es wird von der Hypothese ausgegangen, dass die IFR regional nicht sonderlich stark variiert, im Gegensatz zur Infektionsrate, die in einem Corona-Hotspot deutlich höher ist als bundesweit. Die Hypothese erscheint durchaus plausibel, wenngleich noch nicht empirisch nachgeprüft.
Die Idee ist dann, die IFR in einer Reigion mit hoher Prävalenz zu bestimmen, weil man mit ELISA in einem Corona-Hotspot besser testen kann, und anschliessend den ermittelten IFR Wert hochzurechnen, um damit eine Abschätzung der überregionalen resp. nationalen Corona-Dunkelziffer zu erhalten. Dies wird dann illustriert durch die berüchtigte “Beispiel-Hochrechnung”. Die ist aber nur bei oberflächlicher Betrachtung plausibel, denn der Teufel steckt auch hier in den statist. Details, die der Einfachheit halber schlicht unterschlagen wurden. Das heisst, unterschlagen wurden die error bars, die dabei nicht zu weit werden dürfen, wenn noch eine `useful‘ zu nennende Einsicht herauskommen soll.
Zum einen ist da das 95% CI der IFR für Gangelt, und man hat mit diesem Intervall zu rechnen, nicht nur mit dessen Mittelwert.
Zum anderen braucht es eine a priori Abschätzung, wie sehr die IFR für Gangelt von der überregionalen IFR abweicht. Dazu bietet sich offenbar die CFR an, darüber weiss man ja mehr. Deren Abweichung liesse sich zur Bemessung der Abweichung zwischen regional ermittelter und überregional gesuchter IFR heranziehen, doch das kriegt man ja auch wieder nur mit error bars als ein Intervall.
Bei der elementaren Beispiel-Hochrechnung mit Zahlen wird nicht deutlich, wie sehr sich bei einer Fehlerrechnung mit Intervallen die akkumulierten error bars spreizen. Und ich schätze mal jemanden wie Berens als routiniert genug ein, dass der da gar nicht erst grossartig rechnen muss, um zu sehen, wie sehr die sich spreizen — zu weit, als dass noch eine brauchbare Einsicht über die nationale Corona-Dunkelziffer dabei herauskommen kann.
Du verteidigst die Heinsberg-Studie hier ähnlich wie ein Stichling seine Brut. Was bei dem Stichling verständlich ist — es geht schliesslich um seine Brut. Aber es ist doch wohl nicht Deine Studie, um die es hier geht, oder bist Du darin irgendwie persönlich verstrickt?
@Chrys // 01.06.2020, 13:53 Uhr
»…oder bist Du darin irgendwie persönlich verstrickt?«
Eine 22-köpfige Bonner Bande hat dieses Paper, nun ja, verbrochen, ich gehöre nicht dazu. Kenne auch keinen von denen persönlich.
Zweiundzwanzig Leute, und keiner von denen hat es für nötig befunden, die theoretische „Hochrechnung“ im Diskussionsteil mit Error Bars zu versehen. Traurig, traurig… die Wissenschaft ist auch nicht mehr das, was sie einmal war… ;-).
Aber Gottseydank gibt ja smarte Journalisten, die so etwas nicht durchgehen lassen und das Publikum darüber informieren. Mehr noch, die wenden sich an einen Fachmann, der die vermeintlich fehlenden Error Bars dann nachliefert. Denn wie soll man sich auch an einer Hausnummer orientieren können, wenn keine Fehlerbalken vorhanden sind?
Davon abgesehen ist ja gar nichts dagegen einzuwenden, wenn man die für Gangelt ermittelte IFR anders bewertet, als es die Studienautoren tun. Das gehört zum wissenschaftlichen Geschäft.
Aber man kann den Autoren nicht vorwerfen, sie hätten behauptet, die IFR für Gangelt gelte auch für Germany. Das Gegenteil trifft zu.
»Es wird von der Hypothese ausgegangen, dass die IFR regional nicht sonderlich stark variiert, im Gegensatz zur Infektionsrate, die in einem Corona-Hotspot deutlich höher ist als bundesweit. Die Hypothese erscheint durchaus plausibel, wenngleich noch nicht empirisch nachgeprüft.«
Mit SARS-Cov-2 sicher nicht. Womöglich aber mit anderen Corona-Viren. Wie sonst käme das Center for Evidence-Based Medicine in Oxford dazu, die Verwendung des IFR-Parameters zu empfehlen, um die gesellschaftliche Bedeutung der SARS-Cov-2-Infektionen zu schätzen?.
@Stichlingsbrut: Was ich hier versuche zu verteidigen, ist die gute wissenschaftliche Praxis. Die sehe ich nämlich in Gefahr durch gewisse mediale Auswüchse.
@Balanus / 03.06.2020, 13:49 Uhr
»Wie sonst käme das Center for Evidence-Based Medicine in Oxford dazu, die Verwendung des IFR-Parameters zu empfehlen, um die gesellschaftliche Bedeutung der SARS-Cov-2-Infektionen zu schätzen?«
Dagegen sagt doch niemand was. Doch um die IFR für Germany herauszufinden reicht es nicht hin, als Ersatzproblem die IFR für Gangelt zu ermitteln und dann einfach die Anzahl von 7 Corona-Todesfällen in Gangelt durch die von 6,700 in Germany zu substituieren.
»Was ich hier versuche zu verteidigen, ist die gute wissenschaftliche Praxis. Die sehe ich nämlich in Gefahr durch gewisse mediale Auswüchse.«
In welcher Sparte gilt es denn als gute wissenschaftliche Praxis, bei der Angabe von empirisch ermittelten Zahlen die error bars komplett zu ignorieren?
Und wer hat die Heinsberg-Studie denn mit seinem eigens dazu angeheuertem PR-Berater schon im Vorfeld zu einem medialen Spektakel aufgebläht?
FYI: IFR-Werte zu Covid-19 wurden auch in anderen Gegenden der Welt schon gesucht und gefunden, hier ein Vergleich: A systematic review and meta-analysis of published research data on COVID-19 infection-fatality rates.
@Chrys // 05.06.2020, 13:40 Uhr
»In welcher Sparte gilt es denn als gute wissenschaftliche Praxis, bei der Angabe von empirisch ermittelten Zahlen die error bars komplett zu ignorieren? «
Dort, wo man keine wissenschaftliche Genauigkeit vortäuscht, wenn keine vorhanden ist. Wenn Fehlerbalken den falschen Eindruck vermitteln könnten, man hätte es mit einer solide berechneten Größe zu tun—und eben nicht nur mit einem Orientierungswert.
»… eigens dazu angeheuertem PR-Berater…«
Genau, der fehlte noch in Deiner Kritik… wobei ich gar nicht weiß, was genau der so gemacht hat. Aber allem Anschein nach hat er die Sache verbockt, wenn man sich die unterirdische Berichterstattung in einigen Medien so anschaut.
Ich bin in der kommenden Woche unterwegs, es wird Zeit, für ein abschließendes Zitat aus der Heinsberg-Studie, das ich zustimmungsfähig und dem eigentlich auch Du zustimmen müsstest:
[Danke für den Hinweis auf die Metastudie zur IFR weltweit. Das Bild ist ja doch (noch) recht uneinheitlich]
@Balanus / 06.06.2020, 21:27 Uhr
»Dort, wo man keine wissenschaftliche Genauigkeit vortäuscht, wenn keine vorhanden ist.«
Es wird dort etwas vorgetäuscht, nämlich ein Nutzen der für Gangelt ermittelten IFR hinsichtlich einer Abschätzung der bundesweiten Corona-Dunkelziffer. Dieser behauptete Nutzen ist jedoch nicht vorhanden, denn da lässt sich nichts so wie behauptet von Gangelt auf Germany hochrechnen.
»Aber allem Anschein nach hat er [der PR-Berater] die Sache verbockt, wenn man sich die unterirdische Berichterstattung in einigen Medien so anschaut.«
Passend dazu (faz.net, 04.06.2020): Kontrollorgan rügt PR-Arbeit für Heinsberg-Studie.
»It will be very important to determine the true average IFR for Germany.«
Das das wusste man aber auch schon vorher, ganz ohne Heinsberg-Studie.
FYI: Hier hat es noch eine vergleichsweise elementare Einführung in die Grundlagen der “Dunkelziffer-Mathematik”: The Mathematics of Testing with Application to Prevalence of COVID-19.
Neben der Heinsberg-Studie zieht der Autor, Leonid Hanin, noch die damit vergleichbare Santa Clara-Studie als Beispiele für suboptimales Design heran.
Ich wünsche Dir eine gute Woche, und lass’ Dich unterwegs nicht anstecken.