Entwicklung der Ergebnisse des zweiten und dritten Abschnitts der Ärztlichen Prüfung („M2“ Und „M3“) In Deutschland
Abstract
Zusammenfassung: Ziel der Studie Analyse der Entwicklung der Ergebnisse des Zweiten (klinisch-schriftlichen, „M2“) und Dritten (klinisch-mündlichen; „M3“) Abschnitts der Ärztlichen Prüfung in Deutschland. Methodik Es wurden öffentlich verfügbare Daten des Zweiten und Dritten Abschnitts der Ärztlichen Prüfung analysiert (Jahre 2014–2020). Meta-Regressions-Modelle (mixed-effects) schätzten Zusammenhänge zwischen Prüfungsergebnissen und dem Zeitpunkt der Prüfung ein. Ergebnisse Im untersuchten Zeitraum nahmen insgesamt 63 811 bzw. 32 852 Teilnehmer an den untersuchten M2- bzw. M3-Prüfungen teil. Der Prozentsatz durchschnittlich richtig beantworteter Fragen aller M2-Examina lag bei 77,7% (Minimum: 73%; Maximum: 82,7%). Es zeigte sich über die Zeit eine große Variation in den Ergebnissen: Der Anteil von Teilnehmern mit „sehr gutem“ Ergebnis variierte zwischen 0,1% (Frühjahr 2020) und 17% (Herbst 2015) und der Anteil von Teilnehmern mit „gutem“ Ergebnis zwischen 21% (Frühjahr 2020) und 52% (Herbst 2015). Insgesamt zeigte sich bei Analyse der M2-Examina ein negativer Trend. Über die Zeit sanken bspw. der Prozentsatz richtig beantworteter Fragen (Steigung β=-0,82%; p < 0,01) und der Anteil von Teilnehmern mit „sehr gutem“ (β=-1,17; p=0,04) und „gutem“ (β=-2,58; p=0,02) Ergebnis. In den Modellen konnte mit dem Zeitpunkt der Prüfung zwischen 20 und 34% der Heterogenität zwischen den Prüfungen erklärt werden. In den M3-Examina zeigte sich nur eine sehr geringe Variation über die Zeit, außerdem waren keine Trends zu erkennen (p=0,08–0,60). Schlussfolgerung Die Ergebnisse der M2-Examina variierten über die letzten Jahre stark, außerdem zeigte sich ein deutlicher Trend hin zu durchschnittlich schlechteren Ergebnissen. Die Ergebnisse der M3-Examina blieben hingegen bei geringer Variation auf konstantem Niveau. Mögliche Ursachen dieser Entwicklungen – etwa schlechter werdende schriftliche Fähigkeiten der Studierenden oder ein höherer Anforderungsgrad in den M2-Examina – sollten untersucht werden. Die große Variation der durchschnittlichen Ergebnisse stellt die Reliabilität und Vergleichbarkeit der M2-Examina in Frage.
Integrity signals
Registry
Cites
Statistics
Claims the paper makes
Claims other papers make about this one
Each is checked against this paper’s own text: does it say what the citing paper says it does?
The significant decline in GPT-4 and Bing performance in the fall 2022 examination was attributed to a potential increase in question difficulty.
“There was a significant decline in the performance of GPT-4 and Bing in the fall 2022 examination, which was attributed to a higher proportion of media-related questions and a potential increase in question difficulty.”
From Artificial Intelligence in Medical Education: Comparative Analysis of ChatGPT, Bing, and Medical Students in Germany (2023) · cites this paper as [20]
The consistent performance of students and GPT-3.5-Turbo suggests there may have been more questions with a higher degree of difficulty in the fall 2022 examination.
“The consistent performance of the students and GPT-3.5-Turbo also suggests that there may have been more questions with a higher degree of difficulty in the fall 2022 examination; this also aligns with a current negative trend in the results of the state examinations, with a large variation among individual examinations [20].”
From Artificial Intelligence in Medical Education: Comparative Analysis of ChatGPT, Bing, and Medical Students in Germany (2023) · cites this paper as [20]
There is a current negative trend in the results of the state examinations, with a large variation among individual examinations.
“this also aligns with a current negative trend in the results of the state examinations, with a large variation among individual examinations [20].”
From Artificial Intelligence in Medical Education: Comparative Analysis of ChatGPT, Bing, and Medical Students in Germany (2023) · cites this paper as [20]
Cites
Conducting Meta-Analyses in <i>R</i> with the <b>metafor</b> Package
Viechtbauer, W. (2010) · Journal of Statistical Software · doi:10.18637/jss.v036.i03 · Cited by 20,464 · see citing works
Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009) · doi:10.1002/9780470743386 · Cited by 14,225 · see citing works
Flagged first, then by citations
Cited by
Sorted by citations
Roos, J., Kasapovic, A., Jansen, T., & Kaczmarczyk, R. (2023) · JMIR Medical Education · doi:10.2196/46482 · Cited by 98 · see citing works
- Authors
- Palmowski, A.
- Affiliations
- Charité – Universitätsmedizin Berlin (DE)
- Corresponding author
- Palmowski, Andriko
- ORCID
- Palmowski, Andriko
- Venue
- Das Gesundheitswesen
- Publisher
- Georg Thieme Verlag KG
- Published
- 2021-01-07
- Volume
- 84
- Issue
- 11
- Pages
- 1067-1070
- ISSN
- 0941-3790 (ISSN-L)
- 1439-4421
- OpenAlex
- W3118836595
- Cited by
- 1
- References
- 2
- Citations by year
- 2023: 1
- FWCI
- 0.22
- Type
- journal article
- Language
- de
- Open access
- closed
- Locations
- Das Gesundheitswesen (publishedVersion)
- PubMed (publishedVersion)
- Topics
- Health Sciences › Medicine › Public Health, Environmental and Occupational Health › Innovations in Medical Education
- Health Sciences › Medicine › Public Health, Environmental and Occupational Health › Medical Education and Admissions
- Health Sciences › Health Professions › General Health Professions › Health and Medical Education
- Keywords
- medical licensing examinations, clinical skills assessment, oral examination, written examinations, assessment reliability, medical students, German medical education
- MeSH terms
- Clinical Competence, Educational Measurement, Germany, Humans, Licensure, Reproducibility of Results
About these checks
Registry, retraction, Cites and statistics results are computed, not judged, with one exception: a printed reference that no index lists is read once by a model before it counts as a citation error. Claims are extracted by a model and kept only when their quote appears verbatim in the text; each cited source is then checked, with a model’s help, for whether it says what the claim relies on. Those verdicts can be wrong — read the claim’s quote and the cited source before relying on one.
Statistics and arithmetic are recomputed, not judged.
Confidence bands are shown only for fields calibrated on our annotated test set. None is calibrated yet, so no band is shown.
What counts as a claim ›How we measure confidence ›How we check this ›
Are you an author, or do you see a problem with this page? Request a review