index.qmd

---
title: Performance of ChatGPT in constructed responses
subtitle: Die Performance von ChatGPT in freien Antwortformaten
title-block-banner: true # "#145F7D" als Fakultäts-Farbe
# title-block-banner-color: "#F0F0F0" als weisse Schrift
theme:
  light: flatly
  dark: darkly
metadata-files: 
  - _authordata.yml # vor der finalen Online-Veröffentlichung noch hierhin kopieren
  - _plain-language-summary.yml # die Gedankenstruktur des Manuskripts: siehe NOTIZ
filters:
  - authors-block # um den Autoren-Block auch im Word-Dokument zu haben
  - abstract-section # um den Abstract im normalen Text und nicht im YAML-Header zu schreiben
  - color-text.lua # Schriftfarben
keywords: 
  - Medical Education
  - Artificial Intelligence
description: |
  ChatGPT kann Multiple-Choice-Fragen mit beeindruckenden Leistungen beantworten. Gilt dies auch für Fragen mit freien Antwortmöglichkeiten?
key-points:
  - Medizinische Ausbildung ist ein Querschnittsfach aus den Bereichen Medizin, Pädagogik und Psychologie.
  - Medical education is a multidisciplinary field of medicine, education, and psychology.
date: last-modified
bibliography: references.bib
csl: bmc-medicine.csl
citation-location: margin
number-sections: false
appendix-style: default
funding: 
  statement: "Der/die Autor*innen erhielt(en) für diese Arbeit keine spezielle Finanzierung."
lang: de
---

## Abstract

**Background / Hintergrund**: ...

**Methods / Methoden**: ...

**Results / Ergebnisse**: ...

**Conclusio / Schlussfolgerungen**: ...

****

:::{.callout-caution title="IN PROGRESS ..."}
This manuscript is a work in progress. However, thank you for your interest. Please feel free to visit this web site again at a later date.

[*Dieses Manuskript ist noch in Arbeit. Wir danken Ihnen jedoch für Ihr Interesse. Bitte besuchen Sie diese Website zu einem späteren Zeitpunkt noch einmal ...*]{color=grey}
:::

:::{.callout-tip title="STRUKTUR DES MANUSKRIPTS" collapse=true}
[*{{< meta plain-language-summary >}}*]{color=grey}
:::

## Background / Hintergrund

### Broad problem / Allgemeineres Problem
...

### Theoretical and/or empirical focus of the problem / Theoretische und/oder empirische Fokussierung des Problems
...

### Focused problem statement / Fokussiertes Problem-Statement: Gap und möglicher Fortschritt 
... 

### Statement of study intent / Fokussierte Forschungsfrage/n

We performed a study of medical students to investigate the following questions:

1.	What is ...
2.  Why are ... 

Wir haben eine Studie mit Medizinstudierenden durchgeführt, um die folgenden Fragen zu untersuchen:

1. Was ist ...
2.  Warum sind ... 

## Methods / Methoden

### Setting and subjects / Setting und Probanden

Our study was conducted at Medical School ... 

Unsere Studie wurde an der Medizinischen Fakultät der ... durchgeführt. 


It takes six years to complete a course in medical school in Germany, with students enrolled directly from secondary schools. The course of study is divided into a pre-clinical section (the first two years) and a clinical section (the last four years). To improve students' clinical experience, they are rotated in various hospital departments during their final year ("clinical/practical" year).
... 

Das Medizinstudium in Deutschland dauert sechs Jahre, wobei die Studierenden direkt von den weiterführenden Schulen aufgenommen werden. Das Studium gliedert sich in einen vorklinischen Teil (die ersten beiden Jahre) und einen klinischen Teil (die letzten vier Jahre). Um die klinische Erfahrung der Studenten zu verbessern, werden sie während ihres letzten Jahres (klinisch-praktisches Jahr) in verschiedenen Krankenhausabteilungen eingesetzt.

### Study design / Studiendesign


The participants were asked to complete the BNT voluntarily and anonymously. 


### Ethical approval / Ethikvotum
All participants had to agree verbally to participate. Additionally, they provided informed consent prior to the study by reading the background information and choosing to provide data. Ethical approval was given by the Ethics Committee of the Chamber of Physicians at Westfalen-Lippe and Bielefeld University, Medical School OWL (XXXX-YYY-f-S).

Alle Teilnehmer mussten sich mündlich zur Teilnahme bereit erklären. Zusätzlich gaben sie vor der Studie eine informierte Einwilligung, indem sie die Hintergrundinformationen lasen und sich daraufhin für die Bereitstellung ihrer Daten entschieden. Das Ethikvotum wurde von der Ethikkommission der Ärztekammer Westfalen-Lippe und der Universität Bielefeld, Medizinische Fakultät OWL (XXXX-YYY-f-S) erteilt.

### Data collection / Datenerhebung
Data collection for this study was determined à priori as follows:

-   Input ... 

Die Datenerhebung für diese Studie wurde à priori wie folgt festgelegt:

-   Input ... 

### Outcome Measures / Ergebnisparameter
... 

### Statistical methods / Statistische Methoden
We used the standard alpha level of .05 for significance and a power level of .80. Therefore, we needed a sample size of at least XX participants to detect an effect size showing a minimally important difference (d = .YY) [@hattie2023visible] in outcome level between intervention and control groups (calculated 
*a priori* with G*Power 3.1) [@faul2007g].
Statistical analysis, tables and figures were conducted using R [@R-base] in RStudio IDE (Posit Software, Boston, MA) with the tidyverse-, gt- and ggstatsplot-packages [@tidyverse; @gt; @patil2021visualizations]. Descriptive means and standard deviations were calculated for participants’ age, and total test scores and frequencies were calculated for sex and for solving the case scenarios. Sample means and frequencies were compared with population means and frequencies using one-sample t-tests and chi-square tests, respectively. ...

Wir verwendeten das Standard-Alpha-Niveau von .05 für die Signifikanz und ein Power-Niveau von .80. Daher benötigten wir eine Stichprobengröße von mindestens XX Teilnehmern, um eine Effektgröße nachzuweisen, die einen minimal bedeutsamen Unterschied (d = .YY) [@hattie2023visible] im Ergebnisniveau zwischen Interventions- und Kontrollgruppe zeigt (*a priori* berechnet mit G*Power 3.1) [@faul2007g]. 
Statistische Analysen, Tabellen und Abbildungen wurden mit R [@R-base] in RStudio IDE (Posit Software, Boston, MA) mit den tidyverse-, gt- und ggstatsplot-Paketen [@tidyverse; @gt; @patil2021visualizations] durchgeführt. Deskriptive Mittelwerte und Standardabweichungen wurden für das Alter der Teilnehmer berechnet, und die Gesamttestwerte und Häufigkeiten wurden für das Geschlecht und für die Lösung der Fallszenarien berechnet. Die Mittelwerte und Häufigkeiten der Stichprobe wurden mit den Mittelwerten und Häufigkeiten der Grundgesamtheit unter Verwendung von t-Tests bzw. Chi-Quadrat-Tests für eine Stichprobe verglichen. ...


## Results / Ergebnisse

### Recruitment Process and Demographic Characteristics / Studienteilnehmer
The recruitment process is shown in Figure 1. We obtained XX complete data sets (return rate YY.Z%) after contacting ...

Der Rekrutierungsprozess ist in Abbildung 1 dargestellt. Wir erhielten XX vollständige Datensätze (Rücklaufquote YY.Z%), nachdem wir Kontakt mit ...

<!-- Man kann Code-Ergebnisse über {{< embed notebooks/EDA.qmd#fig-map >}} einfügen -->

### Primary and secondary Outcomes / Haupt- und Nebenergebnisse
... 

<!-- Man kann Code-Ergebnisse über {{< embed notebooks/EDA.qmd#fig-map >}} einfügen -->

## Discussion / Diskussion

### Summary / Zusammenfassung der Ergebnisse 
After the evaluation of all datasets, the following findings emerged. The first is that ...

Nach Auswertung aller Datensätze ergaben sich die folgenden Erkenntnisse: Die erste ist, dass ... 
 
### Limitation: Studienpopulation 
möglicher Einfluss der Studienpopulation auf Interpretation und Anwendbarkeit der Ergebnisse 
... 

### Limitation: Studiendesign
möglicher Einfluss des Studiendesigns auf Interpretation und Anwendbarkeit der Ergebnisse
...  

### Integration with prior work / Vergleich mit bestehender theoretischer und empirischer Forschung
... 

### Implications for practice / Direkte Auswirkungen der Ergebnisse auf Praxis 
... 

### Implications for research / Direkte Auswirkungen der Ergebnisse auf Forschung  
... 

## Conclusions / Schlussfolgerungen
... 


## References {.unnumbered}

::: {#refs}
:::



## Declarations {.appendix}

### Ethics approval and consent to participate / Ethikvotum
Participants were asked to complete the test voluntarily and anonymously. To achieve maximum transparency, all participants had to verbally agree to participate. Additionally, they provided their informed consent prior to the study by reading the background information and choosing to provide data. An extra written consent was not obtained. The study and the use of only verbal consent was approved by the Ethics Committee of the Chamber of Physicians at Westfalen-Lippe and Bielefeld University, Medical School OWL (XXXX-YYY-f-S).

Die Teilnehmer wurden gebeten, den Test freiwillig und anonym auszufüllen. Um ein Höchstmaß an Transparenz zu erreichen, mussten alle Teilnehmer ihre mündliche Zustimmung zur Teilnahme geben. Darüber hinaus gaben sie vor der Studie ihre informierte Zustimmung, indem sie die Hintergrundinformationen lasen und sich für die Bereitstellung ihrer Daten entschieden. Eine zusätzliche schriftliche Einwilligung wurde nicht eingeholt. Die Studie und die Verwendung der ausschließlich mündlichen Einwilligung wurde von der Ethikkommission der Ärztekammer Westfalen-Lippe und der Medizinischen Fakultät OWL der Universität Bielefeld genehmigt (XXXX-YYY-f-S).

### Consent for publication / Einwilligung zur Veröffentlichung
Not applicable

Nicht zutreffend

### Availability of data and materials / Verfügbarkeit von Daten und Materialien
The original data that support the findings of this study are available from Open Science Framework (osf.io, see manuscript-URL).

Die Originaldaten der Studie sind beim Open Science Framework (osf.io, siehe Manuskript-URL) verfügbar. 

### Competing interests / Konkurrierende Interessen
The authors declare that they have no competing interests.

Die Autoren erklären, dass sie keine konkurrierenden Interessen haben.

### Funding / Finanzierung

The author(s) received no specific funding for this work.

Der/die Autor*innen erhielt(en) für diese Arbeit keine spezielle Finanzierung.

### Authors' contributions / Beiträge der Autor*innen

HF conceived the study and participated in its design and coordination. XX participated in the data acquisition and data analysis. YY participated in the study design. ZZ participated in the design and coordination of the study. All authors helped to draft the manuscript.

HF konzipierte die Studie und beteiligte sich an deren Gestaltung und Koordination. XX war an der Datenerfassung und Datenanalyse beteiligt. YY war an der Gestaltung der Studie beteiligt. ZZ beteiligte sich an der Konzeption und Koordination der Studie. Alle Autor*innen haben an der Erstellung des Manuskripts mitgewirkt.

### Acknowledgments / Danksagung
The authors are grateful for the insightful comments offered by the anonymous peer reviewers at {{< meta citation.container-title >}}. The generosity and expertise of one and all have improved this study in innumerable ways and saved us from many errors; those that inevitably remain are entirely our own responsibility.

Die Autoren sind dankbar für die aufschlussreichen Kommentare der anonymen Peer-Reviewer von {{< meta citation.container-title >}}. Die Großzügigkeit und das Fachwissen eines jeden Einzelnen haben diese Studie auf unzählige Arten verbessert und uns vor vielen Fehlern bewahrt; die, die unvermeidlich bleiben, liegen vollständig in unserer eigenen Verantwortung.