BestMasters PsychometricLLaMA

Zur Überprüfung der psychometrischen Güte wurden Items zu sechs Konstrukten generiert und online mit N = 200 Personen erhoben. Die Ergebnisse zeigten vielversprechende psychometrische Kennwerte: Die meisten Items konnten eine gute interne Konsistenz und hohe Korrelationen mit den Originalskalen aufweisen. Die rasante Entwicklung generativer Sprachmodelle eröffnet neue Möglichkeiten der psychologischen Skalenentwicklung. Diese prä-registrierte Arbeit untersucht den Einsatz von Sprachmodellen zur automatischen Generierung von Likert-Items, aufbauend auf bisherigen Ansätzen. Ein neuer Datensatz wurde durch eine systematische Literaturrecherche erstellt und mit bestehenden Quellen kombiniert, um das LLaMA 2-Sprachmodell mittels Low-Rank Adaption zu trainieren. Das Modell generiert auf Basis einer Definition psychologische Items mit Anpassungsmöglichkeiten für Schwierigkeit und Kreativität. Zur Überprüfung der psychometrischen Güte wurden Items zu sechs Konstrukten generiert und online mit N = 200 Personen erhoben. Die Ergebnisse zeigten vielversprechende psychometrische Kennwerte: Die meisten Items konnten eine gute interne Konsistenz und hohe Korrelationen mit den Originalskalen aufweisen. Allerdings war die Anpassung der Item-Schwierigkeit nicht erfolgreich. Unterschiede in Antwortverteilung und Interkorrelationen zwischen KI- und Originalskalen wurden festgestellt. Insgesamt leistet diese Arbeit einen bedeutenden Beitrag zur psychologischen Fragebogenkonstruktion durch das Fine-Tuning eines KI-Modells zur Generierung reliabler und valider Items. Der Autor Björn Gilles studierte im Master Psychologie mit Schwerpunkt Arbeits-, Organisations- und Wirtschaftspsychologie an der Ruhr-Universität Bochum. Er unterstützte die Forschung zum Thema Mensch-KI-Teaming im Rahmen des interdisziplinären Verbundprojekts HUMAINE während seines Studiums.