PsychometricLLaMA

Die rasante Entwicklung generativer Sprachmodelle erffnet neue Mglichkeiten der psychologischen Skalenentwicklung. Diese pr-registrierte Arbeit untersucht den Einsatz von Sprachmodellen zur automatischen Generierung von Likert-Items, aufbauend auf bisherigen Anstzen. Ein neuer Datensatz wurde durch eine systematische Literaturrecherche erstellt und mit bestehenden Quellen kombiniert, um das LLaMA 2-Sprachmodell mittels Low-Rank Adaption zu trainieren. Das Modell generiert auf Basis einer Definition psychologische Items mit Anpassungsmglichkeiten fr Schwierigkeit und Kreativitt. Zur berprfung der psychometrischen Gte wurden Items zu sechs Konstrukten generiert und online mit N = 200 Personen erhoben. Die Ergebnisse zeigten vielversprechende psychometrische Kennwerte: Die meisten Items konnten eine gute interne Konsistenz und hohe Korrelationen mit den Originalskalen aufweisen. Allerdings war die Anpassung der Item-Schwierigkeit nicht erfolgreich. Unterschiede in Antwortverteilung und Interkorrelationen zwischen KI- und Originalskalen wurden festgestellt. Insgesamt leistet diese Arbeit einen bedeutenden Beitrag zur psychologischen Fragebogenkonstruktion durch das Fine-Tuning eines KI-Modells zur Generierung reliabler und valider Items.