GESIS Training Courses
user_jsdisabled
Search

Scientific Coordination

Alisa Remizova

Administrative Coordination

Janina Götsche

Please wait...

Anwendung von Modellen der Item-Response-Theorie in R

About
Location:
Köln / Unter Sachsenhausen 6-8
 
Inhalte:
Datenanalyse
Kurslevel:
Anfänger
Format:
Workshop
Software:
R
Dauer:
3 Tage
Sprache:
Deutsch
Teilnahmebeiträge:
Students: 330 €
Academics: 495 €
Commercial: 990 €
 
Keywords
Additional links
Lecturer(s): Sebastian Weirich, Nicklas Hafiz

About the lecturer - Sebastian Weirich

About the lecturer - Nicklas Hafiz

Course description

Der Workshop vermittelt theoretische und praktische Einblicke in die Modellierung dichotomer und polytomer Testdaten mit Hilfe von Modellen aus der Item Response Theory (IRT). Die IRT ist geeignet, latente Konstrukte zu messen und zu modellieren, die über manifeste Indikatoren operationalisiert werden. Ein Beispiel sind etwa Schulleistungen im Fach Mathematik, die über Mathematikaufgaben operationalisiert werden und am Ende Vergleiche zwischen Personengruppen bezüglich ihrer mathematischen Kompetenz erlauben.
Im Workshop werden die Prinzipien latenter Messmodelle diskutiert und die grundlegenden Unterschiede zwischen klassischer Testtheorie und Item Response Theory erläutert. Die verschiedenen Parametrisierungen von IRT-Modellen (Rasch-Modell, 2pl, 3pl, Partial Credit) werden ebenso behandelt wie die Unterschiede zwischen verschiedenen Schätzverfahren (Joint Maximum Likelihood [JML], Conditional Maximum Likelihood [CML], Marginal Maximum Likelihood [MML]). So kann ein Raschmodell in der MML-Formulierung wie ein allgemeines lineares gemischtes Modell mit festen Effekten auf der Itemseite und zufälligen Effekten auf der Personenseite verstanden werden. Ferner soll der Workshop die Bedeutung und Verwendung von plausiblen Werten verdeutlichen.
Im praktischen Teil werden verschiedene Beispieldaten mit IRT-Modellen analysiert, um typische Fragestellungen aus psychologischen oder pädagogischen Kontexten zu beantworten, z.B. ob sich Testpersonen, die ein bestimmtes Training absolviert haben, in der Entwicklung latenter Fähigkeiten von Personen unterscheiden, die dieses Training nicht absolviert haben. Prinzipiell können im Rahmen der IRT sowohl Quer- als auch Längsschnittdaten analysiert und entsprechende Forschungshypothesen getestet werden, ebenso wie Fragen zur Güte des Messinstruments im Rahmen von Pilotstudien.
Ein weiterer Teil des Workshops befasst sich mit den Voraussetzungen, die erfüllt sein müssen, um quantitative Fragestellungen überhaupt mit IRT-Methoden bearbeiten zu können. Oft ist es schwierig zu erkennen, ob und inwieweit diese Voraussetzungen erfüllt sind oder verletzt werden (z.B. durch differentielles Itemfunktionieren [Differential, Item Functioning; DIF]). Aus diesem Grund wird im Workshop auch näher darauf eingegangen, wie diese Voraussetzungen überprüft werden können.
 
Organisatorische Struktur des Kurses
  • Der Workshop gliedert sich in theoretische Vorträge und praktische Übungen, wobei letztere insbesondre an den Workshoptagen 2 und 3 deutlich im Vordergrund stehen. Ein Block würde immer 90 Minuten dauern; und ein Workshoptag besteht aus vier Blöcken. In den praktischen Übungen werden die zuvor theoretisch vermittelten Themen anhand von Beispieldaten veranschaulicht.
  • Die Teilnehmer:innen können die Übungen entweder allein oder gemeinsam in kleineren Gruppen bearbeiten und sich gegenseitig unterstützen. Natürlich stehen auch die Referenten während der Übungen für Hilfestellungen zur Verfügung.
  • Nach den praktischen Übungen werden die Ergebnisse dann diskutiert und verschiedene prototypische Lösungswege gegenübergestellt


    • Target group

  • Der Workshop richtet sich an Personen, die Testdaten, die latente Konstrukte operationalisieren, mit IRT-Modellen auswerten möchten. Dabei kann es sich zum einen um Pilotstudien handeln, die Aufschluss über die psychometrische Qualität der verwendeten Items geben sollen. Hier wäre eine typische Fragestellung: sind die in dem Test verwendeten Items geeignet, das Konstrukt „Intelligenz“ zu messen? Sind die Items fair, trennscharf und konstrukthomogen?
  • Ziel der Analysen können aber auch inhaltliche Fragestellungen sein, etwa: Wie stark ist die Korrelation zwischen latenten Merkmalen (z.B. schulischen Fähigkeiten) und bestimmten persönlichen Merkmalen (SES, Geschlecht)? Oder: Sind die mathematischen Lernfortschritte von Schüler:innen, die ein bestimmtes Training absolvieren, besser als die einer Kontrollgruppe?


    • Learning objectives

    Am Ende des Kurses sollten die Teilnehmer:innen in der Lage sein:
  • Datensätze für entsprechende IRT-Analysen aufzubereiten
  • IRT-Analysen durchzuführen, die Eignung der Daten einzuschätzen, empirisch ungeeignete Items identifizieren zu können oder die Messmodelle entsprechend anzupassen, so dass das Modell verlässliche Parameterschätzungen erlaubt
  • Inhaltliche Fragestellungen zu beantworten, indem konfirmatorische Modelle spezifiziert werden, die das Testen konkreter statistischer Hypothesen erlauben
  • Metadaten (bspw. plausible values) aus IRT-Modellen zu erzeugen, die in weiterführenden Analysen genutzt werden können
  • Perspektiven und Anregungen für das weiterführende Selbststudium nutzen zu können


    • Prerequisites

  • Grundlegende Kenntnisse der R-Programmiersprache: Datenmanagement, Erzeugen und Manipulieren von Objekten, Einlesen und Speichern von Objekten bzw. Datensätzen
  • Grundlegende statistische und wahrscheinlichkeitstheoretische Kenntnisse
    •  
    Benötigte Software und Hardware
    Im Workshop wird die Software R mit verschiedenen Paketen verwendet. Die Verwendung von RStudio wird empfohlen, ist aber nicht zwingend notwendig. Es empfielt sich aber ein Texteditor mit „syntax Highlighting“. RStudio hat einen solchen Editor bereits integriert. Verwendet man kein RStudio, bieten sich Notepad++ oder Tinn-R als Alternativen an.
     
    Erforderliche Software:
  • R: frei zu installieren von
  • Windows: https://cran.r-project.org/bin/windows/base/
  • Mac: https://cran.r-project.org/bin/macosx/
  • Linux: https://cran.r-project.org/
  • R-Pakete. Hier wird in kursiver Schrift jeweils die Syntaxzeile angegeben, mit der das Paket in R installiert werden kann. Die Pakete sollten in der hier angegebenen Reihenfolge installiert werden
  • remotes:
    install.packages("remotes")
  • lme4:
    install.packages("lme4")  # Version 1.1 oder neuer
  • TAM:
    install.packages("TAM")  # Version 4.1 oder neuer
  • eatModel:
    remotes::install_github("weirichs/eatModel", upgrade="never")
    •  
    Optionale Software:
  • RStudio: frei zu installieren von
  • https://posit.co/downloads/
    •  
    Probleme, die bei der Installation der Pakete auftreten können, können ebenfalls zu Beginn des Workshops geklärt werden.


    Schedule

    Recommended readings