Messung des Lernerfolgs: Anwendung des Kirkpatrick-Modells zur Steigerung der Bildungsrendite

Es gibt verschiedene Wege, um die Auswirkungen zu messen. Theorien legen nahe, welche Daten die richtigen sein sollten, doch die Realität macht uns oft einen Strich durch die Rechnung. Das führt zu einer Vielfalt von Methoden zur Bestimmung von Auswirkungen, deren Wert zunimmt. Einige sind indirekt, andere direkter. Wir sollten diejenigen wählen, zu denen wir Daten sammeln können, aber auch stets danach streben, unser Vorgehen zu verbessern.

Ein Ausgangspunkt:

Ein grundlegendes Rahmenwerk ist das sogenannte Kirkpatrick-Modell (mit Vorbehalten bezüglich der Legitimität des Ruhmes).

Hierbei werden vier Ebenen bewertet:

Ebene 1: Was denken die Ausführenden über die Intervention?
Ebene 2: Gab es direkte Ergebnisse der Intervention auf die Fähigkeiten der Ausführenden?
Ebene 3: Gibt es anhaltende Verhaltensergebnisse am Arbeitsplatz als Folge?
Ebene 4: Führen diese Veränderungen im Arbeitsverhalten zu Verbesserungen?

Es gibt mehrere Vorbehalte dazu. Zum einen korreliert eine Anfängerbewertung des Wertes einer Lernerfahrung nicht hoch mit der messbaren Auswirkung. Es sei denn, wir möchten glückliche Lernende haben (wenn wir die Lösung verkaufen oder auf eine echte Lernerfahrung abzielen), interessiert uns ihre Meinung darüber eigentlich nicht. Außerdem wurde vorgeschlagen, dass es eine Ebene '0' gibt, nämlich ob sie tatsächlich teilnehmen und/oder das Lernen abschließen! Darüber hinaus haben die Phillips eine Ebene 5 vorgeschlagen, den Return on Investment (ROI). Um fair zu sein, widersprechen wir dem ROI nicht, aber das kann irreführend sein.

Zu viele Organisationen beschwichtigen jegliche echten Bedenken hinsichtlich des Lernens, indem sie sagen, dass sie zumindest Ebene 1 durchführen, also am Ende eine Umfrage machen. Doch eigentlich sollte die richtige Implementierung bei Ebene 4 beginnen, indem man festlegt, welche Messung man verbessern muss. Von dort aus kann man bestimmen, welche unterschiedlichen Verhaltensweisen am Arbeitsplatz diese Verbesserung bewirken würden. Schließlich treibt das den Entwurf einer Intervention voran, um die Verhaltensänderung zu erreichen. Wie bereits erwähnt, kann dies aus einer Reihe von Quellen stammen. Hier betrachten wir Arbeitsunterstützungen und Schulungen.

Die Idee, mit einer Messung in der Organisation zu beginnen – KPI, OKR usw. – ist in der Praxis schwer umzusetzen. Es gibt mehrere Gründe dafür, unter anderem, dass es erfordert, aus der Komfortzone herauszuarbeiten, indem man sich mit einer anderen Geschäftseinheit auseinandersetzen muss. Es gibt auch eine potenzielle Herausforderung, dass Leute, sogar intern, Daten nicht unbedingt gerne teilen.

Flexibilität
Trotz der mangelnden Wünschbarkeit macht es pragmatisch Sinn, mehrere Schritte entlang des Messpfads in Betracht zu ziehen. Wir können und sollten zu wichtigeren Messungen übergehen, selbst wenn es ein zu großer Schritt ist, den gesamten Bewertungsansatz zu überarbeiten. Es gibt zunehmend wertvolle Daten, die wir erhalten können, wenn wir voranschreiten.

Obwohl wir nicht bei Null anfangen sollten, ist eine Reaktion auf ein "Smile Sheet" auch unzureichend. Ob Lernende eine Intervention mögen, gibt uns keine nützlichen Informationen. Zumindest sollten wir fragen, ob sie dachten, dass sie wertvoll war, aber selbst das ist nicht wirklich informativ, es sei denn, sie sind über den Anfängerstatus hinaus.

Als nächsten Schritt sollten wir danach streben, die Fähigkeiten der Ausführenden am Ende der Erfahrung zu bestimmen. Daher sollten wir ihre Fähigkeit zum "Tun" bewerten, zumindest als Ergebnis der Intervention. Wenn es eine Arbeitsunterstützung ist, sollten wir sehen, dass sie diese nutzen können; wenn es eine Schulung ist, sollten wir erwarten, dass sie eine gewisse Kompetenz demonstrieren. Das sollte jedoch nicht bedeuten, willkürlich 80% in einem Wissenstest zu erreichen. Wir können immer noch Multiple-Choice-Fragen verwenden, aber diese sollten Entscheidungen erfordern, nicht nur Informationen wiedergeben. Wir können auch verzweigte Szenarien oder vollständige Simulationen verwenden, abhängig davon, wie wichtig der Erfolg ist, wie komplex die Aufgabe ist und wie häufig sie ausgeführt wird. Das sagt uns zumindest, dass sie die Aufgabe nach der Intervention angemessen ausführen können.

Über die Intervention hinaus können wir bewerten, ob sie zu einer Verhaltensänderung am Arbeitsplatz führt. Das muss zumindest einige Tage nach der Intervention geschehen. Um zu bewerten, ob das Verhalten anhält, sollten wir einige Wochen später fragen. Wir können die Lernenden selbst nach einem Wertebenen fragen. Ein zunehmender Wert ergibt sich, wenn wir Stakeholder – Vorgesetzte, Kollegen, Kunden, … – fragen, ob die Veränderung beobachtet wird. Objektive Daten, gesammelt über instrumentierte Systeme (denken Sie an: xAPI oder Ähnliches), können uns noch genauere Einblicke geben. Wir können auch Informationen aus Business-Intelligence-Systemen betrachten oder beides kombinieren.

Schließlich können wir sehen, ob Veränderungen in der Organisation stattfinden. Steigen oder fallen die gezielten Metriken angemessen? Haben sich die Verkäufe erhöht oder die Zeit bis zum Abschluss verkürzt? Steigt der Durchsatz oder sinken die Fehler? Das sind die Arten von Veränderungen, die wir strategisch sehen sollten, und letztendlich ist dies die Ebene, auf der wir spielen möchten.

Dennoch ist Fortschritt besser als Stillstand. Wenn Sie gar nichts sammeln, beginnen Sie mit Tests. Wenn Sie testen, sehen Sie, ob es anhält. Wenn es anhält, sehen Sie, ob es die benötigte Veränderung bewirkt. All dies ist ein Indikator für Auswirkungen, es kommt nur darauf an, wie direkt die Messung ist. Organisationen zu verändern, kann schwierig sein, und all dies kommt nicht ohne die Interaktion mit anderen aus, daher sind kleine Schritte besser als keine. Es ist am besten, den ersten Schritt zu machen!

Zusammenfassend erfordert die Reise, um den Lernerfolg zu messen, Anpassungsfähigkeit und einen schrittweisen Fortschritt. Beginnen Sie damit, die Wahrnehmungen der Lernenden zu bewerten, schreiten Sie voran, um praktische Fähigkeiten zu evaluieren, und beobachten Sie schließlich greifbare Veränderungen in der Arbeitsplatzdynamik und den organisatorischen Metriken. Inkrementelle Schritte sind der Schlüssel. Erkunden Sie unser eBook, "Designing for Learning Impact: Strategien und Umsetzung" für eine umfassende Erkundung, die handlungsorientierte Strategien, wertvolle Einblicke und einen Fahrplan für die Navigation durch das komplexe Terrain des Lernerfolgs bietet.