[vimeo]https://youtu.be/22CkQOjG5nk[/vimeo][vimeo]https://youtu.be/22CkQOjG5nk[/vimeo]Tutorials für Informatikanwendungen sind wohl so alt wie die Informatikwelt selbst: Learning by doing bietet sich an, wenn es zum Beispiel um das Erlernen von Datenvisualisierung, Datenverwaltung oder Programmierung in Python oder Matlab geht. Prof. Hans Hinterberger hat das vor mehr als 15 Jahren erkannt und das Projekt E-Tutorials ins Leben gerufen. Aus seiner Initiative von damals ist ein eindrucksvoll ausgereiftes Produkt entstanden, welches an der ETH in den Bereichen selbstgesteuertes Lernen und kompetenzorientiertes Prüfen seit Beginn neue Massstäbe gesetzt hat. In den 4 Schritten zu aktivem Wissen, SEE-TRY-DO-EXPLAIN erwerben die Studierenden aus fünf Departementen (BIOL, CHAB, HEST, USYS, ERDW) in Modulform die theoretischen Grundlagen (Phase SEE; online oder in der Vorlesung), wenden diese dann an Beispielen unter aktiver Bedienung eines Informatikmittels an (Phase TRY), setzen die Konzepte in einer Projektaufgabe mit wissenschaftlichem Kontext um (Phase DO) und präsentieren die Lösung Face-to-face in einem Abgabegespräch mit einer Fachperson (Phase EXPLAIN). Fünf solcher Gespräche müssen zusätzlich zur Schlussprüfung als Bestandteil der Semesterleistung absolviert werden.
Lukas Fässler und Markus Dahinden, langjährige Mitarbeiter des inzwischen emeritierten Prof. Hinterberger und heutige Dozierende der beiden Informatik-Vorlesungen, bauen das Angebot an Tutorials laufend aus und entwickeln es kontinuierlich weiter unter Einbezug der sich verändernden Technologien. Dabei haben sie – zuletzt zusammen mit David Sichau – mit dem Personal Learning Environment (PELE) einen weiteren Innovationsschritt vollzogen, der letztlich das Lernarrangement durch den Einbezug von Learning Analytics für Studierende, Assistierende und Dozierende revolutionieren wird: Während sich die Studierenden selbständig in die Grundlagen einarbeiten (TRY), erzeugen sie auf der Online-Plattform Interaktionsdaten (=Zeit, mit der die Lernenden mit den Materialien arbeiten).
Abb 1. Durchschnittliche Bearbeitungsdauer für Teilaufgaben in eTutorials
Die durchschnittliche Bearbeitungsdauer (in Minuten) für eine ausgewähltes Modul, für insgesamt 300 Studierende der LV “Einsatz von Informatikmitteln”. Bei mehreren Teilschritten (z.B. 11, 13) weicht die Bearbeitungsdauer für einen Teil der Studierenden stark vom Mittelwert ab, was auf Schwierigkeiten bei der Bearbeitung hinweisen kann. (Quelle: Sichau und Fässler, pers. comm)
Diese können von den Dozierenden analysiert werden, um besonders schwierige Elemente in den Tutorials zu identifizieren (Abb.1). Verbesserungen der Module werden so “evidence-based” und kontinuierlich vorgenommen.
Die Daten zeigen auch, wann die Studierenden die Selbstlerneinheiten bearbeiten und welche Rolle die einzelnen Tutorials bei der Vorbereitung auf die Schlussprüfung noch spielen. (Abb. 2)
Abb 2: Interaktion von Studierenden im Online Tutorial
Die Abbildung zeigt die Interaktionsdaten, welche 338 Studierende der LV “Einsatz von Informatikmitteln” im HS15 erzeugt haben, oben Modul 2, unten Modul 3. Eine Interaktion wird dabei gewertet als die Anzahl Clicks in der Lernumgebung mit einem Abstand von mehr als 10 Sekunden, die Anzahl der Interaktionen an einem Tag ist mit dem Farbcode gemäss Legende am rechten Rand dargestellt. Die Fenster für die Präsentation der Modulprojekte waren jeweils 2 Wochen geöffnet (schwarz markiert am oberen Rand der jeweiligen Modulgrafik). Die Schlussprüfung fand nach dem Modul 6 statt.
Die Studierenden begannen jeweils eine halbe Woche vor Beginn der Präsentationsperiode mit der Bearbeitung der Tutorials. Nach der Projektarbeit wurde das Material nicht mehr gesichtet bis zur Beginn der Prüfungsvorbereitung eineinhalb Wochen vor dem Prüfungstermin. (Quelle: Sichau und Fässler, pers. comm)
Die Interaktionsdaten sind pseudonymisiert: die Personeninformation wird separat von den restlichen Daten gehalten und ist nur über einen gesicherten Zwischenschritt einsehbar. So ist es im Gegensatz zu voll anonymisierten Daten möglich, weitere studierendenspezifische Daten (wie z.B. Prüfungsresultate) zu verknüpfen, ohne dass die Identität offengelegt wird. Das erklärte Ziel von Fässler und Sichau ist die Detektion von Aktivitätsmustern in der TRY-Phase, welche zuverlässige Voraussagen der Prüfungsleistung erlauben. (s. auch Dahinden&Fässler, 2011). Bestehens-Prognosen für einzelne Studierende sind aber kein Thema – bei einer Kohortengrösse von 400 Studierenden pro Kurs gibt es schliesslich auch bei hoher Signifikanz eines Modells immer individuelle Studierende, die trotz schlechten Prognosen gut abschliessen können und umgekehrt. Darum möchten die Verantwortlichen keine falschen (Un-)Sicherheiten erzeugen. Die Studierenden sollen aber in naher Zukunft auf einem Dashboard jederzeit sehen können, wie sie bezüglich Lernfortschritt und dafür aufgewendeter Zeit in Bezug auf die ganze Kohorte stehen.
Während der DO-Phase hinterlassen die Studierenden digitale Spuren, wenn sie ausserhalb der regulären Präsenzeiten das Ticket-System von PELE benutzen, um innerhalb von 24 Stunden (Wochenende inklusive) Support zu erhalten. Über PELE wird auch die EXPLAIN-Phase eines jeden Moduls eingeleitet: Die Studierenden reservieren sich alleine oder zu zweit einen 15-Minuten Termin für die Projektpräsentation. Die betreuende studentische Fachperson (PhD-Studierende aus dem D-INFK, aber auch etwa zur Hälfte Hilfsassistierende aus den Naturwissenschaften) wird ihnen dafür zufällig nach Verfügbarkeit zugeteilt.
Im HS15 hatte ich Gelegenheit, zwei solche Beratungsgespräche anlässlich eines Besuchs live mitzuerleben: Das Gespräch findet wie die Beratungen auch während der Präsenzzeit in einem Computerraum statt. Via PELE-Website sieht die Fachperson den Namen der nächsten Studentin und ruft den Namen pünktlich in den Raum. Bei meinem Besuch ist es einmal ein einzelner Student, einmal zwei Studentinnen zusammen aus dem D-BIOL, welche ihr Ergebnis zum MATLAB-Projekt . Die Assistentin startet das Gespräch jeweils mit der gleichen Frage (“Stellt kurz vor, wie ihr es gemacht habt”), danach verlaufen die Unterhaltungen inhaltlich völlig unterschiedlich – einmal geht es um Programmiertechnisches (Indizes einer Schleife), einmal um die Umsetzung des physikalischen Modells, welches der Aufgabe zugrunde liegt. Im einen Gespräch bringt die Assistentin den Studierenden mit wenigen Fragen dazu, sein Missverständnis exakt zu beschreiben, die entsprechenden Codezeilen zu eruieren und die Lösung gleich zu implementieren. Das andere Gespräch führt zu einer Skizze mit dem physikalischen Modell der Diffusion und hat im Code nur minimale Auswirkungen – ein Parameter muss verändert werden. Zum Schluss reflektieren die Studierenden ihr Vorgehen zusammen mit der Assistentin und beschliessen Massnahmen für nächste Projekte (“Schleifen konsequent testen” der eine, “vollständigere Designphasen” die anderen) und besprechen welche Wissenslücken die Studentin für die Prüfung allenfalls noch aufweist. Die Assistentin schliesst das Gespräch mit einer individuellen Rückmeldung ab und bittet die Studierenden, das vergangene Gespräch auf der Plattform mit Sternen zu bewerten: Zwei, einen oder keinen für “Wie hilfreich war das Gespräch”. Die Studierenden bekommen ihrerseits von der Assistentin jeweils Sterne für “Verständnis des Themas”.
Für Studierende und Assistierende ist das ein grober Anhaltspunkt dafür, wie das Gespräch von beiden Seiten empfunden wurde. Die Nachbearbeitung liegt in der Verantwortung der Studierenden, womit auch die “Project Ownership” bei ihnen liegt. Für die Dozierenden ergeben sich aus der Kombination mit Click-Daten Hinweise darauf, inwiefern sich die Aktivität in der Selbstlern (TRY) Phase auf die Leistung im Projekt auswirkt. Falls sich beispielsweise eine unterdurchschnittliche Verweildauer bei einem gewissen Lernschritt tendenziell negativ auf den Projekterfolg auswirkt, könnte darauf in Zukunft bereits im Modul oder den Coaching-Gesprächen vermehrt eingegangen werden. Dazu müssten die Studierenden natürlich erst die entsprechenden Daten freigeben. Im Hinblick auf den Prüfungserfolg erweisen sich die Bewertungsdaten der formativen Assessments übrigens bisher als die zuverlässigsten Daten für eine Prognose.
Wie die Tutorials sind auch individuelle Coaching-Gespräche nichts Neues. Das Bahnbrechende an diesem Modell wird erst sichtbar beim Blick auf die Zahlen: In HS16 absolvierten 804 Studierende 4019 solcher Coaching-Gespräche mit insgesamt 40 Assistierenden. Für die Studierenden bedeutet das 90 Minuten intensive individuelle Betreuung – weit mehr, als in einem Semester konventionell betreuter Übungen mit Gruppengrössen von 20 Studierenden zustande kommen kann. Konsequenterweise wird diese Form des formativen Assessments von den Studierenden sehr geschätzt und auch in den Evaluationskommentaren immer wieder erwähnt: Die Studierenden schätzen auch die regelmässige Verteilung der Belastung über das ganze Semester und die regelmässige Standortbestimmung in den Gesprächen.
Abb 3: Bewertungsübersicht in PELE
Die Abbildung zeigt in der Dozierendensicht von PELE die Anteile der Bewertungen 2(grün), 1(blau) und 0(rot) von und für 4 Assistierende (Zeilen). Die Person in Zeile 2 vergibt tiefe Bewertungen an Studierende und erhält relativ schlechte Bewertungen von Studierenden, was ein Hinweis auf ein Problem sein könnte. Die Person in Zeile 1 hingegen erhält trotz häufiger schlechter Bewertungen für Studierende überdurchschnittlich hohe Bewertungen von Studierenden, was für gute Qualität der Coachings spricht. (Quelle: Fässler, pers. comm)
Noch eindrucksvoller ist allerdings eine andere Zahl: Die Assistierenden absolvieren innerhalb eines Semesters gut 100 individuelle Coaching Gespräche von 15 Minuten Dauer und werden dadurch innert kürzester Zeit zu Experten in dieser Form von Kommunikation: Sie können sich immer besser in die Studierenden hinein versetzen und bringen diese mit gezielten Fragen dazu, möglichst selbständig ihre Projekte kritisch zu hinterfragen, unklare Punkte zu thematisieren und ihre eigene Arbeit selbstbewusst zu präsentieren. Kommentar einer Assisitierenden: “Ich habe gelernt ein Gespräch zu führen und Tipps zu geben, die helfen können etwas zu lösen, ohne gleich die Lösung zu verraten.” Die Assistierenden finden, dass Unterricht mit PELE mehr Feedback erlaubt und auch effizienter ist als klassischer Übungsbetrieb, weil sie sich auf das Wesentliche konzentrieren können und wenig organisatorischen Aufwand betreiben müssen. Manche Assistierende vermissen aber die Konstanz einer über das Semester begleiteten Studierendengruppe.
Den Dozierenden ist es sehr wichtig, dass die Qualität der Feedbacks möglichst hoch ist. Da Fässler und Dahinden nach der einführenden Assistierenden-Schulung nur in beschränktem Mass den Gesprächen beiwohnen können, findet die Qualitätskontrolle auch über die Rückmeldungen der Studierenden statt. Durch die Aggregation der Daten von erteilten und erhaltenen Feedbacks fallen Assistierende mit konstant unterdurchschnittlichen Leistungen schon früh im Semester auf und können entsprechend unterstützt werden. (Abb 3).
Fazit: Trotz ihres “Alters” gehören die E.Tutorials mit PELE zu den innovativsten Lehrangeboten in der ETH Grundbildung:
- Time-on-task für die Studierenden ist maximiert, sämtliche Kontakte mit Assistierenden sind individuell.
- Das Coaching-Modell eignet sich für eine Reihe von Lehrveranstaltungen, in denen Studierende selbständig mehrere Kleinprojekte/umfangreichere Übungen bearbeiten und Feedback dazu erhalten. Der personelle Aufwand ist im Vergleich mit konventionellen Formen (mit korrigierte Übungen) geringer.
- Das Online-Reservations- und Feedback-System von PELE ermöglicht eine schlanke, flexible und ortsunabhängige Organisation der Coaching-Gespräche. So kann mit einer grossen Anzahl von Assistierenden gearbeitet werden, während die Qualität der Coachings in Echtzeit verfügbar ist.
- Die Kompetenzen, welche sich die Assistierenden auf diese Weise aneignen, sind für ihre weitere persönliche und berufliche Entwicklung ein eigentlicher Schatz, wie er wohl in keiner anderen Lehrveranstaltung an der ETH zu finden ist.
In der Unterrichtsevaluation vom HS15 lautete ein studentischer Kommentar: “Von dieser durchdachten und gut funktionierenden Lehrform sollte der Lehrspezialist des D-USYS hören.”
Auf jeden Fall! Und nicht nur er, sondern die ganze ETH!!
Seit mehreren Jahren wird 
