Question banks, for students by students

Logo_Frédérickx-2Question Bank Project (innovedum)

A brief account

900 questions for 15 physiology topics, designed by students
4 quizzes per topic in moodle

Lernquizzes-Physiologie-3

Usage (Summer Exam 2013)

  • 150 students took quizzes
  • 5000 quizzes were solved (approx. 100’000 questions were answered)
  • ~33 quizzes solved per student

You can find more numbers and further info in the project report.

Result

No obvious correlation could be seen between grades and frequency. (No analysis had been done between grades and quiz performance.)

Students’ Feedback

  • Question bank had low relevance to exam questions
  • Quality of questions – the more the students used the pool, the better they rated the questions
  • Students would appreciate question banks for further topics/areas

Status Quo

Up to now, after the exam this year (Summer 2014), more than 9’000 quizzes have been solved.

 

Spin-off project

Exercise physiology question bank

  • 320 questions designed by students
  • All revised by Prof. Ch. Spengler (ETHZ)
  • 14 (resp. 28) quizzes
  • Only students that provided questions had access to the revised questions.

Result

Usage was similar to the Physiology question bank. Again we do not have a correlation between how often they used the quizzes and their grade but…

…how well they performed in the quizzes was a reliable indicator of how well they performed in the exam.

Formative assessments are therefore helpful for students as their learning progress is made apparent. (Here is the report.)

 

Aufnahmestudio für Lernvideos am Departement Physik

videoraum1Aufgrund des grossen Erfolgs mit Video-Musterlösungen hat das Departement Physik einen eigenen Raum und Mittel zur technischen Ausstattung bereit gestellt. Seit Mitte Januar steht der Aufnahmeraum im HPH allen Lehrenden des Departements zur Verfügung und wird auch rege genutzt.

videoraum2Bei der Ausstattung des Studios war es wichtig, dass die Aufnahmen von Dozierenden und Assistierenden in Selbstbedienung (auch am Wochenende) erstellt werden können. Dazu musste eine technische Infrastruktur gefunden werden, die einfach zu bedienen ist und trotzdem qualitativ hochwertige Videos erzeugt. Ein weiterer zentraler Punkt bestand darin, didaktische Freiräume möglichst ohne technische Einschränkungen beizubehalten. Ich habe im vergangenen Jahr einige Settings erprobt und mich für folgende Hauptkomponenten entschieden:

  • WolfVisionWolfVision VZ-8: mit diesem Desktop Visualizer lassen sich problemlos Hand-Papier-Aufzeichnungen mit einer Zeichenfläche bis zu 41×19 cm aufnehmen. Gesichtsaufnahmen (talking-head) sind ebenso möglich, werden jedoch bisher nicht eingesetzt.
  • Blackmagic H.264 Pro Recorder: blackmagic-h264-pro-recorderdieses kleine und handliche Gerät komprimiert Videodaten in nahezu Echtzeit auf eine handhabbare Grösse und sendet sie über USB-Schnittstelle an den Computer.
  • Hörsaalmikrofon und Mikrofon-Vorverstärker.
  • camtasiaCamtasia: insbesondere im Bereich Lernvideos hat sich diese Software seit vielen Jahren bewährt. Wir benötigen sie lediglich zum Schneiden und Editieren.

Vom guten Ergebnis kann man sich z.B. in folgendem Video überzeugen:

video_solution

Bild klicken, um zum Video zu gelangen

Lernvideos werden in diesem Semester für 3 Vorlesungen im Bachelor- und im Master-Studiengang erstellt. Für das kommende Herbstsemester gibt es jetzt bereits Anfragen von weiteren Interessenten. Im Dialog mit den Studierenden versuche ich, das Angebot stetig zur verbessern. Zusätzlich sammele ich Erfahrungen zum Arbeitsablauf und möchte damit den zeitlichen Aufwand der Produktion noch weiter optimieren. Die reine Videoproduktion ist laut meiner bisherigen Erfahrung relativ schnell und einfach zu bewerkstelligen. Weitaus aufwändiger hingegen sind die didaktische Aufbereitung und die Ausarbeitung des Aufzeichnungsmaterials. Es ist jedoch schön zu erleben, mit welcher Begeisterung sich alle Beteiligten hier engagieren.

Die Lernvideos sind Bestandteil der „Flipped-Classroom-Initiative“, die ich seit vergangenem Jahr am Departement Physik initiiert habe. Dazu werde ich in einem späteren Beitrag dann sicher noch detaillierter berichten.

Bericht zur EMOOCS 2014 (10. – 12. Februar, Lausanne)

epfl„The goal of the summit is to develop synergies among European universities around themes such as student assessment, MOOC accreditation, platform interoperability and joint research initiatives” (aus der Ankündigung). 450 Teilnehmende waren diesem Aufruf gefolgt und hatten sich an der EPFL in Lausanne eingefunden, um MOOCs im europäischen Rahmen zu diskutieren. Neben 8 Keynotes wurden 4 Paralleltracks mit über 60 Kurzvorträgen und Paneldiskussionen zu den Themen „Policy“, „Experience“, Research“ und „Business“  angeboten.

Webseite: http://www.emoocs2014.eu/

Proceedings: http://www.emoocs2014.eu/sites/default/files/Proceedings-Moocs-Summit-2014.pdf

motto

Bericht

Im Herbst 2012, mitten im MOOC-Trubel, hatte ich an einer der wichtigsten US-amerikanischen Konferenzen zu online-Bildung im tertiären Bereich  teilgenommen (http://sloanconsortium.org/conference/2012/aln/welcome). Die zentralen Themen dort waren das Phänomen MOOCs und dessen Auswirkung auf Universitäten und Colleges. Mit gemischten Gefühlen bin ich damals aus den USA zurückgekehrt. Wir hatten Sebastian Thrun (udacity) über die Massenverfügbarkeit von Bildung reden gehört, hatten die Ängste der traditionellen Hochschulen vernommen und ausgiebig über die bisher ungeahnten Möglichkeiten von MOOCs bezüglich Lernen und Lehren diskutiert.

Nun, anderthalb Jahre später, wollte ich erfahren, wie sich MOOCs im europäischen Kontext konjugieren. Bewusst habe ich mich dabei auf den Track „Research“ fokussiert, denn nun, nach hunderten von erfolgreich abgehaltenen  MOOC-Kursen, sollten erste Ergebnisse zur Didaktik und zur Lernwirksamkeit vorliegen. Diese waren uns auf jeden Fall in 2012 versprochen worden.

Hier meine wichtigsten Erkenntnisse:

Ein MOOC ist ein MOOC!

Unter der Sammelbezeichnung „MOOC“ wird so ziemlich alles zusammengefasst, was in irgendeiner Form mit E-Learning zu tun hat. Am einen Extrem der MOOC-Skala findet man die instruktionalen  xMOOCs als Massenveranstaltungen, am anderen Ende tummeln sich online Veranstaltung im CSCL-Format (computer-supported-collaborative-learning) mit teilweise sehr bescheidener Teilnehmerzahl. Zahn et al. etwa untersuchen einen Kurs mit 72 Studierenden.

Zwei Vorträge versuchten, diese recht heterogenen Ausprägungen von MOOCs  mit Klassifikationen zu bändigen, waren jedoch beide nicht sehr überzeugend. Während Rosselle et al.  eine 6×8 Matrix mit insgesamt 48 MOOC-Typen vorschlagen, gehen die Erkenntnisse von  Jadin&Gaisch nicht über die bisherige Dreiteilung hinaus, die Lisa Lane bereits 2012 aufstellte.  Bisweilen hatte ich den Eindruck, dass es die Plattformen sind, die definieren was ein MOOC ist. D.h. was die grossen Anbieter Coursera, EdX, Miriadax, FutureLearn usw.  als MOOC anbieten, ist eben ein MOOC. Ein wenig erinnert  mich dieses „branding“ an die Fahrzeuggattung SUV, die von den  Autoherstellern für jeden Markt anders definiert wird. Und damit wäre ich bereits bei meiner  zweiten, wahrscheinlich der wichtigsten Erkenntnis, die ich aus Lausanne mitgenommen habe.

MOOCs sind ein Markt, bei dem es um sehr viel Geld und um Anteile geht!

Bereits 2012 war deutlich, dass sich der Erfolg von MOOCs hauptsächlich auf dem bis dahin stark unterschätzten öffentlichen Bedarf an solchen Kursen begründet. Zuweilen habe ich den Eindruck, MOOCs als eine Art „Migros-Klubschule“ für Akademiker wahrzunehmen.

Die Zahlen (Einschreibungen, erteilte Zertifikate, Anzahl der angebotenen Kurse usw.) beindrucken immer noch mit ihren hohen Werten, und schliesslich sollen sie ja auch den riesigen Bedarf an MOOCs dokumentieren. Wo ein Bedarf ist, gibt es einen Markt. Dazu ein paar Fakten, die reichlich zu überlegen geben. Ein MOOC kostet in der Produktion mindestens 30‘000 EUR (mehrheitlich indirekte Kosten). Telefonica S.A., eines der grössten Telekomunternehmen, ist Marktführer bei spanischen MOOCs und expandiert nun erfolgreich mit MOOCs in Lateinamerika. EdX lässt seine sehr umfangreichen Kurs- und Teilnehmerdaten bei Amazon hosten (Amazon Web Services), natürlich nicht kostenlos.

Daneben hat sich gezeigt, dass die überwiegende Mehrzahl der MOOC-Teilnehmenden bereits über eine universitäre Ausbildung verfügt. Es handelt sich also vornehmlich um Personen aus der gehobenen Mittelschicht, also um eine aus marktwirtschaftlichen Aspekten  äusserst interessante Bevölkerungsschicht. Die Teilnahme an den Kursen ist zwar kostenlos, doch immer mehr werden den Benutzern kostenpflichtige Zusatzleistungen angeboten: z. B. durch Betreuung, Zertifizierung, oder Job- bzw. Mitarbeitervermittlung (easyjet-Modell).

Auch die Frage nach dem Umgang mit Nutzerdaten ist nicht geklärt. Mittlerweile bekomme ich jeweils zu Semesterbeginn von den grossen MOOC-Vertreibern eine Auswahl von sogenannten „empfohlenen“ Kursen angeboten. Auf welcher Grundlage werden diese persönlichen Empfehlungen wohl generiert?

Neben den hohen Einschreibe-Zahlen waren auch die hohen Dropout-Zahlen ein Thema. Bereits nach den ersten Plenarvorträgen war klar, dass es an aussagekräftigen Kennzahlen zur Teilnahme fehlt. Ebenso wie die Einschreibe-Zahlen liefert die Anzahl der erworbenen Zertifikate keine numerische Grundlage (Rekha et al.). Daneben zeigen Halawa et al., dass eine 14tägige Inaktivität ein guter Indikator für einen „echten“ Dropout darstellt.

Analytics?

Insbesondere im „Research“-Track hatte ich gehofft, erste didaktisch relevante Erkenntnisse aus den benutzergenerierten Daten zu erhalten. Doch leider entpuppten sich die grossmundig angekündigten „Learning Analytics“ als profane „Customer Analytics“ (Baker et al., Barcena et al., Cisel, Meinel et al., Seaton et al.). Wie viele Videos werden wann angeklickt? Aus welchen Ländern stammen die Teilnehmenden? Wie hoch ist die Anzahl von Forenbeiträge, natürlich ohne inhaltliche Abstufung? Um es kurz zu machen, sobald es um Zahlen ging, war Lernen und Lernwirksamkeit ausgeblendet. Analysen des Lernfortschritts, Auswertungen der Selbsttests (Fehlversuche, zeitlicher Aufwand usw.), qualitative Untersuchungen der Abschlusstests, komparative Studien mit Kontrollgruppen …alles Fehlanzeige! Nicht einmal Voruntersuchungen zu diesen Themen waren auf dem Programm. Einzig der Beitrag von Li et al. bot interessante Einblicke über die Auswirkung von Synchronizität beim Videoschauen auf die Partizipation in Foren.

Meine sehr persönliche Einschätzung

Viele Facetten von MOOCs wurden in Lausanne diskutiert und der Tagungsband dokumentiert zweifelsohne, dass MOOCs eine grundlegende Veränderung im Bildungsbereich eingeleitet haben. Nur welche Implikationen schlussendlich damit verbunden sind, ist noch immer nicht deutlich.

Positiv ist auf jeden Fall, dass online Lernen jetzt auch verstärkt von Entscheidungsträgern als wichtig eingestuft wird. Als problematisch sehe ich eher die Tatsache an, dass MOOCs sich zu einem wirtschaftlich wichtigen Faktor entwickeln. In welcher Weise die aus Steuern finanzierten Hochschulen Europas hier einen vertretbaren Weg finden, ihre hohen Produktionskosten von MOOCs zu rechtfertigen, ist mir nicht klar.

Im europäischen Kontext sehe ich die cMOOCs als interessante Alternative. Anstatt auf Massenwirkung ausgerichtet, wird in cMOOCs eher die Breite in Form von communities angesprochen. Neben den zeitlich getakteten Inputs von Experten stehen die Beiträge der Teilnehmenden im Vordergrund eines cMOOC. In ihnen werden neues Wissen und neue Erkenntnisse diskursiv erschlossen. Bisher waren deutschsprachige Hochschulen im Bereich cMOOCs sehr aktiv. In Lausanne war es sehr interessant zu erfahren, dass und auch wie sich andere europäischen Universitäten hier einbringen.

Letztendlich, das Thema MOOCs bleibt spannend und man darf auf die kommende EMOOCS 2015 im belgischen Mons gespannt sein.

3a

Geselliges und informatives Fondue-Dinner mit den französischen Kollegen und Kolleginnen

 

 

Videolösungen in der Physik

Lernvideos nehmen einen immer wichtigeren Anteil in der Wissensvermittlung ein. Der aktuelle MOOC-Trend, die Videos der Khan Academy, sowie die Vorlesungsaufzeichnungen von iTunes U gelten als sichere Zeichen, dass sich das Medium Video bereits jetzt in der Hochschule etabliert hat.

An einem Projekt am Departement Physik möchten wir Erfahrungen mit diesem Format sammeln. Im Herbstsemester wird in der Vorlesung “Physik für Bauingenieure” wöchentlich eine ausführliche Videolösung zu einem ausgewählten Problem angeboten.

Videolösung

Bild klicken, um zum Video zu gelangen

Das zur Videolösung zugehörige Problem ist >hier< beschrieben.

Gegenüber den traditionellen Text-Musterlösungen haben solche Videolösungen zwei entscheidende Vorteile:

  • die Lösung wird grafisch entwickelt,
  • der gesprochene Kommentar weist auf besondere Schwierigkeiten hin und knüpft an die Vorlesungsinhalte an.

Die erste Videolösung ist jetzt online und wurde bereits von gut der Hälfte der Studierenden aufgerufen. Gegen Semestermitte werden wir gezielt nach den Einschätzungen der Studierenden fragen, um das Angebot daraufhin zu verbessern.

Alle Videolösungen werden sukzessive in folgendem Kanal zu finden sein:
http://www.youtube.com/channel/UCVZiSxhjfoSdNraHqW5qJog

(Aller-)Erste Prüfungseinsicht ONLINE!

Ein Riesenerfolg?!

Heute zwischen 12:00 und 15:00 konnten die Studierenden des D-HEST (Studiengang HST) ihre Prüfungseinsicht der Prüfung “Einführung Gesundheitswissenschaften und Technologie I & II” von zuhause aus erledigen! Von irgendeinem Computer oder Smartphone/Tablet aus konnten sie in die moodle Lernplattform einloggen und ihre Prüfungsresultate (inklusive Bewertungen, Musterlösungen und Korrekturkommentare) einsehen. Aus 173 Studierenden, die die Prüfung am 23. August 2013 absolviert haben, nahmen über 100 die Gelegenheit zur Prüfungseinsicht online wahr.

Die Anfragen der Studierenden kamen per Email und wurden zeitnah vom Dozenten (Herr Dr. Roland Müller) beantwortet. Die Vorbereitungsarbeiten (Zugriffsbeschränkungen, Berichtsanzeige, etc.) konnten von der Lehrspezialistin in ein paar Minuten erledigt werden.

Meist ist eine Prüfungseinsicht mit viel Aufwand für Dozierende, Studierende und Sekretariate verbunden. Wir konnten den Aufwand auf ein absolutes Minimum reduzieren und sind gespannt auf die Rückmeldungen.

 

(9. Oktober 2013)

Die Resultate sind gut! Wir müssen einzig die Studierenden über den Ablauf besser informieren und spezifisch darauf hinweisen, dass sie ihre Fragen per Email schicken können und diese (sofort) beantwortet werden.

Hier eine Auswahl der Rückmeldungen:

Pfg-Einsicht-Resultate

eReader or Paperback?

The Reading Brain in the Digital Age: The Science of Paper versus Screens

http://www.scientificamerican.com/article.cfm?id=reading-paper-screens

But why, one could ask, are we working so hard to make reading with new technologies like tablets and e-readers so similar to the experience of reading on the very ancient technology that is paper? Why not keep paper and evolve screen-based reading into something else entirely?

The Reading Brain in the Digital Age (pdf)

Weiterer E-Prüfungsraum (HG G1) @ETH

Seit Anfang Jahr (2013) steht ein weiterer E-Prüfungsraum an der ETH Zürich zur Verfügung. 166 Studierende können gleichzeitig und in sicherer Umgebung (SEB) Prüfungen am Computer schreiben.

Neben Automatisierungsmöglichkeiten (Korrekturen, Notenberechnungen) und Fairness sind leserliche Antworten und Unabhängigkeit von Zeit und Ort für die manuelle Korrektur der Dozierenden absolute Pluspunkte.

Mit den weiteren Prüfungsräumen der ETH können gleichzeitig 280 Studierende am Computer geprüft werden. Mit Schleusen könnten sogar 560 Studierende die gleiche Prüfung absolvieren!

Fotos HG G1:

All rooms and availability: