Zum Ende jedes Semesters führt die Fachschaft Informatik eine Vorlesungsevaluation durch, nennt dies aber “Vorlesungsumfrage” oder einfach nur kurz “VLU”¹. Bis zum Wintersemester 2011/12 wurde diese über ein Online-System organisiert: Man bekam in der Vorlesung einen Zettel mit spezifischem Kennwort und konnte sich dann zu Hause am Rechner am System anmelden und die Veranstaltung bewerten.

Dies taten aber nur relativ wenige Studierende, und so beschloss man zum Sommersemester 2012, auf Umfragebögen aus Papier umzusteigen. Diese wurden nun in den Vorlesungen ausgegeben, per Hand ausgefüllt, direkt wieder eingesammelt und schließlich per Hand von fleißigen Fachschaftsbienchen ausgewertet – eine Heidenarbeit, aber der Rücklauf war subjektiv betrachtet deutlich höher.

Zum Wintersemester 2013/14, also eineinhalb Jahre später, führte man ein neues System ein, bei dem die Bögen maschinell ausgewertet werden können sollten. Mittlerweile klappt dies auch zuverlässig, und nur noch die Freitextfelder am Ende des Fragebogens müssen händisch abgetippt werden.

Immer wieder begegnet uns dabei die Anregung/Bitte/Aufforderung, doch ein Onlinesystem statt der Papierbögen zu verwenden, das sei viel praktischer und cooler und so, und: “Damit wäre sichergestellt, dass viele Leute teilnehmen.”² Brahaha.

Doch halt. Hat eigentlich schon einmal jemand überprüft, ob unsere Ursprungsthese von 2012 sich bewahrheitet hat? Machen wir das doch einmal. Die Evaluation der Evaluation. Um dann endlich mal harte Zahlen auf den Tisch packen zu können.

Ich habe mir zum einen die VLU-Ergebnisse der letzten 8 Semester angesehen, und für jede Vorlesung die jeweiligen Teilnehmerzahlen notiert. Dieser Zeitraum umfasst 4 Semester mit Papierbögen und 4 Semester mit dem Onlinesystem.

Dann habe ich mir aus dem Verzeichnis der Informatik, das eine Zusammenfassung der Prüfungsergebnisse seit dem Wintersemester 2007/08 bietet³, zu diesen Vorlesungen die Zahl der Prüfungsteilnehmer notiert und bin davon ausgegangen, dass es sich bei diesen Personen um potenzielle VLU-Teilnehmer handelt. Dass diese Rechnung nicht ganz aufgeht, merkt man spätestens, wenn Teilnahmeraten von über 200 % herauskommen⁴

Werfen wir zunächst einen Blick auf die Zahl der Rückmeldungen. Vorlesungen mit nur 1 Rückmeldung sind rot markiert.

Gelb markiert die Papierbögen, blau markiert das Onlinesystem.

Auffällig ist bereits hier, dass es mit dem Onlinesystem sehr viele Veranstaltungen gab, für die lediglich 1 Rückmeldung erfolgte. Das Sommersemester 2011 tut sich hier besonders hervor. Das wäre schon mal ein Indiz dafür, dass die Bewertungslust beim Onlinesystem geringer war.

Doch blicken wir nun auf das Verhältnis von abgegebenen Bögen/Bewertungen zu Klausurteilnahmen.

Die Farbskala reicht hier von Rot (sehr wenige Rückmeldungen) bis Grün (alle zur Klausur angemeldeten haben eine Bewertung abgegeben).

Bei diesem Bild können wir uns tiefgehende stochastische Analysen sparen: Während die Onlineumfrage (blau) im rot-braunen Bereich herumdümpelt, bewegt sich die Evaluation auf Papier (gelb) vorrangig im dunkel- bis sogar hellgrünen Bereich. Am “Diplomerknick” alleine kann dieser sprunghafte Anstieg sicherlich nicht liegen.

Sorgenkinder sind noch die Pflichtvorlesungen, hier mit einem x in der Spalte ganz links markiert. Diese produzieren zwar generell die meisten ausgefüllten Bögen, haben aber mutmaßlich auch die höchsten Dunkelziffern an Personen, die zwar zur Klausur wollen, die Vorlesung aber nicht besuchen.

Fazit: Offensichtlich generieren Papierfragebögen mehr Rückmeldungen als die Evaluierung über ein Online-System. Gut zu wissen.

Rohdaten als ods-Datei herunterladen