lv-eval_nov2017

Liebe Studierende der Veranstaltung "GdW",

wie aus dem Vorlesungsplan ersichtlich und mündlich ja schon angekündigt habe ich GdW als Gegenstand einer Lehrveranstaltungs-Evaluation ausgewählt.

Bitte kommen Sie am ... in die Vorlesung:

  • Bringen Sie Laptop oder Smartphone etc. mit, wir machen das Online über Moodle.
  • Dauer: ca. 15 Minuten
  • Kommen sie bitte zahlreich, eine hohe Beteiligung erhöht die Aussagekraft.

Weil man nach Hevner 2004 auch eine Lehrveranstaltung als ein sozio-technisches Artefakt interpretieren kann und die Evaluation von Artefakten Gegenstand unserer Lehrveranstaltung GdW ist, wollen wir unsere Evaluation als ein "lebendes Fallbeispiel" diskutieren. Ausführlicher als anderswo üblich erhalten Sie deshalb von mir mit diesem Text auch Informationen über Gründe und Verfahren unserer Evaluation.

Ziel unserer Lehrveranstaltungs-Evaluationen ist es, einen anonymen, aber dennoch vertrauensvollen und geschützten Feedback-Kanal zu installieren, der eher auf Selbstverantwortung als auf Kontrolle setzt - und zwar sowohl für Dozenten wie für Studierende. Bitte beachten Sie deshalb folgende HINWEISE:

  • Die Befragung wird anonym durchgeführt; das Ausfüllen des Fragebogens ist freiwillig. Bitte machen Sie keine Angaben, die Rückschlüsse auf Sie selbst oder eine andere Person zulassen.
  • Durch das Ausfüllen des Fragebogens geben Sie Ihr Einverständnis zur automatisierten Auswertung und Weiterleitung der Daten. Herzlichen Dank bereits im Voraus für Ihre wertvolle Unterstützung!
  • Die Umfrage wird von den Dozenten selbst ausgewertet und an den Studiendekan weitergegeben. Natürlich sind diese Berichte nicht "fälschungssicher". Wir halten dies aber auch nicht für nötig, da unser QM andere Wege vorsieht, den Studiendekan über wirklich kritische Aspekte der Lehre zu informieren.

Dreiteilung der Evaluation

Die Evaluation hat drei (kurze) Teile. Diese unterscheiden sich in so ziemlich allen Variablen, die für eine professionelle Evaluation transparent gemacht werden müssen: Rechtliche Grundlage, Ziel, Gegenstand, Akteur, Adressat, Erkenntisinteresse, Verwertungsinteresse, Verwendung, Datenschutz usw.

Teil 1: Evaluation nach §10 BayHschG

Typik:

  • Zweck: Erfüllung der durch §10 BayHschG vorgegebenen Anforderungen, insbes. Bericht an die Öffentlichkeit.
  • Konkretisierung und Operationalisierung: die Evaluationsordnung einer Hochschule
  • Fragen gemäß dem aktuellen, hochschulweit eingesetzten Standard-Fragebogen der Hochschule
  • Vergleichbarkeit : hochschulweit, keine Fach- und Fakultäts-Spezifik, auf viele LV gleichzeitig bezogen; Möglichkeit der Anonymisierung muss sichergestellt werden
  • Auswertungsparadigma: quantitative Empirik, vorwiegend summativ
  • Adressat: zusammen mit Metadaten ausschließlich der Studiendekan; ohne Metadaten und soweit nach Anonymisierung in aggregierter Form an die Hochschulleitung.
  • Der Studiendekan hat im Zweifelsfall das Recht, die Originaldaten einsehen zu dürfen.

Bericht zu Teil 1:

  • Die Ergebnisse zu den Standard-Fragen werden durch den Dozenten selbst dokumentiert, dann an den Studiendekan weitergegeben.
  • Die Zuordnung von Daten und Metadaten (insbes. zum Dozent) erfolgt ausschließlich durch die (teilweise automatisch erzeugten) Metadaten des Erhebungsinstruments (Fakultät IF: Moodle, ggf. auch EvaSys), sollen aber nach Möglichkeit aber *nicht* in den Daten selbst erkennbar sein (Datensparsamkeit by Design); Ziel: zumindest technische Erleichterung der Anonymisierung für Zwecke der Daten-Aggregation.

mögliche Fragen zu Teil 1

  • Die Veranstaltung war ...
    • gut gegliedert, strukturiert, roter Faden erkennbar
    • motivierend, neugierig machend
    • anschaulich durch geeigneten Medieneinsatz
  • Die / der Dozierende ...
    • war persönlich sehr engagiert
    • befasste sich ernsthaft mit kritischen Äußerungen und Fragen der Studierenden
    • forderte zu einer aktiven Auseinandersetzung mit dem Stoff auf

Bitte beachten: Die Hochschulleitung erhält lediglich eine anonymisierte und aggregierte Fassung der Antworten.

Teil 2: Eval nach §30 BayHschG

Typik:

  • Zweck: vorwiegend Studiengangentwicklung der Fakultät
  • Gegenstand:
    • vorwiegend das System Lehre, auch Lehrveranstaltungen, letztere jedoch ohne die *individuelle* Spezifika einzelner LV oder Dozenten
    • inbes. Workload, Abstimmung des Curriculums, Studierbarkeit etc.
  • Vergleichbarkeit : fakultäts- und Studiengang-spezifisch; auf viele LV gleichzeitig bezogen
  • Fragen: motiviert durch "interessantes Kriterium des aktuellen Semesters", z.B.
    • Leistungsnachweise: für mündige Studierende verzichtbarer Klotz am Bein oder hilfreiches Zuckerbrot und Peitsche?
    • Überdeckung mit ähnlichen Modulen: Sind die Voraussetzungen für das Verständnis gegeben? Redundanz zu hoch, ok, zu gering?
    • Arbeitsaufwand: geringer, ähnlich, höher wie bei anderen Modulen mit gleicher SWS/ECTS-Zahl?
    • Prüfung: Anforderungen bekannt? Gute Vorbereitung möglich?
  • Adressaten: Studiendekan und Mitglieder des Fakultätsrats; Lehrbericht

Bericht zu Teil 2:

  • Der Dozent wertet die Daten selbst aus, bewertet sie und fasst sie zu einem Kurzbericht von ca 100-200 Wörtern zusammen.
  • Eine Erläuterung und Interpretation von Werten, die im Bereich des sozial erwünschten Erwartungswertes liegen, ist i.A. nicht erforderlich (d.h. es genügen die Rohdaten), ABER Ausnahme: bei bei sog. "Ausreißern" oder überraschenden Werten sind Erläuterungen wünschenswert.
  • Diese sind vom Dozenten so verfasst, dass sie ohne weitere redaktionelle Überarbeitung (insbes. ohne weitere Anonymisierungsschritte) technisch zusammengefügt und dem Fakultätsrat (und damit mittelbar auch der Hochschulleitung) zur Diskussion vorgelegt werden dürfen.
  • Der Studiendekan hat im Zweifelsfall das Recht, die Originaldaten einsehen zu dürfen.

Evaluations-Interesse in diesem Semester: Stoffumfang, Schwierigkeit, Arbeitsaufwand und "Klausur-Affinität" einer Veranstaltung im Vergleich zu anderen Veranstaltungen.

mögliche Fragen zu Teil 2

  • Die Stoff-Menge und das Tempo empfinde ich - im Vergleich zu anderen Veranstaltungen mit der gleichen SWS-Zahl - als ...
    • 1/sehr viel weniger | 2/eher weniger | 3/durchschnittlich | 4/eher höher | 5/sehr viel höher | 6/unverhältnismäßig hoch
  • Meinen persönlichen Arbeitsaufwand empfinde ich - im Vergleich zu anderen Veranstaltungen mit der gleichen SWS-Zahl - als ...
    • 1/sehr viel weniger | 2/eher weniger | 3/durchschnittlich | 4/eher höher | 5/sehr viel höher | 6/unverhältnismäßig hoch
  • Den Schwierigkeitsgrad des Lernstoffes empfinde ich - im Vergleich zu anderen Veranstaltungen in ihrem Studienabschnitt - als ...
    • 1/sehr viel einfacher | 2/eher einfacher | 3/durchschnittlich | 4/eher schwieriger | 5/sehr viel schwieriger | 6/unverhältnismäßig schwierig
  • Die Anforderungen der Klausur sind mir klar, ich kann mich gut vorbereiten.
    • 1/stimme voll und ganz zu | 2/stimme eher zu | 3/stimme etwas zu | 4/stimme kaum zu | 5/stimme eher nicht zu | 6/stimme überhaupt nicht zu
  • Falls Sie jetzt schon wissen, dass Sie die Klausur vermutlich "schieben" werden: Warum?
    • (offene Frage, Textfeld)

Teil 3: Individuelle Evaluation zur Lehr-Entwicklung

Typik:

  • Erhebungen zu spezifischen Fragestellungen; zugeschnitten auf spezielle Lehrveranstaltungen, Themen, didaktische Entwicklungsvorhaben etc.
  • Auswertungsparadigma: qualitativ, auf die einzelne LV bezogen, hermeneutisch explorativ, vorwiegend formativ
  • Zweck: geben auf Erhebungen gestützte spezifische Anhaltspunkte (a) dem Dozenten für die Weiterentwicklung seines individuellen, spezifischen Lehrhandelns
  • Adressat: vor allem der jeweilige Dozent selbst; interessante Ergebnisse freiwillig an den Studiendekan
  • Vergleichbarkeit: i.A. nicht gegeben, kaum möglich
  • Bedeutung für das QM: Man *könnte* im QM vorsehen, dass auch individelle Evaluationen durchgeführt werden *sollen*. Ideal wäre dann ein freiwilliger Selbstbericht an die Kollegen im Rahmen der GAB-Instrumente der Praxisüberprüfung oder des Kollegialen Lernens.
  • Niemand außer dem Dozenten hat das Recht, die Originaldaten einsehen zu dürfen.

Bericht zu Teil 3:

  • Die Originaldaten verbleiben beim Dozenten selbst. Niemand hat das Recht, die Herausgabe dieser Daten zu verlangen.
  • Der Studiendekan erhält auf freiwilliger Basis individuelle Berichte. Der Dozent legt den Addressatenkreis fest.

mögliche Fragen zu Teil 3

  • Was hat Ihnen an der Lehrveranstaltung besonders gut gefallen?
  • Was könnte man - wer? - an der Lehrveranstaltung verbessern? Bitte geben Sie hier konstruktive Anregungen