In diesem Monat führe ich meine vermutlich letzte Erhebung im Rahmen meiner Doktorarbeit durch. Damit habe ich dann insgesamt vier verschiedene empirische Perspektiven bei der Evaluation des Intel®-Aufbaukurses eingenommen. Wie schon in meinem Semesterbericht zu lesen, bieten diese vier unterschiedlichen Zugänge meiner Meinung nach eine ausreichende Befundbasis für die Beurteilung und auch für die wissenschaftlich begründete Qualitätsentwicklung des Forschungsgenstandes.

An dieser Stelle will ich vorerst nicht viel weiter auf meine theoretischen Überlegungen eingehen, sondern nur noch kurz die Intention der aktuelle Erhebung darstellen. Ausgangslage ist, dass die Rahmenbedingungen des Intel®-Aufbaukurses in den Ländern unterschiedlich sind. Deshalb ist die Zielsetzung bei dieser Umfrage, systematisch zu erfassen, inwiefern die Rahmenbedingungen in den Ländern divergieren. Denn anhand der gesammelten Daten können wir bei der länderspezifischen Analyse besser berücksichtigen, welche Rahmenbedingungen den Intel®-Aufbaukurs beeinflussen und dadurch differenzierter beurteilen, inwieweit Länder-Unterschiede zu erklären sind. Mit diesem Fragebogen wenden wir uns übrigens ausschließlich an die Entscheidungsträger in den Ländern. Dabei gliedert sich die Umfrage in drei Bereiche: allgemeine Daten, Mentoren/innen, organisatorische Aspekte (die Umfrage umfasst 20 Fragen, die Beantwortung dauert je nach Ausführlichkeit zwischen 10-20 Minuten). Wichtig ist vielleicht noch zu erwähnen, dass ich auf die Befindlichkeiten der einzelnen Länder Rücksicht nehmen werde und deshalb die Ergebnisse nur anonymisiert veröffentlichen werde, sodass es nicht möglich sein wird, einen Ländervergleich anzustellen, was in Zeiten von PISA etc. ein sehr sensibles bildungspolitisches Thema darstellt 😉

Methodisch gehe ich folgendermaßen vor: zunächst haben alle Befragten (pro Bundesland einer, wobei auch Ansprechpartner aus Österreich und Süd-Tirol dabei sind) eine Email vom Projektleiter erhalten, der über meine Erhebung informiert, deren Bedeutsamkeit betont und um Mitwirkung bittet. Dann habe ich einen Brief aufgesetzt, den ich Anfang Mai verschickt habe (mit Uni-Briefkopf sowie Unterschrift von Fr. Prof. Dr. Reinmann). Und gestern gingen die Emails, wie im Brief angekündigt, raus. In diesen Emails ist der Zugang zur (geschützten) Umfrage enthalten (pro Email gibt es eine einmalige URL). Als Umfrage-System benutzen wir an der Professur schon seit über einem Jahr das hervorragende phpSurveyor. Diese openSource-Lösung ist wirklich sehr mächtig und hat sich schon mehrfach bewährt. Ich kann das Programm wirklich sehr empfehlen 🙂

Abschließend will ich noch auf eine Besonderheit hinweisen: die Befragten haben die Wahl, den Fragebogen entweder selbst online auszufüllen oder einen Termin zu vereinbaren, um den Fragebogen gemeinsam per Telefoninterview durchzugehen. Ich bin mal gespannt, wer diese letztgenannte Option in Anspruch nehmen wird. Dazu habe ich geplant, das Ganze mit Skype zu machen. Allerdings bin ich etwas von den Preisen und auch den Geschäftsbedingungen für SkypeOut enttäuscht. Andererseits hat es den Vorteil, dass ich ein Freeware-Tool von PowerGramo gefunden habe, mit dem ich problemlos das Skype-Gespräch aufnehmen kann, was natürlich sehr praktisch ist 😉

Im Promotionsstudiengang gibt es seit dem Wintersemester die Aufgabe, zum Semesterabschluss einen Bericht zu verfassen. Das hat vor allem den Vorteil, mal zu sammeln und festzuhalten, was im letzten halben Jahr passiert ist.

Mir hat das geholfen, da sich mein Eindruck „bestätigt“ bzw. verfestigt hat, dass sich allmählich doch eine Struktur herausbildet. Außerdem habe ich festgestellt, dass mein Empirie-Teil mittlerweile schon ziemlich angewachsen ist. Denn insgesamt kommen inzwischen einige Erhebungen und Zahlen zusammen. So will ich hier kurz zusammenfassen bzw. aus dem Bericht zitieren, welche verschiedenen Datenquelle ich alle heranziehen werde:

• Nach Abschluss der Fortbildung füllen die Teilnehmer im Zuge der Zertifizierung einen umfangreichen Online-Fragebogen aus. Bislang liegen Daten von knapp 3000 Befragten vor, die an dieser Gesamtevaluation beteiligt waren. Seit Januar 2005 werden hierfür kontinuierlich Daten gesammelt (bis Ende 2006). Inzwischen wurde eine Modifikation des Fragebogens beschlossen und diese wird derzeit umgesetzt. Mithilfe des geänderten Fragebogens erhoffe ich mir, an manchen Stellen noch gezielter nachforschen zu können. Zudem ist ein optionaler Fragenkomplex ergänzt, der Informationen über das allgemeine Fortbildungsverhalten der Lehrkräfte sammelt.
• Letztes Sommer hat eine Mentoren-Befragung mittels Online-Fragebogen stattgefunden. Die Auswertung ist weitgehend abgeschlossen und beruht auf knapp 250 ausgefüllten Fragebögen.
• Im Februar diesen Jahres wurde auf der Didacta eine Art „Bedarfserhebung“ durchgeführt, wobei vorab an vier Schulen Pre-Tests stattgefunden haben. Insgesamt wurden über 400 Lehrer- und über 60 Studenten-Fragebögen beantwortet. Eine erste Auswertung der Lehrer-Fragebögen wurde gerade abgeschlossen.
• Im Mai ist eine Umfrage unter Landesmentoren zu den jeweiligen Rahmenbedingungen in ihren Ländern geplant, wobei die Ansprechpartner entscheiden können, ob sie den Fragebogen in einem Telefoninterview oder selber online ausfüllen möchten. Die Vorbereitungen hierfür sind fast abgeschlossen.
• Daneben wurden Überlegungen angestellt, eventuell eine Dokumentenanalyse der Unterrichtsskizzen vorzunehmen, um die Auswertung mit qualitativen Daten anzureichern. Dies hängt aber davon ab, inwieweit noch zeitlicher Spielraum „verfügbar“ ist.
• Außerdem ist letztes Jahr ein Infoblock „Selbstevaluation“ entstanden (der gerade etwas überarbeitet wurde/wird und prominenter als wichtiger Content auf der Plattform platziert wird). Hierzu ist ebenfalls ein Fragebogen im Internet freigeschaltet. Allerdings haben ihr bisher erst 12 Freiwillige beantwortet. Je nach Fallzahl werde ich auf diese kleine Auswertung in der Doktorarbeit auch noch eingehen.

Soweit so gut 🙂
Sollte Interesse an dem Bericht bestehen: Ich habe ihn einfach mal angehängt (Semesterabschlussbericht WS 2005/2006). Aber: das ist natürlich keine wissenschaftliche Publikation und auch nicht mit einem Exposé zu vergleichen. Es ist einfach „nur“ ein Semesterbericht 😉
Sollte der Text tatsächlich gelesen werden, so freue ich mich natürlich über Feedback…

Vor zwei Tagen war ich in der Akademie für Lehrerfortbildung und Personalführung in Dillingen. Die dortige Abteilung für virtuelle Lehrerfortbildung ist federführend bei der Entwicklung und Implementation des Intel-Aufbaukurses. Vereinbart war eine Arbeitssitzung, bei der wir uns austauschen über die Zwischenergebnisse der Evaluation. Insbesondere mit den Empfehlungen, die wir im Schlußteil unseres internen Arbeitsberichts von den Auswertungsergebnissen abgeleitet haben, wollten wir uns beschäftigen. Der Termin war schon länger vereinbart und sollte im üblichen Rahmen stattfinden. Deshalb war ich überrascht, als auf einmal eine Bestätigung zu dem fünftägigen Fortbildungslehrgang „Mediendidaktische Aufbereitung von Unterrichtsmaterialien für eine Online-Trainingsplattform“ bei mir eintraf. Und dort war ich sogar als Referent aufgelistet 😉
Als ich dann dort war, war es im Prinzip wie immer. Ich habe tatsächlich kurz die Didacta-Präsentation in einem Hörsaal vorgestellt – allerdings vor einer sehr kleinen „internen“ Runde. Im Endeffekt war es also nichts anderes als die üblichen Arbeitstreffen. Allerdings ist es diesmal sehr gut gelaufen. Ich habe viele wichtige Hintergrundinformationen erfahren und bei bedeutenden Fragen haben wir konkrete Absprachen getroffen 🙂 So wird beispielsweise der Fragebogen, den die Kursteilnehmer zum Ende ihrer Fortbildung ausfüllen, modifiziert und dadurch ist es nun möglich, bei einigen Bereichen noch gezielter nachzufragen bzw. nachzuforschen. Außerdem wird nun nach Ostern eine Erhebung stattfinden, bei der die Landesmentoren zu den Rahmenbedingungen in ihren Ländern befragt werden.

Ich vermute, dass es oranisatorische Gründe waren, das Arbeitstreffen in einen offiziellen Lehrgang einzubetten. Dadurch wurde wahrscheinlich der Zugriff auf Ressourcen möglich (z. B. den schon erwähnten Hörsaal oder die Erstattung unserer Reisekosten, die wir bisher immer über die Uni abgerechnet haben).
Jedenfalls war es witzig, als ich am Ende sogar noch eine offizielle Bestätigung (sogar mit Stempel) für meine Referententätigkeit erhalten habe (Ruben und Rüdiger übrigens genauso). Das ist schon komisch, wenn ich etwa bedenke, dass ich letztes Jahr keinen entsprechenden Nachweis erhalten habe, als ich zweimal als „externer“ Referent auf internen Doktoranden-Treffen des E-Learning-Bereichs von TelekomTraining war und mich dort viel mehr vorbereitet habe. Ich muss aber hinzufügen, dass ich auch nicht nachgefragt habe. Ich habe das damals eher gemacht, weil es eine interessante Austauschmöglichkeit bot (der Kontakt bestand noch aus meiner Zeit, als ich dort mein Diplom gemacht habe). Außerdem war das zweite Treffen virtuell und ich konnte zum ersten Mal Erfahrungen sammeln, wie sich ein „Tele-Vortrag“ anfühlt – es hat erstaunlich gut geklappt und ich hatte keine Probleme, den Kontakt zu den Zuhörern zu halten (als System wurde Centra eingesetzt).

Als Abschluß zur Didacta 2006 hier noch kurz die Folien meiner Präsentation. Sie sollten auch ohne PowerPoint abspielbar sein, ansonsten kann bei Microsoft ein Viewer runtergeladen werden. Außerdem hat Ruben Fotos gemacht und so kann ich noch zusätzlich ein Bild anbieten 😉

PS: Der Urlaub war super 🙂 Sobald Steffi die Bilder ausgewählt und kommentiert hat, gibt es wieder ein Online-Fotoalbum – ich werde dann allen Interessenten den Zugang schicken

Nachdem ich gestern schon kurz über die Didacta und den Intel-Stand geschrieben hatte, will ich jetzt über die von mir durchgeführte Umfrage berichten.
Zunächst vorneweg: es ist nach Anlaufschwierigkeiten besser gelaufen als erhofft und ich habe insgesamt 410 Fragebögen (349 Lehrer- und 61 Studentenfragebögen) gesammelt 🙂

Doch nun der Reihe nach. Am Montag ist es bisschen schleppend losgegangen. Das lag daran, dass noch nicht so viel auf der Messe los war. Außerdem habe ich am ersten Tag kaum mithelfen können, da ich noch einige Dinge regeln musste und auch erst am Mittag in Hannover ankam. Und zusätzlich habe ich Marco, mein Assistent für Montag und Dienstag (von Intel bezahlt), in den ersten Stunden nur im Umfeld des Intel-Standes arbeiten lassen (wo, wie schon berichtet, nicht so viel los war). Später habe ich mich dann aber nach Rücksprache dazu entschieden, in die Halle mit den Schulbuchverlagen zu wechseln und dort Lehrer anzusprechen. Das war auch deshalb kein Problem, da die Umfrage von der Uni Augsburg durchgeführt wurde und es das neue Intel-Logo nicht mehr rechtzeitig auf den Fragebogen „geschafft“ hatte (was im Nachhinein sogar ein Vorteil war).
Jedenfalls habe ich Montag und Dienstag schnell festgestellt, dass es ziemlich anstrengend ist, den ganzen Tag in der trockenen Luft einer Messehalle rumzulaufen und wildfremde Menschen anzusprechen, um für eine Kurz-Befragung zu werben. Nachdem ich meine Hemmungen etwas abgebaut hatte, wurde ich etwas besser. Angeregt wurde ich auch durch Ruben und Rüdiger, die am Mittwoch und Donnerstag hochmotiviert mitgeholfen haben. Während ich zunächst fast nur einzelne Messebesucher angesprochen habe, die entspannt wirkten, sind Ruben und Rüdiger auch auf ganze Gruppen zugegangen. Und das hat am Ende auch bei mir funktioniert 😉 Aber ich bin wirklich sehr dankbar, dass Ruben und Rüdiger mitgemacht haben. Sie haben in unseren zweistündigen Befragungsphasen meistens doppelt so viele Fragebögen gesammelt wie ich 🙂 Ab Mittwoch kamen sogar noch freiwillig zwei Intel-Praktikanten dazu, die immer dann, wenn sie kurz Zeit hatten, mitgelaufen sind.

Die Befragung selbst war sehr interessant. Da ich zunächst sehr selektiv entspannt wirkende Messebesucher angesprochen hatte, war meine Mitmachquote sehr hoch (ca. 7-8 von 10). Später als ich, durch Ruben und Rüdiger animiert, etwas wahlloser auf die Messebesucher zugegangen bin, ist diese Quote auf 40-60% gesunken.
Alles in allem war die Bereitschaft schon sehr hoch. Das hing zum einen damit zusammen, dass wir von der Uni kamen. Und dass die Befragung wirklich sehr kurz ist (14 Fragen, max. 2 Minuten). Natürlich hat das Notebook-Gewinnspiel auch eine Rolle gespielt. Das habe ich aber fast immer erst dann erzählt, als die Angesprochenen schon stehen geblieben sind – insofern war es wohl nur bei den wenigsten entscheidend (manche wollte beim Gewinnspiel auch gar nicht mitmachen), zumindest war das bei mir so. Die Tageszeit war auch nicht unwichtig. Vormittags waren viele noch entspannt. Mittags waren viele genervt. Und gegen Nachmittag ging es dann wieder (vermutlich hatten viele ihr Messeprogramm dann schon hinter sich).

Daneben war auch der Interviewer-Effekt interessant. Bei uns Männern haben tendenziell etwas mehr Frauen mitgemacht und bei der Intel-Praktikantin haben die angesprochenen Männer mehr Bereitschaft gezeigt, an der Befragung teilzunehmen 😉
Zusätzlich wurde mir von Rüdiger erzählt, dass er den Eindruck hatte, das Antwortverhalten sei dadurch beeinflusst, ob einzelne Befragte den Fragebogen alleine bearbeiten oder ob ihn mehrere Befragte parallel beantworten (also eine Gruppe, bei der alle mitmachen und jeder seinen eigenen Fragebogen ausfüllt). So sei es wohl dazu gekommen, dass die einzelnen Befragten eher angaben, lieber alleine zu lernen, während die Befragten aus den Gruppen ankreuzten, dass sie es bevorzugen würden, im Team zu lernen – wobei Rüdiger auch gesagt hat, dass dieser subjektive Eindruck möglicherweise durch prägnante Einzelbeispiele verfälscht ist…

Und schließlich noch fand ich die Gespräche, die immer wieder durch den Fragebogen zustande kamen, sehr interessant. Dabei wurde mal wieder deutlich, wie wenig standardisierte Umfrage-Ergebnisse aussagen. Obwohl ich in meiner Doktorarbeit überwiegend quantitativ arbeite, was aufgrund meiner hohen Fallzahlen gar nicht anders möglich ist, stelle ich regelmäßig fest, wieviel mehr Informationen in „qualitativen Daten“ steckt. Als Beispiel will ich noch kurz die Frage nach der technischen Ausstattung an Schulen anführen. Die Befragten sollte diese technische Ausstattung in Schulnoten bewerten. Und wenig überraschend ist eine „2“ nicht unbedingt eine „2“ bzw. heißt es nicht, dass eine „2“ besser als eine „4“ sein muss. So haben manche ganz begeistert erzählt: „Wir haben eine super PC-Raum, also ist unsere Ausstattung mindestens gut (2)“. Andere haben gesagt: „Wir haben zwar ein paar PC-Räume, mir reicht das aber nicht, ich will in jedem Klassenzimmer einen Beamer etc., also gebe ich nur eine Vier“. Solche Details gehen in den scheinbar objektiven Fragebogen-Auswertungen leider häufig unter. Jedenfalls bin ich mal gespannt, welche Ergebnisse die Auswertung liefern wird. Ich werde darüber berichten…

Meine Woche war lang, deshalb heute nur kurz ein erster Rückblick auf die Didacta 2006. Schon gestern Abend bin ich mit Rüdiger und Ruben aus Hannover zurückgefahren, da heute aber Doktoranden-Kolloquium war, komme ich erst jetzt dazu…
Die Zeit ist sehr schnell vergangen und insgesamt kann ich ein sehr positives Fazit ziehen (dazu morgen mehr). Doch eines habe ich festgestellt: ein Messetyp bin ich nicht; da geht es mir wohl ähnlich wie Gabi und Frank 😉

Zum Glück war am Intel-Stand genug Zeit, um Gespräch mit dem Team dort zu führen. Denn der Stand war leider ungünstig platziert. Der Standort war in der Halle mit Weiterbildungsanbietern und Hochschulen. Dort war aber nicht so viel los. Und Lehrer (die Hauptzielgruppe) haben sich kaum dorthin verirrt, die waren bei den Schulbuchverlagen (diese Halle war ziemlich voll).
So habe ich meinen Vortrag auch zweimal vor fast leeren Stuhlreihen gehalten. Ich war trotzdem zufrieden und habe gelernt, dass ich eher leise sprechen muss, wenn ich mit einem Headset-Mikrofon ausgerüstet bin. Da ich mit einem Smartboard gearbeitet habe, habe ich vorher noch schnell die Präsentation angepasst und sämtliche Animationen rausgenommen. Ansonsten hätte ich mich für jede Animation umdrehen müssen (um auf den Bildschirm zu klicken), da das Notebook schlecht zu erreichen war.
Witzig war die Showeinlage für das Fernsehen. Während ich gesprochen habe, wurde parallel ein Interview mit einem Intel-Manager geführt. Als hinterher der Stand und dabei kurz mein Vortrag gefilmt wurde, kam vorher noch schnell die Anweisung, alle Reihen mit Mitarbeitern zu füllen, damit es voller aussieht 😉 So hatte ich doch noch genug Zuhörer und komme vielleicht sogar ins Fernsehen, wobei ich gar nicht weiß, wann und wo das ausgestrahlt wird (oder eventuell schon gelaufen ist).

Ach ja: am Mittwochabend hat Intel noch ein schicke Stand-Party spendiert, sogar mit Live-Musik 🙂

PS: Morgen gibt es einen Bericht zur Umfrage, die ich dort ebenfalls durchgeführt habe

Wie ich schon geschrieben habe, bin ich von Montag bis Donnerstag auf der Didacta in Hannover. Neben der Umfrage, die ich dort durchführen will, werde ich am Intel-Stand auch Zwischenergebnisse der Evaluation vorstellen. Bis gerade dachte ich, ich sei gut vorbereitet. Doch als ich mit Steffi die Folien durchgegangen bin, hat es alles andere als gut geklappt. Andererseits heißt es ja immer: eine mißlungene Generalprobe ist eher ein gutes Zeichen 🙂
Ich bin also gespannt, wie es morgen laufen wird. Es wird für mich auf jeden Fall eine gute Übung sein, mal wieder in einem „offiziellen“ Rahmen etwas zu präsentieren.