Regelkommission: Neueichung der Punkteskala in Kraft
Seit über einem Jahr plant die OPD-Regelkommission die Neueichung der Punkteskala auf die ursprünglich vorgesehenen Punkteskalen. Nun tritt die Änderung offiziell in Kraft. Die Hintergründe und eine Anleitung, wie man als Juror künftig jurieren soll und jurieren gelehrt werden soll, stellen sie heute vor.
Der Januskopf, Logo des OPD-Formats – © Streitkultur e.V.
Vor einem Jahr schrieben wir als OPD-Regelkommission einen Artikel bezüglich des „Experiments Neueichung“. Versuchsweise wurden seitdem mehrere Turniere mit Anweisungen zur weiteren Ausreizung der Punktespanne ausgerichtet. Größere Änderungen wurden mit Rücksicht auf den Bedarf nach einem geeichten Jurorenfeld aber nicht vor Abschluss der Deutschsprachigen Debattiermeisterschaft 2017 in Betracht gezogen. Nun, zwei Jahre vor der nächsten OPD-DDM, ist die Zeit gekommen, die Ergebnisse der Kommission vorzustellen und die Neueichung ausschließlich und flächendeckend in Kraft treten zu lassen. Dabei halten wir es für essenziell, dass die Vergabe von Punkten anders als bislang vermittelt wird.
Das Problem
Gehen wir davon aus, dass das OPD–Regelwerk umgesetzt wird, dann haben wir auf keinem einzigen OPD-Turnier der letzten Jahre eine „nationale Spitzenleistung“ gesehen. Der entsprechende Paragraph findet sich im Regelwerk unter C 1.2. (5):
„Die höchste Punktzahl bleibt der besten möglichen Leistung vorbehalten. Richtgrößen für die Punktvergabe [je Einzelrednerkategorie]: 0 Punkte = nicht vorhanden; 5 Punkte = schwache Leistung; ab 10 Punkte = gute Leistung; 15 Punkte = sehr gute Leistung. Der Bereich von 15-20 Punkten dient vorallem zur Profilierung der Spitzenleistungen auf Turnieren. Zur Orientierung kann die Punkteskala der Gymnasialen Oberstufe dienen (strenge Benotung vorausgesetzt). Jeder tüchtige Redner sollte mit einem Schnitt in den 50ern zufrieden sein können (~ voll befriedigend). Eine Rede, in der sich überall Stärken und Schwächen die Waage halten, liegt demnach bei 40 Punkten (8 je Kategorie)“
Gehen wir aber stattdessen davon aus, dass das Hochschuldebattieren in Deutschland über die letzten Jahre repräsentativ verschiedene Leistungen beinhaltete, so wurden Spitzenleistungen de facto eher mit maximal 55 Punkten als mit maximal 75 Punkten ausgezeichnet – was den oben zitierten Regeln widerspricht, kaum Differenzierung zwischen verschiedenen Reden ermöglicht und Juroren mit stärkeren Ausschlägen überproportionalen Anteil am Turnierergebnis zumisst.
So viele Punkte könnte es demnächst für die besten Spitzenleistungen auf der ZEIT DEBATTE Hamburg oder dem Streitkultur-Cup geben.
Warum aber ist die Punktespanne in OPD-Jurierungen so klein geworden?
Als erste Orientierung für neue Juroren galten bei Erklärungen an jene meist die auch im Regelwerk angesprochenen 40 Punkte (8 pro Kategorie) als Orientierungspunkt einer durchschnittlichen (lies: Stärken und Schwächen sind ausgeglichen, die Rede ist weder gut noch schlecht sondern „ok“) Rede. Den meisten Juroren wurde dann beigebracht, sich anhand dieses Werts etwas nach oben oder unten zu bewegen. Wenn Punkte aber ähnlich wie die des Hauptjurors oder übrigen Panels sind, fallen sie nicht auf, werden nicht kritisch hinterfragt. Juroren mit extremeren Abweichungen fallen also als einzige negativ auf: Es wird implizit belohnt, sich von der Mitte nur in Tendenzen fortzubewegen, nicht aber individuell auf Leistungen zu schauen. Auf diese Weise liegt der Juror praktisch nie „falsch“ im Sinne einer größeren Abweichung zum Rest des Panels.Diese Entwicklung führt aber in der Masse zu einer unausdifferenzierten Bewertung und dem Stand, den wir die letzten Jahre beobachten konnten.
Wie können wir das ändern?
Die Regelkommission rät, Einsteigern explizit die Punktespanne im Vergleich zu Schulnoten zu erklären. Wer die Eichung eines frischgebackenen Jurierenden, mit „8 Punkte ist eine durchschnittliche Leistung in einer Kategorie“ vornimmt, der befördert eine Bewertung nah an den als Referenzpunkt eingeführten 8 Punkten. Besser sind mehrere Referenzpunkte, wie „eine mit der Schulnote 1 vergleichbaren Leistung wäre in OPD-Punkten eine 14, die Note 3 eine 8, die Note 6 das Äquivalent zu 0 Punkten“. Acht Punkte dürfen nicht das Mittel aller Dinge sein, sondern eine von mehreren in gleicher Weise möglichen Leistungsstufen. Wer sprachlich gut ist, hat in der Kategorie „Sprachkraft“ nicht wie bislang 9 Punkte zu erhalten, sondern 11. Wer relevante Entwicklungen der Debatte ignoriert, auf die Gegenseite nicht ausreichend eingeht oder wichtige Ebenen der Auseinandersetzung übergeht, ist je nach Grad der Vernachlässigung in Urteilskraft ungenügend (Schulnote 5: 3 Punkte). Edit: Die Abzüge für Regelverstöße werden, um ähnlich stark zu sanktionieren wie nach der bisherigen Eichung, auf 6 Punkte für den kleinen Abzug und 12 Punkte für den großen Abzug festgelegt.
Zusätzlich bewerten wir in OPD Wirkungen, nicht Handlungen. Eine Lektüre beispielsweise des mit einer Seite Umfang gut lesbaren OPD-FAQ-Einleitungstexts schadet sicher nicht, um auch neuen Juroren die Angst vor einer „falschen“ Jurierung zu nehmen und den Mut zur individuellen Wahrnehmung zu stärken. Für das kommende Jahr ist zur Sicherung der gewünschten Bewertungsstandards übrigens auch eine Kooperation mit der VDCH-Beirätin für Jurierseminare angedacht.
Außerdem freuen wir uns, ankündigen zu können, dass ab dem neuen Jahr auch eine komplett überarbeitete Version des kommentierten Regelwerks zur Verfügung stehen wird. Damit einhergehen werden einige Regeländerungen und insbesondere die Neuformulierung vieler Kommentare zum leichteren Verständnis.
Für Fragen und Anregungen steht euch die Regelkommission unter opd [at] streitkultur [dot] net jederzeit zur Verfügung. Alle Informationen und Materialien zum OPD-Format findet ihr auch auf der OPD-Serviceseite.
Eure Regelkommission
Die OPD-Regelkommission ist ein vom Verein Streitkultur e.V., der die Rechte am OPD-Format besitzt, gewähltes fünfköpfiges Gremium, das das Regelwerk pflegt, bei Bedarf aktualisiert und bei Fragen zum Format zur Verfügung steht. Die Regelkommission besteht in der Saison 2017/18 aus Nikos Bosse, Titian Gohl, Konrad Gütschow, Lennart Lokstein und Julius Steen. Erreichbar ist sie per Mail an opd [at] streitkultur [dot] net.
Verständnisfrage: Bedeutet das, dass ab sofort bei allen Turnieren (bspw. Zeit Debatte Hamburg) mit der neuen Skala juriert wird?
Ja, die Chefjuroren für Hamburg wurden diesbezüglich auch etwas im Voraus von uns informiert.
Juhuuu, endlich verpflichtend! 🙂
Ich möchte aber anregen, dass zumindest für das nächste halbe Jahr wieder eine kurze Regeleinführung zu Beginn des Turniers gemacht wird, wo die CJen auf die Schulnotenmethode hinweisen. Ich war letzte Saison in Hamburg bei einem Testturnier und das lief total schief… Vllt kann die Regelkommission die OPD-Präsentation um 1-2 Folien dahingehend ergänzen 🙂
Falls man irgendwie Dateien verteilen kann: ich hab noch die Präsentation vom SK-Cup. Da lief das meines Wissens nach ganz gut und die wurde auch (nicht in Hamburg) schon auf anderen Turnieren verwendet.
Wir hatten in Hamburg leider technische Probleme, daher gab es keine Präsentation, obwohl eine vorbereitet war (basierend auf der vom SK Cup).
Ich als älterer Juror bin jetzt erstmal stark verunsichert, da mein über Jahre eingelerntes Gefühl: „Das war jetzt eine X in der Kategorie….“ jetzt erstmal ein Raten wird: Ist das noch nationale Spitzenleistung oder schon Internationale? Meine bisherige Erfahrungen mit der neuen Skala war nur aus Rednersicht. Dabei unterschieden sich aber die Erfahrungen auf Turnieren in Hamburg und Heidelberg massiv. In Heidelberg konnte ich nichtmal meine eigene Leistung durch die neuen Feedbackformulierungen mit Meinen übrigen Leistungen einordnen. „Die Leistung war gut, 50 Punkte.“ vs Selbstwahrnehmung in alter Skala „eine okaye oder auch einwenig überdurchschnittliche 45er Rede“ – Gut waren früher auch 50 Punkte, aber sie bedeuteten subjektiv mehr.
Wie wird in der breiten Masse das Umlernen stattfinden?
Wird es nur die abstrakte Eichung durch Textbeschreibungen geben? Schulnoten (nicht juristische Noten) ist schonmal ein Anfang, aber die haben auch in der Schulzeit für Uneinheitlichkeiten gesorgt(strengere Lehrer, unterschiedliche Bundesländer usw….). Oder werden wieder Eichdebatten vor Turnieren stattfinden? Wäre es möglich bekannte Videodebatten (z.B. alte Eichvideos) anhand der neuen Skala zu bewerten und dies zu veröffentlichen? Oder wird sich die Skala einfach in den nächsten Jahren einpendeln und wir nehmen Schwankungen zwischen und in den Turnieren hin, bis ein sich ein Konsens entwickelt hat?
(Ich weis es ist nur ein Beispielbild) Aber eine Rede, die „Läuft“ bis „Holy Shit“ als anmerkungen hat ist nur eine 13 in dieser Kategorie? Ein „Voll gut“ (kein Sehr gut!) und ein omg sind dann 15 Punkte?
Es ist auf dem Bild nicht ernst gemeint, aber eben solche Fragen stelle ich mir tatsächlich, wenn ich vor die neue Skala gestellt werde.
Viele Probleme der OPD Jurierung können mit diesem Schritt nicht gelöst werden. Juroren brauchen immer noch Erfahrung und ein gewisses Gefühl dafür, wie überzeugend eine Rede ist. Neue Juroren müssen wie bisher trainiert werden. Nur eben mit anderen Zahlen.
Wenn wir aber von Juroren ausgehen, die nach der alten Skala jurieren konnten, sollte für diese der Umstieg nicht schwer fallen.
Die „durchschnittliche“ Leistung wird statt mit 8 Punkten nun etwas flexibler mit 7-9 bewertet.
Eine „gute“ Leistung statt davor (je nach Juror) mit 9 oder 10 Punkten, jetzt mit 10-12.
Der „sehr gute“ Bereich bewegt sich statt 10-11 jetzt eben bei 13-15.
Wer davor 12 und mehr Punkte verteilt hat, wird wohl den Bereich der nationalen Spitzenleistungen eröffnen.
Nach unten geht das natürlich genauso.
Ich mag die große Skala persönlich wirklich gerne. Davor hatte man oft das Problem z.B. zwischen 9 und 10 zu schwanken. Jetzt habe ich wenigstens ein paar Zwischenschritte mehr und muss kein Gemauschel zwischen verschiedenen Kategorien machen 😀
Wir sind weiterhin der Meinung, dass eine zu konkrete Beschreibung der Bepunktungen kontraproduktiv ist. Da die Chance besteht, dass dadurch ein bestimmter Stil zementiert wird und man nicht den individuellen Ansprüchen von Redner und Thema gerecht wird.
Liebe Regelkommission, Gratulation zu diesem mutigen Schritt. Eine wichtige Frage ist aus meiner Sicht: Wie bringen wir neuen Juroren bei, welche Leistung welcher Note entspricht? Nehmen wir das Beispiel Auftreten. Für einen unerfahrenen Juroren, der zudem wenig Redeerfahrung hat, wird es schwierig sein zu beurteilen, was eine 1 von einer 2 unterscheidet – er könnte es schon als sehr gute Leistung einstufen, wenn der Redner ruhig steht und die Hände bewegt. Aus meiner Erfahrung hilft hier eine kommentierte Notenskala, in der die zu erwartende Leistung für jede einzelne Kategorie (inklusive Unterkategorien) für alle Notenstufen beschrieben wird.
Liebe Sarah,
ich stimme dir zu, ein unerfahrener Juror würde von einem konkreten Erwartungskatalog wahrscheinlich profitieren. Das Problem ist allerdings, dass der Erwartungskatalog nur in ~75% der Fälle richtig sein wird. Das ist immer noch besser als die 20% des unerfahrenen Jurors, aber eben keine Zahl die wir als fair oder richtig ansehen würden.
Wir bringen z.B. vielen Leuten bei, dass ruhig stehen gut funktioniert. Tut es auch in den meisten Fällen. Wenn sich aber jemand gezielt bewegt, anstatt nervös zu schwanken, kann das durchaus noch souveräner und entspannter wirken. Ein Juror der darauf trainiert ist, ruhiges stehen hoch zu bepunkten, hat hier einen Bias, anstatt die Rede einfach neutral auf sich wirken zu lassen.
In vielen Fällen ist eine Hand in der Hosentasche blockierend. Oft aber auch überhaupt kein Problem.
Tendentiell sind mehrere Argumente gut. In manchen Debatten lohnt es aber 7 Minuten lang über eine einzige Frage zu reden.
Eine angekündigte Struktur kann helfen. Bei einer sehr organisierten Rede ist sie aber unnötig.
Ich glaube also, dass es theoretisch nicht möglich ist, einen wirklich guten Katalog zu erstellen. Bzw. wenn er alles umfasst, wäre er so breit, dass er nicht mehr zu nutzen wäre.
Daher gilt die Regel: Was gut wirkt, ist gut.
Im Gegensatz zu klassischen Feedbackmethoden, wo man erst beschreibt was man gesehen hat und über die subjektiv empfundene Wirkung redet, würde ich beim Debattenjurieren empfehlen, erst auf die Wirkung zu achten, das Gesamtgefühl. Das schreibt man dann als Punktzahl auf. Im zweiten Schritt kann man versuchen herauszufinden, woher dieses Gefühl kommt und es mit Handlungen verknüpfen. Anhand derer kann man dann Feedbacken. Regel hier: Wir bewerten Wirkungen, keine Handlungen.
Da es aber zweifelsohne stimmt, dass es sehr unerfahrenen Leuten leichter fallen würde, wenn es klare Kriterien gäbe, kannst du dich hierzu mal mit Jonathan Scholbach kurzschließen. (bzw. auf der Achten Minute nach Artikeln dazu suchen) Sein propagiertes „OPD 2.0“, dass wir allerdings aus genau diesen Gründen ablehnen, trennt die OPD Kriterien weiter auf und gibt relativ klare Regeln was wie bewertet wird. Für den studentischen Debattiersport finde ich das eher kontraproduktiv, aber vielleicht findest du eine Verwendung dafür.
Großartig. Als ich vor in paar Jahren als Juror aushalf, wurde ich schon schief angeschaut, wenn ich +/-3 Punkte von der “magischen Acht“ abwich. Schön, wieder in das besser differenzierte System von vor 10 Jahren zurückzukehren.
Gruß aus der Vergangenheit, in der bekanntlich Alles ausnahmslos besser war. 🙂 Torsten.
P.S.: Wenn wir jetzt noch anfangen, BPS wieder “australisch“ zu bewerten, kann ich mir auch mal wieder ein Turnier geben, ohne in den Tisch zu beißen.
Warum genau musst du bei aktuellen Turnieren in den Tisch beißen?
Und wie sieht das australische System aus?
Wird es anlässlich der Neueichung auch neues Lernmaterial fürs Selbststudium geben?
Da ich nächstes Jahr auf OPD-Turnieren das erste Mal als Jurorin fungieren soll, wäre ich darüber sehr dankbar! Soweit ich mitbekommen habe, ist in nächster Zeit ja kein Präzenz-Jurierseminar geplant.
Wäre unter Umständen ein Webinar möglich?
Der VDCH plant im ersten Halbjahr 2018 zwei Wochenend-Jurierseminare. Sobald die Termine feststehen, werden wir die ankündigen. 🙂
Soweit ich gehört habe, soll es Anfang des Jahres 2018 ein Jurierseminar an einem Wochenende in Mainz geben (vor der ZD Hamburg). Das wäre ja nicht weit weg von Gießen 🙂
Die Regelkommission selbst veranstaltet keine Jurierseminare, wir haben aber der VDCH-Beirätin für Jurierseminare angeboten, bei VDCH-Jurierseminaren zu unterstützen.
Außerdem wird, wie angekündigt, das Regelwerk Anfang kommenden Jahres in überarbeiteter, hoffentlich leicht verständlicher Form neu herausgegeben werden.
Ich gehe jetzt Mal davon aus, dass die Teampunkte auch nach Schulnoten vergeben werden sollen. Ich habe den Eindruck, dass das bei Teampkt. im SQ sowieso schon eher so gehandhabt wird als bei Einzelrednerpunkten.
Ich frage mich daher, ob die Änderung nicht die Gefahr birgt, dass die Einzelrednerpunkte schneller ansteigen als die Teampunkte (sofern diese überhaupt ansteigen), was Letztere irrelevanter machen würde (eine Änderung, die ich bei einer „Teamsportart“ eher suboptimal fände).
Hat es auf den „Testturnieren“ da irgendwelche Veränderungen bzgl. des Verhältnisses von Einzelpunkten zu Teampunkten gegeben?
Hey Matthias,
als wir im letzten Jahr über die Konzipierung der Neueichung gesprochen haben, ist uns der von dir genannte SQ auch aufgefallen. Also ja, bei Teamkategorien wird „eher“ nach Schulnoten juriert. Aber wiederum nur bei bestimmten Teamkategorien (was das Ergebnis auch verzerrt): So findet bspw. bei der Strategie meist eine Art Übertragung der Einzel- auf die Teampunkte statt (was an sich völliger Quatsch ist). Und gerade bei der Kategorie Überzeugungskraft mit der größten Spannweite ist die, in der Realität vorkommende, Marge verhältnismäßig klein. Zumindest kenne ich fast niemanden, der sich traut über 30 Punkte oder unter 15 Punkte in dieser Kategorie zu vergeben. Das heißt lediglich die Interaktion war offener bei der Punktevergabe. Dementsprechend würde ich deine Bedenken etwas entkräften und glaube, dass die Neueichung auch einen Einfluss auch auf die Teampunkte haben wird, obwohl bereits heute die Tendenz existiert, dass dort die Spannweite zumindest breiter ausgeschöpft wird. Dennoch ist das Problem viel stärker bei den Einzelreden zu verorten, in der immer wieder abstruse Erklärungen vorkommen: Da reicht die Spannweite von „7 ist Durchschnitt“ (warum auch immer) bis „mehr als 11 Punkte vergibt man einfach nicht“ oder „es war zwar richtig mies aber weniger als 6 Punkte muss man ja nicht vergeben, die sind eh irrelevant fürs Tab“. Auf den Turnieren, die ich juriert habe mit Neueichung habe ich mehr positive Erfahrungen wahrgenommen als negative. Zwar gab es einzelne Probleme (was einer Neueichung inhärent ist) aber grundsätzlich fühlte sich das Verhältnis der Punkte ausgewogener und differenzierter an. Nunja, fühlen ist nicht unbedingt die beste Methode um deine Frage zu beantworten, aber ich konnte für mich kein Missverhältnis zwischen Team- und Einzelpunkten feststellen, sondern vielmehr eine neue Offenheit für die Akzeptanz von Exzellenz sowieso problematischen Leistungen. Ich hoffe, dass andere ähnliche Eindrücke gesammelt haben 🙂
Als letztes möchte ich noch ergänzen: Ich glaube kaum, dass die Einzelrede keine Teamleistung ist. Eine gute Einzelrede ist genauso ein Produkt einer guten Teamleistung. Ich glaube diese Trennung verzerrt das Bild einer OPD-Debatte. Schaut man in die Leitfäden etc. sagt man so gerne, Teamkategorien ist alles „was vom Platz aus passiert“. Aber auch das macht ja ein Einzelner und kein Team. Eine Zwischenrede hält auch ein einzelner und kein Team. Und genauso andersherum: Den Inhalt, den eine Einzelrede generiert, die Bilder, die verwendet werden und der Antrag der ausgearbeitet wird, sind eine Schöpfung aus drei Köpfen und nicht aus einem. Daher glaube ich, dass die Neueichung – sollte sie nur auf Einzelkategorien angewendet werden, was sie nicht wird – keine Verzerrung des Team vs. Einzelaspekts bedeutet. Eine Teamleistung ist jeder einzelne Beitrag in einer (guten) OPD-Debatte.
Wir wurden per Mail gefragt, ob die Strafabzüge bei Regelverstößen sich auch verändern. Dies ist, wie auch auf den Versuchsturnieren, in der Tat der Fall. Der kleine Abzug liegt künftig offiziell bei 6 Punkten, der große bei 12 Punkten. Wir editieren das in den Artikel.
Eine verbesserte Erläuterung, wann die Abzüge zu geben sind, kommt auch mit der neuen Ausgabe des Regelwerks.