Probabilistisches Jurieren

Datum: 8. April 2020
Redakteur:
Kategorie: Jurieren, Mittwochs-Feature

Im heutigen Mittwochs-Feature möchte Marius Hobbhahn einen Denkanstoß liefern, nämlich Argumente probabilistisch zu begreifen. Dieser Beitrag ist eine Zusammenfassung von drei Artikeln, die auf Englisch auf seinem Blog zu finden sind

Ein Aspekt des Debattierens, der meiner Meinung nach häufig etwas zu kurz kommt, ist eine probabilistische Interpretation des Debattierens. Obwohl Argumente in Debatten häufig „zum Teil gekauft“ werden oder die Jurierenden „zu einem gewissen Grad“ überzeugt sind, wird wenig darüber geredet, was genau das eigentlich bedeutet. Ich habe auf meinem Blog eine dreiteilige Miniserie zu dem Thema geschrieben, in der alle Konzepte sehr ausführlich behandelt werden. In diesem Artikel will ich eine Kurzfassung liefern, die einen groben Überblick geben soll. Falls das Konzept von Wahrscheinlichkeiten und Wahrscheinlichkeitsverteilungen eher neu für Dich ist, habe ich eine kleine Einführung im ersten Teil der Serie geschrieben.

Marius Hobbhahn hat auf seinem Blog bereits eine Artikelserie zu diesem Thema veröffentlicht – © Sven Jentzsch

Wir denken über die Welt nicht binär nach. Unsere Wetter-Apps teilen uns meistens mit, dass es „mit 70-prozentiger Wahrscheinlichkeit regnen wird“ und nicht, dass es „sicher regnen wird“. Wenn wir Aussagen treffen wie „Ich komme wahrscheinlich zur Party“, dann ist das eine probabilistische Aussage. Wir sagen also nicht „Ich komme sicher“ oder „Ich komme sicher nicht“, sondern „Es ist wahrscheinlicher, dass ich komme, als dass ich nicht komme“. Unsere Entscheidungsfindung ist ebenfalls probabilistisch. Wenn die Wetter-App sagt, dass es mit 70-prozentiger Wahrscheinlichkeit regnen wird, denken wir „Das Risiko nass zu werden ist mir zu hoch“ oder „Ich bin bereit das Risiko einzugehen“. Diese Einschätzungen passieren nicht nur im Kleinen, sondern auch in Regierungen oder Firmen. Wenn Experten der Regierung mitteilen, dass es mit 5-prozentiger Wahrscheinlichkeit zu einem Atomkrieg kommen könnte, wird die Regierung nicht einfach auf 0 % abrunden. Wenn eine Firma schätzt, dass es ein 40-prozentiges Risiko gibt, dass einer ihrer Zulieferer ausfällt, wird sie sich wahrscheinlich Rückfallstrategien überlegen, obwohl der Ausfall weniger wahrscheinlich ist als dass nichts passiert. Der Grund für diese Entscheidungen ist, dass die jeweiligen Akteure einen Erwartungswert heranziehen. Sie multiplizieren also den potenziellen Schaden mit seiner Eintrittswahrscheinlichkeit, um den erwarteten Schaden zu erhalten. Der erwartete Schaden eines Nuklearangriffs ist sehr hoch, selbst wenn er nur eine 5-prozentige Eintrittswahrscheinlichkeit hat und ein Szenario bei dem der Zulieferer mit 40-prozentiger Wahrscheinlichkeit wegfällt, kann katastrophal für die Firma sein.

Die These, die ich in diesem Artikel erklären möchte, ist folgende: Die Welt ist nicht binär, unsere Entscheidungsfindung ist nicht binär und daher sollten das Debattieren und die Jurierung ebenfalls nicht binär sein. Sie sollten probabilistisch sein.

Überzeugungen sind Wahrscheinlichkeitsverteilungen

Prozentzahlen sind schon mal besser als binär zu denken. Es geht aber noch genauer. Es kann einen Unterschied zwischen zwei Szenarien geben, obwohl sie die gleichen Wahrscheinlichkeiten haben. Wir würden beispielsweise sagen, dass ca. 50 % der Ergebnisse eines ungezinkten Münzwurfs Kopf sind. Wir würden vielleicht auch sagen, dass die Wahrscheinlichkeit, dass der DAX morgen steigt, bei ca. 50 % liegt. Der Unterschied zwischen den beiden Ereignissen liegt in ihrer Unsicherheit. Wir sind uns sehr sicher, dass wir nah an 50 % sein werden, wenn wir die Münze ausreichend oft geworfen haben, sind uns aber sehr unsicher darüber, ob es wirklich 50 % für den DAX sind. Um diese Unsicherheit in unserer Schätzung mit auszudrücken, können wir Wahrscheinlichkeitsverteilungen nutzen.
Die Verteilung darüber, ob die Sonne morgen aufgeht, liegt bei einer Wahrscheinlichkeit von nahezu 1 und hat sehr geringe Unsicherheit. Solche Verteilungen können auch über die Größe eines Effekts sein, z.B. drückt die Verteilung über die Größe der globalen Effekte von Covid-19 irgendetwas in Richtung „groß, aber mit hoher Unsicherheit“ aus.
Solche Verteilungen kann man jedem Argument zuweisen, das in einer Debatte gemacht wird, um die Stärke des Arguments zu evaluieren. Die Gründe wieso wir in Verteilungen und nicht in Punktschätzern (also Prozentzahlen) denken/jurieren sollten sind zweierlei: a) Verteilungen sind in der Lage, die Unsicherheit eines Argumentes abzubilden. Falls zwei Jurierende sich uneinig über die Stärke eines Argumentes sind, kann das an der hohen Unsicherheit dieses Argumentes liegen. b) Verteilungen sind eine gute Möglichkeit auszudrücken, dass der durchschnittliche informierte Zeitungsleser (DIZ) nicht eine Person mit klar definierten Überzeugungen ist, sondern eine Kombination aus vielen verschiedenen Ansichten, sie sich zu abweichenden Graden unterscheiden, in sich vereint.

Argumente sind probabilistisch

Ein Argument kann als Kombination aus Wahrheits- und Relevanzverteilung dargestellt werden. Es ist wichtig zu betonen, dass die Relevanzverteilung NICHT nur auf utilitaristische Argumente beschränkt ist, sondern jede Form von moralischer Metrik abbilden kann. Relevanz kann Glück oder Leid, Freiheit, Demokratie, individuelle Rechte, etc. bedeuteten, je nachdem was der Kontext der Debatte ist und welche Argumente die Teams machen. Die Stärke eines Arguments wird dann aus der Kombination von Wahrheits- und Relevanzverteilung bestimmt.
Jede unserer Überzeugungen hat eine a-priori-Verteilung. Im Kontext des Debattierens bedeutet das, dass wir, bevor ein Argument gemacht wird, bereits eine sehr grobe Einschätzung von diesem Argument haben. Natürlich ist diese a-priori-Verteilung durch die Beiträge der Teams veränderbar, schließlich wollen wir ja nicht, dass unsere Vorannahmen die Debatte zu sehr beeinflussen. Da Debattieren einen Wettkampfcharakter besitzt, müssen wir gewisse Regeln einführen. Die a-priori-Verteilungen müssen die Überzeugungen des DIZ grob approximieren; sie können nicht den Meinungen der individuellen Jurierenden entsprechen. Zusätzlich sind die Vorannahmen eher skeptisch als naiv, die Teams müssen also Gründe dafür liefern, damit etwas geglaubt wird. Gleichzeitig muss es aber auch möglich sein, die Jurierenden zu überzeugen, wenn gute Gründe gegeben werden. Die resultierende Verteilung nennen wird a-posteriori-Verteilung.

Verteilung über Wahrheit (links) und Relevanz (Mitte) ergeben kombiniert (rechts).

Debattieren geht um mehr als nur ein Argument

Andere Aspekte des Debattierens können einfach in dieses System integriert werden:

  • Rebuttal kann einfach als negative Veränderung in der Verteilung des Arguments, auf welches geantwortet wird, gesehen werden. Je stärker das Rebuttal, desto stärker die negative Veränderung. Da Rebuttal ein konstruktiver Beitrag zur Debatte ist, wird das dem Team, das antwortet, proportional zur Veränderung angerechnet. Dieser Aspekt ist ausführlicher im zweiten Teil der Serie auf meinem Blog erklärt.
  • Eine Extension, die auf der gleichen Argumentationslinie wie das eröffnende Team basiert, nutzt die A-posteriori-Verteilung des eröffnenden Teams als A-Priori-Verteilung. Ein schließendes Team könnte beispielsweise bessere Gründe für das Argument des eröffnenden Teams präsentieren und damit die Wahrheitsverteilung zu ihren Gunsten verschieben. Dieser Aspekt wird ebenfalls im zweiten Teil der Serie auf meinem Blogausführlicher diskutiert.
  • Die Gewichtung/Abwägung zwischen unterschiedlichen moralischen Metriken, z.B. Freiheit vs. Glück, kann durch die Einführung einer Meta-Verteilung integriert werden. Je besser die Teams uns davon überzeugen, dass ihre Metrik wichtig ist, desto mehr wird die Meta-Verteilung in ihre Richtung verschoben. Meta-Verteilungen haben ebenfalls A-Priori-Verteilungen. Diese spiegeln die moralischen Überzeugungen des DIZ wieder. In der Debatte „DHW jüngeren Menschen mehr Stimmen bei Wahlen geben“ würde der DIZ wahrscheinlich a priori höheres Gewicht für die Metriken von Demokratie, Gerechtigkeit und Glück als religiöse Freiheit zuweisen. Dies wird im dritten Teil der Serie auf meinem Blog ausführlicher besprochen.

Warum das Ganze?

Vielleicht finden einige von euch diese Herangehensweise vollkommen offensichtlich, aber ich hoffe, dass wenigstens einige neue Denkanstöße dabei waren. Es gibt zwei Aspekte, die ich besonders hervorheben möchte:

  1. Außerhalb von Debatten: Eine mehr oder weniger formale Theorie des Debattierens/Jurierens zu haben ist hilfreich, weil es uns sowohl dazu bringt, ähnlicher über den Prozess nachzudenken, als auch dazu zwingt, über die Inkonsistenzen des Debattierens nachzudenken. Ich musste beispielsweise realisieren, dass meine Auffassung von „Rebuttal gilt auch als konstruktives Material“ etwas unklar war. Es innerhalb des probabilistischen Frameworks zu formulieren, hat geholfen diese Ungereimtheiten aufzuklären.
  2. Während Jurierungen: Natürlich erwarte ich nicht, dass man die Verteilungen explizit berechnet und aufschreibt. Dieses Framework sollte eher als mentale Stütze gesehen werden. Jurieren ist ein komplizierter Prozess – innerhalb von 15 Minuten müssen verschiedene Ansichten auf eine Debatte, die eine Stunde gedauert hat, irgendwie kombiniert werden. Schnelle und effiziente Kommunikation ist daher von hoher Wichtigkeit. Mit klareren Konzepten können wir beispielsweise einfacher entscheiden, ob die Uneinigkeit über ein Argument nur durch die hohe Unsicherheit des Arguments erklärt werden kann. Wir können genauer herausfinden, ob etwas eine Extension ist, indem wir uns genau überlegen, zu welchem Grad uns die eröffnende Hälfte überzeugt hat und wie weit diese Überzeugung vom schließenden Team verändert wurde.

Alles in allem geht es mir zunächst darum, einen Denkanstoß zu liefern. Probabilistisches Jurieren hat gegenüber einer binären Anschauung einige Vorteile aufzuweisen und ich möchte diese Perspektive an neue Leute weitergeben, damit wir zusammen expliziter darüber nachdenken können. Gerade weil es bisher noch nicht so viele Ressourcen zum probabilistischen Jurieren gibt, kann es sein, dass einige Dinge noch etwas unklar sind. Ich würde mich über Feedback freuen, um alle Erklärungen zu verbessern.

Ich würde mich gerne bei Julian, Samuel, Bea, Maria, Marion and Anton für ihre Hilfe bedanken.
Marius Hobbhahn/cal.

Marius Hobbhahn debattiert seit mehr als vier Jahren bei der Streitkultur Tübingen. Er gewann mehrere Campus-Debatten, darunter die Süddeutsche Meisterschaft 2019 und die CD Göttingen 2020 und chefjurierte bereits über 10 Turniere. Er studiert im Master Machine Learning in Tübingen.

Das Mittwochs-Feature: Jeden Mittwoch ab 10.00 Uhr stellt das Mittwochs-Feature eine Idee, Debatte, Buch oder Person in den Mittelpunkt. Wenn du selbst eine Debatte anstoßen möchtest, melde dich mit deinem Themen-Vorschlag per Mail an team [at] achteminute [dot] de.

 

Print Friendly, PDF & Email
Schlagworte: , , , , ,

6 Kommentare zu “Probabilistisches Jurieren”

  1. Ferdi (MD, MR) sagt:

    Ich bin mir noch nicht sicher, wie diese Sichtweise den Jurierprozess an sich verbessern könnte. Aber vielleicht lässt sich das Jurieren durch diese Formalisierung (verglichen mit „Jurieren ist ein holistisches Abwägen von Argumenten“) für Debattierneulinge transparenter erklären und nahebringen.

    1. Marius Hobbhahn sagt:

      Der wichtigste Teil ist erst mal, dass Leute konsequent anfangen den Erwartungswert als Juriergrundlage zu nutzen. Ich habe schon häufiger mitbekommen, wie Jurierende einen Debattenbeitrag vollkommen ignoriert haben weil sie nicht zu 100 Prozent davon überzeugt waren, dass der Effekt stimmt. Anstatt das Argument dann dementsprechend geringer zu gewichten, wurde es verworfen. Nachdem wir im Debattieren Argumente eh nie beweisen können (auch wenn wir das Wort viel zu häufig nutzen) sollten wir aufhören binär zu denken und Wahrscheinlichkeiten nutzen. Viele Leute machen das bereits, für manche ist es vielleicht eher neu.

    2. Felix (Leipzig, ehm. Aachen) sagt:

      @Marius:

      Das jemand ein Argument komplett verworfen hat, weil er*sie es nicht 100%ig plausibel fand, ist mir noch nicht passiert, aber etwas weniger drastische Formen kommen sicherlich vor. Allerdings sehe ich nicht, wie deine Herangehensweise dieses Problem löst. Ich glaube, was deinen Ansatz angeht herrscht recht große Einigkeit. Die wirklich interessante Frage ist aber, wie gewichtet, man Relevanz- und Wahrheitsverteilung kombiniert. Dabei gibt es große Uneinigkeit mit einigen Extremen. Wenn ich die Wahrheitsverteilung sehr viel mehr gewichte, ist mir Plausibilität wichtiger. Wenn ich Relevanz mehr gewichte, ist mir Plausibilität weniger wichtig. Wie genau man aus Wahrheits- und Relevanzverteilung eine Gesamtverteilung berechnet und damit den Erwartungswert und die Unsicherheit des Arguments bestimmt, ist im Wesentlichen den Vorlieben der Juroren überlassen.

  2. Lennart Lokstein sagt:

    Ein guter Artikel! Danke an Marius für die Arbeit und das AM-Team, dass es wieder mehr MFs gibt!

    Inhaltlich stimme ich weitestgehend zu.

    Hast du eigentlich Stefan Torges‘ alten Artikel dazu mal angesehen?

    1. Marius Hobbhahn sagt:

      Ich hatte ihn bisher entweder noch nicht gelesen oder es ist bereits lange her. Ich habe ihn jetzt auf jeden Fall gelesen und muss gestehen, dass ich mehr oder weniger das Gleiche sage wie Stefan vor vier Jahren, nur dass ich noch die Idee der Verteilungen dazu packe. Einerseits ist es natürlich positiv, dass wir im Wesentlichen die gleiche Vorstellung vom Jurieren haben. Andererseits möchte ich klarstellen, dass es nicht meine Absicht war Stefans Artikel zu scoopen.
      Zusätzlich ist es aber wichtig festzuhalten, dass, auch wenn die Zusammenfassung sehr ähnlich ist, die drei ausführlichen Blogposts das Konzept wesentlich detaillierter ausführen. Sowohl die Konzeption der Interaktion als auch die Abwägungen der Metriken sind neu. Damit will ich nicht Stefans Artikel klein reden, sondern lediglich herausstellen, wo Neuerungen vorhanden sind, falls jemand mehr über probabilistisches Jurieren erfahren möchte.
      Hier ein Link zu Stefans Artikel von 2016: https://www.achteminute.de/20161130/wieso-wir-probabilistisch-jurieren-sollten/

  3. Yara sagt:

    Nice, endlich mal jemand, der A-priori und A-posteriori-Wahrscheinlichkeiten anschaulich erklärt.
    Mein Statistik-Prof hat das leider nicht geschafft.

Kommentare sind geschlossen.

Folge der Achten Minute





RSS Feed Artikel, RSS Feed Kommentare
Hilfe zur Mobilversion

Credits

Powered by WordPress.