Forschung & RoadmapResearch & roadmap

Disputatio – was untersucht wird, wie gemessen wird und wo das Projekt stehtDisputatio – what is studied, how it is measured and where the project stands

1. Die Forschungslücke1. The research gap

Debatten zwischen mehreren Sprachmodellen verbessern in vielen Studien die Ergebnisse. Sie können aber auch das Gegenteil bewirken: falschen Konsens. Modelle irren gemeinsam, weil sie ähnliche Fehler aus ähnlichen Trainingsdaten mitbringen, oder sie geben einander in der Debatte nach, ohne dass neue Belege hinzukommen.Debates between several language models improve results in many studies. They can also do the opposite: produce false consensus. Models err together because they share similar errors from similar training data, or they yield to one another during the debate without any new evidence.

Bisherige Untersuchungen messen meist nur, ob die Endantwort stimmt. Kaum geprüft wird, worauf sich ein Ergebnis stützt: ob zitierte Quellen existieren, ob sie wörtlich sagen, was behauptet wird, und ob Hypothesen als Hypothesen erkennbar bleiben. Genau hier setzt Disputatio an: Jede Aussage ist an ihre Belege, Gegenargumente und Bewertungen gebunden und damit nachprüfbar.Existing studies mostly measure whether the final answer is correct. Rarely examined is what a result rests on: whether cited sources exist, whether they literally say what is claimed, and whether hypotheses remain recognisable as hypotheses. This is where Disputatio comes in: every statement is bound to its evidence, counter-arguments and assessments, and can therefore be checked.

2. Forschungsfragen2. Research questions

Die Fragen sind offen formuliert. Die Plattform soll sie prüfen, nicht ihre Antwort voraussetzen.The questions are deliberately open. The platform is meant to test them, not to presuppose their answers.

• Heterogenität: Irren Modelle verschiedener Anbieter seltener gemeinsam als Modelle eines Anbieters – und führt das zu weniger falschem Konsens?Heterogeneity: Do models from different providers err together less often than models from a single provider – and does this lead to less false consensus?
• Debatte mit Belegprüfung: Liefert eine strukturierte Debatte mit Literaturprüfung richtigere und besser belegte Ergebnisse als ein einzelnes Modell oder mehrere Modelle ohne Debatte?Debate with evidence checks: Does a structured debate with literature checks yield more correct and better-supported results than a single model or several models without debate?
• Früherkennung: Lässt sich falscher Konsens an Mustern im Verlauf erkennen, sodass Prüfaufwand gezielt eingesetzt werden kann? Ein Testfall ist der „Zwei-Signal-Auslöser“, der in einer Debatte der Plattform selbst vorgeschlagen und dann eingeschränkt wurde (siehe Debatte).Early detection: Can false consensus be recognised from patterns in the course of a debate, so that checking effort can be targeted? One test case is the “two-signal trigger” proposed – and then narrowed – in one of the platform's own debates (see debate).

3. Wie gemessen wird3. How it is measured

Geprüft wird an Aufgaben mit bekannter richtiger Antwort, etwa wissenschaftlichen Aussagen mit gesicherter Beleglage (zum Beispiel aus dem Datensatz SciFact) und gezielt veränderten Testfällen, in die Fehler eingebaut sind. Jede Aufgabe wird unter vier Bedingungen bearbeitet, bei gleichem Rechenbudget:Testing uses tasks with a known correct answer, such as scientific claims with established evidence (for example from the SciFact dataset) and deliberately altered test cases with built-in errors. Each task is processed under four conditions with an equal compute budget:

BedingungCondition	BeschreibungDescription
EinzelmodellSingle model	Ein Modell beantwortet die Aufgabe allein.One model answers alone.
MehrheitsentscheidMajority vote	Mehrere Modelle antworten unabhängig, die Mehrheit zählt.Several models answer independently; the majority counts.
DebatteDebate	Mehrere Modelle debattieren ohne Belegprüfung.Several models debate without evidence checks.
Disputatio	Debatte mit eigener Literaturrecherche, Wortlautprüfung der Zitate, Kritik, Bewertung und Prüfpfad.Debate with own literature search, verbatim checks of quotations, critique, assessment and audit trail.

Kennzahlen: Richtigkeit der Ergebnisse · Rate falscher Einigkeit (alle stimmen zu, die Antwort ist falsch) · Zitattreue (existiert die Quelle, stimmt der Wortlaut, trägt sie die Aussage?) · Kennzeichnung unbestätigter Hypothesen · Kosten je Aufgabe.Metrics: correctness of results · rate of false agreement (all agree, the answer is wrong) · citation fidelity (does the source exist, is the wording exact, does it support the claim?) · labelling of unconfirmed hypotheses · cost per task.

4. Stand und Roadmap4. Status and roadmap

Bereits erledigt: die Plattform mit Modellen von vier Anbietern, Debatte, Bewertung, menschlicher Richtungsentscheidung und Paper mit Prüfpfad; eigene Literaturrecherche mit Wortlautprüfung und offenen Volltexten; ein Literaturlauf zur Konsensprüfung (EviCon Phase A, Paper); Betrieb auf eigenem Server mit Sicherung und Kostengrenze je Lauf. Seit November 2026 außerdem: Ausschluss zurückgezogener Arbeiten, Zusammenführung doppelter Quellen, Semantic Scholar als zweite Literatursuche und ein Wissensgraph, in dem jede Verbindung zu ihrem Beleg führt. Phasen 0 und 1 sind damit abgeschlossen; in Arbeit ist Phase 2, die Messung mit Aufgaben bekannter Antwort.Already done: the platform with models from four providers, debate, assessment, a human choice of direction and papers with an audit trail; own literature search with verbatim checks and open full texts; a literature run on consensus checking (EviCon phase A, paper); operation on a dedicated server with backups and a cost limit per run. Since November 2026 also: exclusion of retracted papers, merging of duplicate sources, Semantic Scholar as a second literature search, and a knowledge graph in which every connection leads to its evidence. Phases 0 and 1 are thus complete; phase 2, the measurement on tasks with known answers, is in progress.

Die nächsten Schritte in sechs Phasen. Jede Phase endet mit einem Tor: einem prüfbaren Kriterium, das erfüllt sein muss, bevor die nächste beginnt.The next steps in six phases. Each phase ends with a gate: a testable criterion that must be met before the next one starts.

← Grafik seitlich wischen →← swipe the chart sideways →

Phase 2 entspricht EviCon Phase B (die Experimente mit den vier Bedingungen oben). Keine Termine: Der Zeitplan hängt von Partnern und Förderung ab.Phase 2 corresponds to EviCon phase B (the experiments with the four conditions above). No dates: the schedule depends on partners and funding.

5. Grenzen5. Limitations

• Die Plattform bewertet Aussagen im Rahmen der vorliegenden Belege; sie stellt keine Wahrheit fest.The platform assesses statements within the available evidence; it does not establish truth.
• Die Literaturbasis besteht überwiegend aus Abstracts; Volltexte werden nur gelesen, wenn sie offen lizenziert und abrufbar sind.The literature base consists mainly of abstracts; full texts are read only when openly licensed and retrievable.
• Bisher gibt es nur wenige Läufe und keine systematische Validierung – genau dafür sind die Phasen 2 und 4 gedacht.So far there have been only a few runs and no systematic validation – which is exactly what phases 2 and 4 are for.
• Die Modellauswahl ist durch das verfügbare Budget begrenzt.The choice of models is limited by the available budget.