Auf den Punkt: Große Sprachmodelle aggregieren Vorhersagen über Teilpopulationen nicht konsistent zu validen Gesamtpopulations-Schätzungen, obwohl sie über das nötige Wissen verfügen.
Forscher haben untersucht, ob große Sprachmodelle beim In-Context-Learning grundlegenden wahrscheinlichkeitstheoretischen Gesetzen folgen. Das Ergebnis: LLMs violieren systematisch das Gesetz der Gesamtwahrscheinlichkeit, wenn Vorhersagen über Subpopulationen zu Gesamtpopulationen aggregiert werden.
Die Forschung untersucht, ob In-Context-Learning in LLMs als konditionierte Inferenz interpretierbar ist — also ob das Modell auf Basis einer Kontextbeschreibung eine valide bedingte Wahrscheinlichkeitsverteilung schätzt. Unter dieser Annahme müssten LLM-Schätzungen das Gesetz der Gesamtwahrscheinlichkeit erfüllen: Gewichtete bedingte Verteilungen über Subpopulationen sollten sich zu Marginalverteilungen einer Gesamtpopulation aggregieren, unabhängig davon, wie die Population partitioniert wird.
Die Forscher nutzen binäre Bäume als Evaluierungsgerüst, um Populationen rekursiv in immer feinere Subpopulationen zu unterteilen. Sie prompts LLMs dann mit versprachlichten Subpopulations-Beschreibungen, aggregieren die Schätzungen zurück zu Populationslevel und vergleichen diese über Partitionen unterschiedlicher Granularität. Das Protokoll wird auf mehrere Problemdomänen und Frontier-Modelle angewendet.
Die Ergebnisse zeigen weit verbreitete Verstöße gegen grundlegende Konsistenzprinzipien. Ein detailliertes Studium von Persona-Prompting offenbart ein Phänomen, das die Autoren als „Macro Fallacy“ bezeichnen: Schätzungen, die aus feinkörnigeren Subpopulations-Antworten rekonstruiert werden, stimmen oft besser mit menschlichen Referenzdaten überein als direkte Populationslevel-Schätzungen. Dieser Effekt persistiert über Variationen in der Baumstruktur und der Schätzaufgabe und kann teilweise durch implizites Prompting teilweise ausgeglichen werden.
Die Befunde deuten darauf hin, dass Modelle relevantes Subpopulations-Wissen besitzen, dieses aber nicht zuverlässig in Aggregatschätzungen propagieren. Die Lücke etabliert statistische Selbstkonsistenz als ein referenzfreies, grundsätzlich gesättigtes Evaluierungskriterium für LLMs — ein Test, der keine Goldstandard-Annotationen benötigt, sondern nur interne Konsistenzregeln prüft.
Quelle: arxiv.org · Erschienen 15. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.