Angewandte KI · 20. Okt. 2026
Müll rein, Müll raus: Daten, deren Herkunft niemand kennt
Was passiert, wenn Modelle auf eigenen Texten trainieren oder aus ihnen suchen. Warum die seltenen Fälle zuerst verschwinden, und wie Kennzeichnung und Deduplizierung einen Datenbestand sauber halten.
Emin C. Homalioglu · 4 Min. Lesezeit · Aktualisiert 03. Nov. 2026

Ein Modell, das mit Texten anderer Modelle trainiert wird, verliert an Bandbreite, und zwar zuerst an den Rändern. Dasselbe passiert, leiser, einem Suchindex, der sich mit generierten Seiten füllt.
Kurz gesagt
Wenn Ihr Unternehmen KI auf eigenen Dokumenten einsetzt, als Wissensdatenbank, Support-Bot oder interne Suche:
- Generierte Texte, die neben Ihren Originalen gespeichert werden, werden mit der Zeit anstelle der Originale gefunden.
- Jeder gespeicherte Eintrag braucht eine Kennzeichnung: von einem Menschen geschrieben, von einem Modell, oder von einem Modell überarbeitet.
- Fragen Sie, wer das System betreibt: Kann es zu jeder Antwort das Originaldokument nennen, aus dem sie stammt?
Die seltenen Fälle verschwinden zuerst
Sprachdaten haben einen Kern und Ränder. Der Kern sind die üblichen Formulierungen und bekannten Fakten. An den Rändern liegen der ungewöhnliche Fall, der Fachbegriff, die seltene richtige Antwort. Ein Modell lernt den Kern gut und die Ränder dünn.
Trainiert das nächste Modell auf den Ausgaben des letzten, sieht es den Kern noch stärker und die Ränder noch dünner, denn die Generierung bevorzugt das Wahrscheinliche. Shumailov und Kollegen haben das 2024 in Nature gezeigt: Modelle, die wiederholt auf eigenen Ausgaben trainiert werden, verlieren zuerst die Ränder der Verteilung und laufen schliesslich auf eine schmale Mitte zusammen (Shumailov et al., 2024). Sie nennen es Model Collapse.
Dieselbe Schleife in einer Wissensdatenbank
Dafür muss niemand ein Modell trainieren. Ein Retrieval-System hat dieselbe Form:
- Dokumente kommen in einen Index.
- Ein Modell liest einige davon und schreibt Zusammenfassungen, Antworten und neue Seiten.
- Diese Ergebnisse landen am selben Ort.
- Die Suche liefert nun die Zusammenfassungen, weil sie kürzer sind und zu mehr Anfragen passen.
- Die nächsten Zusammenfassungen entstehen aus den früheren.
Nach ein paar Runden antwortet der Index aus Zusammenfassungen von Zusammenfassungen. Genaue Zahlen werden gerundet, Einschränkungen fallen weg, und eine Aussage, die in der Quelle vorsichtig formuliert war, kommt als Tatsache an. Kein einzelner Schritt sieht falsch aus. Der Fehler steckt in der Schleife.
Das öffentliche Web hat dasselbe Problem im grossen Massstab. Generierte Seiten sind billig, passen gut zu häufigen Suchanfragen und entstehen aus anderen Seiten. Ein Crawler, der sie nicht unterscheiden kann, hält den Durchschnitt für Konsens.
Was einen Datenbestand sauber hält
Die Herkunft beim Speichern festhalten. Jeder Eintrag hält fest, ob ihn ein Mensch geschrieben hat, ein Modell, oder ein Modell den Text eines Menschen überarbeitet hat, und aus welchen Quellen. Eine Spalte in der Tabelle genügt. Eine nachträglich ergänzte Kennzeichnung ist eine Vermutung.
Quellen abrufen, keine Ableitungen. Die Originaldokumente bleiben die Autorität. Zusammenfassungen entstehen bei Bedarf oder liegen in einem eigenen Index, der nie mit den Belegen vermischt wird. Muss eine Ableitung auffindbar sein, steht sie unter ihrer Quelle, und die Quelle wird angezeigt.
Beinahe-Duplikate entfernen. Generierte Seiten zum selben Thema teilen Aufbau und Wortlaut, ohne identisch zu sein. Unscharfe Verfahren wie MinHash über Wortfolgen oder Clustering nach Embedding-Abstand finden sie. Pro Gruppe bleibt ein Eintrag, sonst überstimmt ein Thema mit fünfzig Umformulierungen eines mit einer sorgfältigen Seite. Für Trainingsdaten ist der Effekt belegt: Deduplizierte Daten ergeben Modelle, die seltener auswendig Gelerntes wiedergeben und effizienter trainieren (Lee et al., 2021).
Einen von Menschen geschriebenen Kern behalten. Ein fester, versionierter Bestand geprüfter Inhalte, der nie überschrieben und nie aus Generiertem erzeugt wird. An ihm messen Sie alles andere, und aus ihm können Sie neu aufbauen.
Unsere eigenen Texte folgen derselben Regel. Jeder Artikel dieses Laboratory hat genau eine Quelle in unserer internen Wissensbasis, die Website erhält eine Kopie. Geändert wird an der Quelle, und von dort geht es nach aussen, nie zurück.
Mit Daten testen, die die Schleife nicht berührt hat. Stammen die Testdaten aus derselben Pipeline, teilen sie deren blinde Flecken und melden, alles sei in Ordnung. Halten Sie von Menschen gekennzeichnete Fälle zurück, bewusst auch seltene, und werten Sie die seltenen getrennt aus.
Neben der Genauigkeit auch die Vielfalt messen. Grösse des Wortschatzes, unterschiedliche Wortfolgen, die Anzahl verschiedener Antworten auf eine feste Fragenliste. Bei häufigen Fragen bleibt die Genauigkeit hoch, während die Ränder verschwinden. Eine Genauigkeitszahl allein warnt Sie nicht.
Wo Sie anfangen
Fügen Sie heute eine Spalte für die Herkunft hinzu und füllen Sie nach, was Sie können, auch wenn der erste Wert «unbekannt» lautet. Alles andere auf dieser Liste setzt sie voraus.
Ein Datenbestand, der nicht sagen kann, woher jeder Eintrag stammt, lässt sich nur noch sauber machen, indem man von vorn beginnt.
20. Okt. 2026 · Emin C. Homalioglu


