@thedodger Ja, das ist erwiesen:
https://www.nature.com/articles/s41586-024-07566-y
> We find that indiscriminate use of model-generated content in training causes irreversible defects in the resulting models, in which tails of the original content distribution disappear.
und
> The described process demonstrates that fine-tuning of language models does not curb the effects of model collapse
Greifbar: durch KI-Inzucht werden alle Hunde Golden Retriever.
@ArneBab @thedodger ja, tatsächlich wobei man ja lange vermutet hatte, dass project strawberry (das jetzige O1 Modell) mit synthetischen Daten lernen kann - sprich sich selbst Trainingsdaten generieren kann.
Was da intern vorgeht, keine Ahnung, aber mit Sicherheit wird dran gearbeitet oder geforscht
@TheMorpheus Ich gehe davon aus, dass ein begrenztes Lernen auf synthetischen Daten möglich ist, weil Menschen zumindest zum Teil ja auch lernen, indem sie in Träumen (synthetischen Daten) die Erfahrungen verarbeiten.
Wir müssen aber unsere Vorstellungen immer wieder mit der greifbaren Realität abgleichen, sonst lernen wir Sachen falsch.
Deswegen gehe ich davon aus, dass KI das auch braucht.