ByteDance beginnt Training eines 10-Billionen-KI-Modells

ByteDance hat heimlich das Training eines Kolosses gestartet: eines KI-Modells mit etwa 10 Billionen Parametern. Es ist ein mutiger Schritt, der das Unternehmen ins Zentrum eines globalen Wettlaufs um Modellgröße und Leistungsfähigkeit stellt.

Laut mit der Angelegenheit vertrauten Personen läuft das Pretraining bereits. Diese Phase, in der das Modell große Mengen Rohdaten aufnimmt, um Muster zu erlernen, dauert in der Regel drei bis sechs Monate vor der Feinabstimmung und der öffentlichen Veröffentlichung. Parameter sind die internen Einstellungen, mit denen ein Modell Wissen kodiert; sie erzählen nicht die ganze Geschichte, sind aber eine weit verbreitete Kurzbezeichnung für die Größe und das Potenzial eines Modells.

Warum ist Skalierung wichtig? Größere Modelle können mehr Nuancen erfassen und sich besser auf verschiedene Aufgaben verallgemeinern, auch wenn die Erträge nicht linear zunehmen und Effizienz weiterhin eine Rolle spielt. Das gemeldete Ziel von ByteDance von rund 10 Billionen Parametern würde dieses Modell mehr als dreimal so groß machen wie Kimi K3, ein System mit 2,8 Billionen Parametern eines chinesischen Start-ups, und deutlich größer als frühere nationale Modelle wie LongCat-2.0 und V4-Pro, die jeweils im Bereich von 1,6 Billionen liegen.

Direkte Vergleiche mit führenden US-amerikanischen Systemen bleiben schwierig. Firmen wie Anthropic und OpenAI veröffentlichen selten genaue Parameterzahlen für ihre Flaggschiffmodelle. Unabhängige Schätzungen ordnen Anthropics fortgeschrittenes Angebot, Mithos 5, bei etwa acht Billionen Parametern ein und Fable 5 nahe fünf Billionen. Sollten diese Schätzungen zutreffen, würde ByteDances neuer Ansatz es in eine Größenordnung bringen, die mit Anthropics anspruchsvollsten Systemen vergleichbar ist.

Es gibt eine weitere Ebene in dieser Geschichte: Logistik und Kosten. Training in diesem Umfang ist teuer und energieintensiv. Chinesische Tech-Unternehmen ringen darum, Entwicklungszyklen zu verkürzen und mehr Effizienz aus ihren Stacks zu holen, mit dem Ziel, leistungsfähige Systeme bereitzustellen, ohne dass die Betriebskosten außer Kontrolle geraten. Das ist eine pragmatische Reaktion auf einen gnadenlosen Markt.

Ob die reine Anzahl von Parametern die Gewinner bestimmen wird, bleibt offen, doch ByteDances Vorstoß unterstreicht, wie sich die Wettbewerbsgrenze verschoben hat, von cleveren Forschungsarbeiten hin zu industriellem Engineering und Deployment.

Erwarten Sie eher weitere Ankündigungen und schrittweise Verbesserungen als einen einzigen, alles verändernden Durchbruch. Der eigentliche Wettkampf wird darin bestehen, wie diese Systeme abgestimmt, skaliert und in Produkte integriert werden, die Menschen tatsächlich nutzen.