5 Minuten
Vom Gehirn inspirierte KI eröffnet neuen Ansatz fürs maschinelle Schlussfolgern
Wissenschaftler von Sapient in Singapur haben eine vom Gehirn inspirierte künstliche Intelligenz-Architektur vorgestellt, das hierarchische Reasoning-Modell (HRM). Im Gegensatz zu konventionellen großen Sprachmodellen (LLMs), die auf Chain-of-Thought (CoT)-Prompting und enormen Parameterzahlen beruhen, ahmt das HRM die hierarchische und multiskalige Informationsverarbeitung nach, wie sie im menschlichen Gehirn beobachtet wird. Laut einem Preprint, der am 26. Juni auf arXiv veröffentlicht wurde, erzielt das HRM starke Leistungen bei schwierigen Reasoning-Benchmarks, wobei es deutlich weniger Parameter und Trainingsbeispiele benötigt. Die Studie berichtet, dass das HRM mit ungefähr 27 Millionen Parametern trainiert wurde, basierend auf rund 1.000 Beispielen — ein deutlicher Gegensatz zu modernen LLMs, die oft Milliarden oder gar Billionen von Parametern aufweisen.
Das Forschungsteam testete das HRM am ARC-AGI-Benchmark, einer anspruchsvollen Suite zur Bewertung des Fortschritts in Richtung Artificial General Intelligence (AGI). Das HRM erreichte 40,3 % auf ARC-AGI-1 und 5 % auf ARC-AGI-2 — Ergebnisse, die mehrere zeitgenössische Modelle in der Vergleichsgruppe übertrafen, darunter OpenAIs o3-mini-high, Anthropics Claude 3.7 und Deepseek R1. Diese Zahlen deuten darauf hin, dass Architektur und Trainingsstrategie die Reasoning-Fähigkeit erheblich beeinflussen können, ohne die Modellgröße oder Datensatzgröße zu erhöhen.
Wie HRM funktioniert: hierarchische Module und iterative Verfeinerung
HRM ersetzt die explizite Chain-of-Thought-Zerlegung durch einen zweimoduligen Vorwärtsdurchlauf, der die hierarchische Verarbeitung in neuronalen Systemen nachbildet. Ein High-Level-Modul übernimmt langsameres, abstraktes Planen über längere Zeitskalen, während ein Low-Level-Modul schnelle, detaillierte Berechnungen ausführt. Anstatt explizite Zwischenstufen in natürlicher Sprache zu erzeugen, wendet HRM iterative Verfeinerung über kurze Rechenabschnitte an. Jeder Abschnitt bewertet, ob weiter verfeinert oder eine endgültige Antwort ausgegeben werden soll. Diese Technik — iterative Verfeinerung — ist eine bekannte numerische Strategie, die die Lösungsgenauigkeit durch wiederholte Aktualisierung einer Näherung verbessert.
Kontrast zum Chain-of-Thought
Die meisten fortgeschrittenen LLMs nutzen CoT, um komplexe Probleme in für Menschen lesbare Zwischenschritte zu zerlegen. CoT kann effektiv sein, hat aber dokumentierte Einschränkungen: fragile Aufgabenzerlegung, erheblicher Datenbedarf und zusätzliche Latenz durch mehrstufige Textgenerierung. Das HRM-Design zielt darauf ab, diese Probleme zu umgehen, indem hierarchische Kontrolle und Verfeinerung direkt in die Vorwärtsberechnung integriert werden und so den Bedarf an umfangreichen, überwachten Zwischenstufenlabels verringern.
Benchmark-Performance, Reproduzierbarkeit und Vorbehalte
HRM zeigte starke Leistungen bei Aufgaben, die strukturiertes Reasoning erfordern, einschließlich nahezu perfekter Ergebnisse bei komplexen Sudoku-Problemen und verbesserter Maze-Pfadfindung im Vergleich zu typischen LLMs. Die Autoren haben ihre Implementierung auf GitHub offen zugänglich gemacht, um unabhängige Verifikation zu ermöglichen. Nach der Reproduktion der eingereichten Ergebnisse berichteten die ARC-AGI-Organisatoren weitere Erkenntnisse: Teile der HRM-Vorteile scheinen nicht primär durch die hierarchische Architektur selbst getrieben zu sein, sondern durch einen während des Trainings angewendeten Verfeinerungsprozess, der im ursprünglichen Bericht nur unzureichend dokumentiert war. Wichtig ist, dass das arXiv-Paper noch nicht peer-reviewed wurde, sodass die breitere Community die Resultate als vorläufig betrachten sollte, bis Folgeuntersuchungen und Code-Audits klären, welche Faktoren für die Leistungsfähigkeit entscheidend sind.
Der Kontrast zwischen der kompakten Modellgröße des HRM und dem enormen Umfang aktueller LLM-Veröffentlichungen unterstreicht ein fortlaufendes Forschungsthema: Algorithmische und architektonische Verbesserungen können manchmal das rohe Hochskalieren von Parametern ersetzen. Das hat Folgen für Recheneffizienz, Energieverbrauch und die Zugänglichkeit fortschrittlicher KI-Fähigkeiten für Forscher und Institutionen ohne riesige Infrastrukturbudgets.
Expert Insight
"HRM ist eine interessante Demonstration, dass strukturierte, vom Gehirn inspirierte Designs wettbewerbsfähiges Reasoning ohne extremes Skalenniveau ermöglichen können", sagt Dr. Lina Moreno, eine computational neuroscientist (fiktional). "Die zentralen Fragen sind jetzt Reproduzierbarkeit und Generalisierung: Lässt sich HRM-ähnliches Training und die Verfeinerung auf ein breiteres Aufgabenspektrum und verschiedene Datensätze übertragen? Falls ja, könnten wir eine Verschiebung hin zu effizienteren, besser interpretierbaren Reasoning-Systemen sehen."
Fazit
HRM bietet eine vielversprechende, vom Gehirn inspirierte Alternative zur Chain-of-Thought-Arbeitweise in großen Sprachmodellen. Erste Ergebnisse am ARC-AGI-Benchmark zeigen verbessertes Reasoning bei deutlich weniger Parametern und Trainingsbeispielen, doch die Befunde bleiben vorläufig, bis Peer Review und unabhängige Analysen abgeschlossen sind. Ob HRMs hierarchisches Design oder die bislang unzureichend dokumentierten Verfeinerungsschritte die treibenden Faktoren für den Erfolg sind, wird entscheiden, wie die Community diesen Ansatz übernimmt und weiterentwickelt. Vorerst betont HRM, dass intelligentere Architekturen und Trainingsmethoden die Notwendigkeit immer größerer Modelle ergänzen — und in manchen Fällen reduzieren — können, um die Reasoning-Fähigkeiten von KI voranzubringen.
Quelle: livescience
Kommentar hinterlassen