Gerade über etwas gestolpert, was ziemlich gut zu der Diskussion passt.
Contribute to openai/math development by creating an account on GitHub.
github.com
OpenAI hat gestern ein ziemlich umfangreiches Repository mit mathematischen Ergebnissen eines noch nicht veröffentlichten internen Modells veröffentlicht.
Aktuell sind dort 722 Manuskripte drin, organisiert in 372 Ergebnisfamilien. Dem Modell wurden während der Evaluation ungefähr 4.000 offene Forschungsprobleme vorgelegt. Für ein verwertetes Ergebnis wurden laut OpenAI im Durchschnitt ungefähr drei Stunden ChatGPT-Pro-Thinking-Compute verwendet.
Das sollte man natürlich richtig einordnen. 722 Manuskripte bedeutet nicht 722 unabhängig bestätigte mathematische Durchbrüche und auch die 372 Familien entsprechen nicht einfach 372 gelösten berühmten Problemen. Eine Ergebnisfamilie kann beispielsweise ein Hauptresultat, Folgearbeiten, alternative Beweise usw. enthalten.
Auch die Verifikation ist noch unterschiedlich weit. Für einen Teil liegen formale Lean-Beweise vor, für andere nicht. OpenAI schreibt selbst ausdrücklich, dass bei den noch nicht formalisierten Ergebnissen Fehler drin sein können. Also nein, das ist nicht „KI hat gestern mal eben 372 ungelöste Matheprobleme gelöst“.
Trotzdem finde ich das eigentlich ziemlich bemerkenswert und weniger wegen irgendeines einzelnen spektakulären Beweises, sondern wegen der Art wie das Ganze skaliert.
Das knüpft für mich ziemlich direkt an das an, was weiter oben mit hochwertiger Kognition als billiger und skalierbarer Infrastruktur gemeint war.
Wir reden inzwischen nicht mehr nur darüber, dass ein LLM Texte schreibt, Bilder generiert oder beim Programmieren hilft. Man kann ein Modell auf tausende echte Forschungsprobleme ansetzen, große Mengen an Lösungsversuchen erzeugen und zumindest einen Teil der Ergebnisse anschließend sogar formal überprüfen.
Wie viel davon nach unabhängiger Prüfung wirklich Bestand hat und wie relevant bzw. neu die einzelnen Resultate am Ende sind, wird man sehen. Das finde ich ehrlich gesagt auch wichtig abzuwarten.
Der grundsätzlich interessante Punkt ist für mich aber ein anderer: Mathematische Problemlösung beginnt zumindest teilweise zu etwas zu werden, das man mit zusätzlichem Compute skalieren kann.
Problem rein - Rechenzeit drauf - unterschiedliche Lösungswege ausprobieren - Ergebnisse selektieren - verifizieren.
Natürlich steckt hinter so einem Modell vorher ein gigantischer Trainings- und Infrastrukturaufwand. Die drei Stunden sind also keine Vollkostenrechnung für „einen mathematischen Durchbruch“.
Aber wenn das Modell einmal existiert, ist die Ökonomie trotzdem eine völlig andere als bei Menschen.
Einen zusätzlichen sehr guten Mathematiker kann ich nicht einfach kopieren. Der muss geboren werden, Jahrzehnte lernen, Erfahrung sammeln und irgendwann gehört er vielleicht zu den wenigen Leuten weltweit, die ein bestimmtes Problem überhaupt bearbeiten können.
Von einem leistungsfähigen Modell kann ich dagegen, genügend Hardware vorausgesetzt, zusätzliche Instanzen laufen lassen und sehr viele Probleme bzw. Lösungsansätze gleichzeitig bearbeiten lassen. Genau diese Skalierbarkeit finde ich eigentlich viel interessanter als die Frage, ob irgendein einzelnes Modell gerade schon besser als der beste Mathematiker der Welt ist.
Ein extrem guter menschlicher Mathematiker ist eine extrem knappe Ressource.
Ein leistungsfähiges Modell braucht natürlich ebenfalls knappe Hardware und Energie, aber das zugrunde liegende Wissen und die Fähigkeit sind Software und damit grundsätzlich vervielfältigbar. Das ist ökonomisch schon ein ziemlich gewaltiger Unterschied.
Genau da sind wir wieder bei der Diskussion von weiter oben. Wenn das nicht nur in Mathematik funktioniert, sondern Stück für Stück auch in Forschung, Entwicklung, Programmierung, Konstruktion usw., dann wird irgendwann vielleicht weniger entscheidend, wie intelligent ein einzelnes KI-System ist, sondern wie billig man eine bestimmte Qualität von Kognition reproduzieren und auf Probleme loslassen kann.
Ob aus diesen 722 Manuskripten am Ende 100, 300 oder sonstwas wirklich relevante neue Mathematik übrig bleibt, würde ich heute gar nicht behaupten wollen.
Aber dass wir überhaupt an dem Punkt sind, an dem ein Modell in kurzer Zeit Material in dieser Größenordnung auf offenen Forschungsproblemen erzeugt und ein Teil davon formal überprüfbar gemacht wird, finde ich schon ziemlich heftig. Vor ein paar Jahren hätte ich so etwas jedenfalls noch für wesentlich weiter entfernt gehalten.
