KI-Mathematiktricks funktionieren nicht für wissenschaftliches Rechnen

[Country/Region] - Ekhbary Nachrichtenagentur

KI-Mathematiktricks funktionieren nicht für wissenschaftliches Rechnen

Das unaufhörliche Streben nach Recheneffizienz und Energieeinsparung im Bereich der künstlichen Intelligenz hat eine bedeutende Innovation vorangetrieben: die Schaffung neuartiger Zahlenformate. Diese Formate reduzieren drastisch die Anzahl der zur Darstellung numerischer Daten verwendeten Bits – eine Strategie, die sich für viele KI-Anwendungen als äußerst wirksam erwiesen hat. Es zeichnet sich jedoch eine kritische Diskrepanz ab, da sich diese KI-zentrierten numerischen Darstellungen für die strengen Anforderungen des wissenschaftlichen Rechnens, das Bereiche wie computergestützte Physik, Biologie, Fluiddynamik und komplexe Ingenieursimulationen umfasst, als unzureichend erweisen.

Dina Genkina, Redakteurin für Computer und Hardware bei IEEE Spectrum, hebt diese wachsende Kluft hervor. Das Problem liegt in den grundlegenden Unterschieden zwischen den Dateneigenschaften und Präzisionsanforderungen von KI-Modellen und traditionellen wissenschaftlichen Simulationen. Während KI häufig mit Daten arbeitet, die vorhersagbaren Verteilungen folgen und einen gewissen Präzisionsverlust tolerieren können, erfordert wissenschaftliches Rechnen die Fähigkeit, Zahlen über einen extrem breiten Wertebereich – vom unendlich Kleinen bis zum astronomisch Großen – darzustellen und zu manipulieren und dabei eine hohe Genauigkeit beizubehalten.

Laslo Hunhold, Senior AI Accelerator Engineer beim Barceloner Startup Openchip und frisch promovierter Informatiker der Universität zu Köln, steht an vorderster Front bei der Bewältigung dieser Herausforderung. Hunhold hat Anstrengungen unternommen, um ein maßgeschneidertes Zahlenformat zu entwickeln, das speziell für wissenschaftliche Berechnungen konzipiert wurde. In einem Interview mit IEEE Spectrum betonte er die tiefgreifenden Auswirkungen solcher Innovationen: „Ich kenne kein anderes Beispiel für ein Feld, das so wenige interessiert, aber eine so hohe Wirkung hat. Wenn Sie ein Zahlenformat um 10 Prozent energieeffizienter machen, kann dies zu einer 10-prozentigen Effizienzsteigerung aller Anwendungen führen und Sie können viel Energie sparen.“

Hunhold erläuterte den historischen Kontext und bemerkte, dass Benutzer jahrzehntelang von Leistungssteigerungen profitierten, indem sie einfach alle paar Jahre neue Hardware kauften. „Aber das ist in den letzten 10 Jahren nicht mehr der Fall“, sagte er. Der Industriestandard war jahrzehntelang die 64-Bit-Darstellung (Gleitkommazahlen mit doppelter Genauigkeit), die ein robustes Gleichgewicht zwischen Reichweite und Präzision bot. Für KI entdeckten Unternehmen jedoch, dass die Darstellung jeder Zahl mit 64 Bit oft übermäßig war. Diese Erkenntnis schuf einen starken Anreiz, nach Formaten mit weniger Bits – 16, 8 oder sogar nur 2 Bits – zu suchen, um den Energieverbrauch drastisch zu senken und die Verarbeitung zu beschleunigen, insbesondere für die riesigen Datensätze und Matrixoperationen, die in der KI üblich sind.

Das Kernproblem, erklärte Hunhold, besteht darin, dass der etablierte 64-Bit-Standard (IEEE 754 Double Precision) nicht von Natur aus gut für niedrigere Bit-Anzahlen geeignet ist. „Der dominierende Standard für die Darstellung von Zahlen in 64 Bit ist nicht gut für niedrigere Bit-Zahlen ausgelegt“, sagte er. Folglich entwickelte der KI-Bereich neue Formate, die feiner auf seine spezifischen betrieblichen Bedürfnisse abgestimmt sind. Dies führte zu Formaten, die für die typischen Verteilungen in KI-Trainingsdaten optimiert sind und oft den weiten Dynamikbereich und die extreme Präzision opfern, die wissenschaftliche Berechnungen erfordern.

Wissenschaftliches Rechnen hingegen erfordert einen immensen Dynamikbereich. „Sie benötigen sehr große Zahlen oder sehr kleine Zahlen und in beiden Fällen eine hohe Präzision“, erklärte Hunhold. „Der 64-Bit-Standard hat einen übermäßigen Dynamikbereich, und das sind meistens viel mehr Bits, als Sie benötigen.“ Die Herausforderung bei der numerischen Darstellung besteht darin, eine unendliche Menge reeller Zahlen auf eine endliche Menge von Bit-Mustern abzubilden. „Sie haben unendlich viele Zahlen, aber nur endliche Bit-Darstellungen. Sie müssen also entscheiden, wie Sie Zahlen zuweisen“, bemerkte er. Die Priorität ist, die Zahlen effizient darzustellen, die in einem bestimmten Bereich tatsächlich verwendet werden. Zu den wichtigsten Überlegungen gehören der Dynamikbereich (das Verhältnis zwischen der größten und kleinsten darstellbaren Zahl) und die Verteilung dieser Zahlen (wie Bits über den Bereich zugewiesen werden).

Hunholds Arbeit hat zur Entwicklung des „Takum“-Zahlenformats geführt, das sich vom „Posit“-Zahlensystem inspirieren lässt. Posits zielen darauf ab, häufiger verwendete Zahlen mit höherer Dichte darzustellen. „Bei Posits können die Zahlen, die häufiger verwendet werden, mit höherer Dichte dargestellt werden“, sagte Hunhold. „Aber Posits funktionieren nicht für wissenschaftliches Rechnen, und das ist ein riesiges Problem. Sie haben eine hohe Dichte für [Zahlen nahe Eins], was großartig für KI ist, aber die Dichte fällt rapide ab, sobald man größere oder kleinere Werte betrachtet.“ Obwohl in den letzten Jahren Dutzende neuer Formate vorgeschlagen wurden, behauptet Hunhold, dass Takums einzigartig darin sind, speziell für wissenschaftliches Rechnen maßgeschneidert zu sein. „Ich habe den Dynamikbereich der Werte ermittelt, die Sie in wissenschaftlichen Berechnungen verwenden, wenn Sie alle Bereiche betrachten, und Takums so konzipiert, dass Sie diesen Dynamikbereich nicht reduzieren, wenn Sie Bits entfernen“, schloss er. Dieser Ansatz zielt darauf ab, die wesentliche numerische Treue zu bewahren, die für genaue wissenschaftliche Modellierung und Simulation erforderlich ist.

Ekhbary Nachrichtenagentur