[Country/Region] - 艾赫巴里通讯社
人工智能的数学技巧不适用于科学计算
人工智能领域对计算效率和节能的不懈追求，催生了一项重大创新：新型数制格式的诞生。这些格式大大减少了用于表示数字数据的比特数；事实证明，这一策略对许多人工智能应用都非常有效。然而，一个关键的脱节正在显现，因为这些以人工智能为中心的数据表示，被证明不足以满足科学计算的严苛要求，而科学计算涵盖了诸如计算物理学、生物学、流体力学和复杂的工程模拟等领域。
《IEEE Spectrum》的计算与硬件编辑迪娜·根金娜（Dina Genkina）强调了这一日益扩大的分歧。问题在于人工智能模型的 डेटा 特征和精度要求与传统科学模拟的要求之间存在根本性差异。尽管人工智能通常处理遵循可预测分布且可以容忍一定精度损失的数据，但科学计算要求能够表示和操作具有极宽幅度范围——从无限小到天文数字——的数字，同时还要保持高精度。
另请阅读
拉斯洛·洪霍尔德（Laslo Hunhold）是巴塞罗那初创公司Openchip的高级人工智能加速器工程师，也是科隆大学计算机科学博士，他正处于解决这一挑战的最前沿。洪霍尔德致力于开发一种专门为科学计算需求而设计的专用数字格式。在接受《IEEE Spectrum》采访时，他强调了此类创新可能产生的深远影响：“我不知道有哪个领域，感兴趣的人很少，但影响如此之大。如果你使一个数字格式在 [能源] 效率上提高10%，那么所有应用程序的效率都可以提高10%，你可以节省大量的能源。”
洪霍尔德详细阐述了历史背景，指出几十年来，用户只需每隔几年购买新硬件就能获得性能提升。“但这种情况在过去10年里已经不再是这样了，”他说。几十年来，行业标准一直是64位表示（双精度浮点数），它提供了范围和精度的可靠平衡。然而，对于人工智能来说，公司发现用64位表示每个数字通常是过度的。这一认识创造了一个强烈的动机，去探索使用更少比特——16、8，甚至低至2位——的格式，以大幅降低功耗并加速处理，特别是对于人工智能中常见的大型数据集和矩阵运算。
洪霍尔德解释说，核心问题在于，现有的64位标准（IEEE 754双精度）本身并不适合较低的比特计数。“用于表示64位数字的主导标准，并不适合较低的比特计数，”他说。因此，人工智能领域开发了更符合其特定操作需求的新格式。这导致了针对人工智能训练数据中常见分布进行优化的格式，但往往牺牲了科学计算所需的广泛动态范围和极高精度。
相比之下，科学计算需要巨大的动态范围。“你需要非常大的数字，或非常小的数字，并且在这两种情况下都需要高精度，”洪霍尔德解释道。“64位标准具有过度的动态范围，而且在大多数时候，它所使用的比特数远远超过了你所需要的。”数字表示的挑战归结为将无限实数集映射到有限比特模式集。“你有无限的数字但只有有限的比特表示。所以你需要决定如何分配数字，”他指出。优先事项是有效地表示在特定领域实际使用的数字。关键考虑因素包括动态范围（最大和最小可表示数之间的比率）以及这些数字的分布（比特如何在范围内分配）。
相关新闻
洪霍尔德的工作促成了“塔库姆”（takum）数制格式的开发，该格式从“泊数”（posit）数制系统中汲取灵感。“泊数”旨在以更高的密度表示更频繁使用的数字。“在泊数中，更频繁使用的数字可以用更高的密度表示，”洪霍尔德说。“但泊数不适用于科学计算，这是一个巨大的问题。它们对 [接近1的数字] 具有高密度，这对人工智能来说非常棒，但一旦你看更大的或更小的数值，密度就会急剧下降。”尽管近年来已提出了数十种新格式，洪霍尔德声称，塔库姆是唯一专门为科学计算量身定制的格式。“我研究了你在科学计算中使用的值的动态范围，如果你审视所有领域，并设计了塔库姆，使得当你去掉比特时，你不会减少该动态范围，”他总结道。这种方法旨在保留精确科学建模和模拟所需的关键数值保真度。
