发布日期:2022-10-09 点击率:41
这篇文章讨论了张量方法,它们是如何在 NVIDIA 中使用的,以及它们是如何成为下一代人工智能算法的核心。
现代机器学习中的张量
张量将矩阵推广到二维以上,在现代机器学习中无处不在。从深层神经网络特征到视频或功能磁共振成像数据,这些高阶张量的结构往往至关重要。
深度神经网络通常在高阶张量之间映射。事实上,正是深层卷积神经网络保持和利用局部结构的能力,使得当前的性能水平以及大数据集和高效硬件成为可能。张量方法使您能够为单个层或整个网络进一步保留和利用该结构。
图 1 深张量网络图
将张量方法与深度学习相结合可以产生更好的模型,包括:
通过更好的归纳偏差,实现更好的性能和通用性
通过隐式(低秩结构)或显式(张量衰减)正则化改进鲁棒性
简约模型,参数数量大幅减少
通过直接有效地操作因式化张量,提高了计算速度
一个例子是因式卷积。使用 CP 结构,可以分解卷积的核并将其高效地表示为可分离的核。这将解耦尺寸标注并使您能够转换,例如在二维上进行培训,并在利用二维中学习到的信息的同时将其推广到三维。
图 2 分解卷积的过程:二维信息如何转化为三维信息。
基于张量的深度神经网络的正确实现可能很棘手。主要的神经网络库,如 PyTorch 或 TensorFlow 不提供基于张量代数方法的层,并且对稀疏张量的支持有限。在 NVIDIA 中,我们通过 TensorLy 项目和 Minkowski 引擎,领导开发了一系列工具,以使张量方法在深度学习中无缝使用。
张力生态系统
TensorLy 为张量方法提供了一个高级 API ,包括分解和代数。
它使您能够轻松地使用张量方法,而不需要大量的背景知识。您可以选择并无缝集成您选择的计算后端( NumPy 、 PyTorch 、 MXNet 、 TensorFlow 、 CuPy 或 JAX ),而无需更改代码。
图 3 张力火炬层图
TensorLy Torch 是一个新的库,它构建在 TensorLy 之上,并提供实现这些 tensor 操作的 PyTorch 层。它们可以开箱即用,并且很容易集成到任何深度神经网络中。它的核心是因式分解张量的概念:张量以分解形式直接表示、存储和操作。只要可能,操作就直接对这些分解的张量进行操作。
这些因子化张量可用于有效地参数化深层神经网络层,如因子化卷积和线性层。最后,张量挂钩使您能够无缝地应用诸如广义套索和张量衰减等技术,以提高泛化和健壮性。
空间稀疏张量与 Minkowski 引擎
在许多高维问题中,随着空间体积的增加,数据变得稀疏。稀疏性主要嵌入在空间维度中,您可以在其中计算距离。这种稀疏性最著名的例子是 3D 数据,如网格和扫描。
下面是一个有两张床的房间的三维重建示例。它所占用的三维边界体积可能相当大,但数据或三维曲面重建只占用空间的一小部分。在本例中, 95.5% 的空间为空,小于 5% 的空间包含有效曲面。如果要处理此类数据,使用稠密张量表示此类数据不仅会浪费大量内存,还会浪费计算量。
在这种情况下,您可以使用稀疏表示法来构建神经网络或学习算法,该表示法不会在空白空间浪费内存和计算。具体来说,您可以使用稀疏张量表示此类数据,这是稀疏数据最广泛使用的表示形式之一。稀疏张量使用一对非零值的位置和值表示数据。
Minkowski 发动机是 PyTorch 的扩展,它为稀疏张量提供了一组广泛的神经网络层。 Minkowski 发动机中的所有功能都支持 CPU 和 CUDA 操作,其中 CUDA 操作在 CPU s 生产线顶部加速超过 100 倍。
图 5 稀疏表示图:随时间变化的非零元素数量,加速比上的非零元素数。
关于作者
Jean Kossaifi 是 NVIDIA 的高级研究科学家。在此之前,他是剑桥三星人工智能中心的研究科学家。他在自然条件下的面部分析和面部情感评估方面做了大量工作,这是一个弥合计算机视觉和机器学习之间差距的领域。他目前的重点是机器学习的张量方法。特别是,将这些方法与深度学习有效地结合起来,开发出更好的模型,这些模型在内存和计算效率方面都是高效的,同时对噪声、随机或对抗性以及域转移更具鲁棒性。他是 TensorLy 的创建者, TensorLy 是 Python 中张量方法和深度张量化神经网络的高级 API ,旨在使张量学习变得简单易懂。 Jean 在伦敦帝国理工学院获得博士和硕士学位,并与 Maja Pantic 教授一起工作。他还拥有法国工程文凭和应用数学、计算和金融理学硕士学位,并同时获得高等数学理学学士学位。
审核编辑:郭婷
下一篇: PLC、DCS、FCS三大控
上一篇: KUKA C4更换机器人的2