深度学习每一层的权重 深度学习初学者必读

选自Kdnuggets

作者：Ted Dunning

机器之心编译

参与：晏奇、吴攀

今天很多现有的深度学习系统都是基于张量代数（tensor algebra）而设计的，但是张量代数不仅仅就只能用于深度学习。本文对张量进行了详细的解读，能帮你在对张量的理解上更进一步。本文作者为 MapR Technologies 的首席应用架构师 Ted Dunning。

近段时间以来，张量与新的机器学习工具（如 TensorFlow）是非常热门的话题，在那些寻求应用和学习机器学习的人看来更是如此。但是，当你回溯历史，你会发现一些基础但强大的、有用且可行的方法，它们也利用了张量的能力，而且不是在深度学习的场景中。下面会给出具体解释。

如果说计算是有传统的，那么使用线性代数的数值计算就是其中最重要的一支。像 LINPACK 和 LAPACK 这样的包已经是非常老的了，但是在今天它们任然非常强大。其核心，线性代数由非常简单且常规的运算构成，它们涉及到在一维或二维数组（这里我们称其为向量或矩阵）上进行重复的乘法和加法运算。同时线性代数适用范围异常广泛，从计算机游戏中的图像渲染到核武器设计等许多不同的问题都可以被它解决或近似计算，

图 1：上方的代码被转译成一个可被重建的数据结构，而且它会被转成机器可执行的形式。将代码转译成用户可见的数据结构可让我们所编写的程序能被重写从而更高效地执行，或者它也可以计算出一个导数，从而使高级优化器可被使用。

该数据结构不会在上面我们展示的程序中实际执行。因此，TensorFlow 才有机会在我们实际运行它之前，将数据结构重写成更有效的代码。这也许会牵涉到我们想让计算机处理的小型或大型结构。它也可生成对我们使用的计算机 CPU、使用的集群、或任何手边可用的 GPU 设备实际可执行的代码。对它来说很赞的一点是，我们可以编写非常简单但可实现令人意想不到结果的程序。

然而，这只是开始。

做一些有用但不一样的事

TensorFlow 和像它一样的系统采用的完全是描述机器学习架构（如深度神经网络）的程序，然后调整那个架构的参数以最小化一些误差值。它们通过创建一个表征我们程序的数据结构，和一个表征相对于我们模型所有参数误差值梯度的数据结构来实现这一点。这个梯度函数的存在使得优化变得更加容易。

但是，虽然你可以使用 TensorFlow 或 Caffe 或任何其它基本上同样工作模式的架构来写程序，不过你写的程序不一定要去优化机器学习函数。如果你写的程序使用了由你选择的包（package）提供的张量标注，那它就可以优化所有类型的程序。自动微分和最先进的优化器以及对高效 GPU 代码的编译对你仍然有利。

举个简例，图二给出了一个家庭能耗的简单模型。

图 2：该图显示了一间房子的日常能耗情况（圆圈），横轴代表了温度（华氏度）。能耗的一个分段线性模型叠加在了能耗具体数据上。模型的参数按理来说会形成一个矩阵，但是当我们要处理上百万个模型时，我们便可以用到张量。

该图显示了一间房子的能耗使用情况，并对此进行了建模。得到一个模型不是什么难事，但是为了找出这个模型，笔者需要自己写代码来分别对数百万间房子的能耗情况进行建模才行。如果使用 TensorFlow，我们可以立即为所有这些房子建立模型，并且我们可以使用比之前得到这个模型更有效的优化器。于是，笔者就可以立即对数百万个房间的模型进行优化，而且其效率比之前我们原始的程序要高得多。理论上我们可以手动优化代码，并且可以有人工推导的导数函数。不过完成这项工作所需要的时间，以及更重要的，调试花费的时间会让笔者无法在有限时间里建立这个模型。

这个例子为我们展示了一个基于张量的计算系统如 TensorFlow（或 Caffe 或 Theano 或 MXNet 等等）是可以被用于和深度学习非常不同的优化问题的。

所以，情况可能是这样的，对你而言最好用的机器学习软件除了完成机器学习功能以外还可以做很多其它事情。

,