人工神经网络有哪几种学习算法（从算法设计角度）

其实机器学习的核心，无非就是利用已有的数据和三要素(模型、算法、策略),找到一个最靠谱的预测方法。不同算法的核心区别，就是寻找最佳预测方法的思路不同。

BP神经网络的输入层，对每个输入的数据，会有无数个预测方法，每改变一个小小的网络参数，就会形成一个不同的预测方法，产生不同的一套预测结果。这些无数的预测方法集合在一起，就组成了BP神经网络的假设空间。而BP神经网络作出的一个重要的假设就是，假设空间是个n维空间，并且这个空间是连续的。BP神经网络将在这个连续空间中，连续的迭代寻找。这与决策树或者其他基于离散表示的方法的假设完全不同。假设空间的连续性以及误差E关于假设的连续参数可微这两个事实，导致了一个定义良好的误差梯度，为搜索到最佳的预测方法提供了一个非常有用的结构。而其他算法的搜索思路，要么是“一般到特殊序”，要么是“简单到复杂序”，与此完全不同（其他算法的思路后续会介绍到）。

而支撑BP神经网络运作的所有假设的集合，将构成BP神经网络的归纳偏置。其核心是：如果给定两个正例，它们之间没有反例，反向传播算法会倾向于把这两点之间的点也标记为正例。称之为，在数据点之间平滑插值。