BP神经网络是否优于logistic回归？

首先，神经网络的最后一层，也就是输出层，是一个 Logistic Regression （或者 Softmax Regression ），也就是一个线性分类器。

那么，输入层和中间那些隐层又在干吗呢？你可以把它们看成一种特征提取的过程，就是把 Logistic Regression 的输出当作特征，然后再将它送入下一个 Logistic Regression，一层层变换。神经网络的训练，实际上就是同时训练特征提取算法以及最后的 Logistic Regression的参数。

为什么要特征提取呢，因为 Logistic Regression 本身是一个线性分类器，所以，通过特征提取，我们可以把原本线性不可分的数据变得线性可分。

要如何训练呢，最简单的方法是（随机，Mini batch）梯度下降法（当然有更复杂的例如MATLAB里面用的是 BFGS），那要如何算梯度呢，我们通过导数的链式法则，得出一种称为 back propagation 的方法（BP）。

最后，我们得到了一个比 Logistic Regression 复杂得多的模型，它的拟合能力很强，可以处理很多 Logistic Regression处理不了的数据，但是也更容易过拟合（ VC inequality 告诉我们，能力越大责任越大），而且损失函数不是凸的，给优化带来一些困难。

所以我们无法回答什么是“优于”，就像我们无法回答“菜刀和火箭筒哪个更好”，使用者对机器学习的理解，以及具体数据的情况，参数的选择，以及训练的方法，都对模型的效果产生很大影响。

一个建议，普通问题还是用 SVM 吧 SVM 最好用了。

Logistic Regression是一个单层感知器（Single-Layer Perceptron，或者说单层神经网络），只能对线性可分的数据进行分类。

Back Propagation Network是多层感知器（Multi-Layer Perceptron），可以学到任意复杂的函数。

你把LR分类器一层一层套起来就变成神经网络了……