目前火热的Deep Learning会灭绝传统的SIFT/ SURF的特征提取的算法吗?

笼统上看,深度学习的识别率/匹配率是绝对比传统的匹配算法如SIFT要高,但是深度神经网络识别率的提高建立在需求大量训练样本的基础上,在一些没有训练样本…
关注者
1,421
被浏览
286,998

30 个回答

就SIFT、SURF等视觉图像特征提取方法本身来说,它们应该会在实用中逐渐被深度网络所替代。但是,这些特征提取方法的研究过程和思路是非常有用的,其它领域的特征提取的研究方法和思路也是一样。因为这些方法具有较强的可解释性,它们可以对我们设计机器学习方法解决此类问题提供启发和类比。

有部分人认为(也有部分人反对)现有的卷积神经网络与这些特征提取方法有一定类似性,因为每个滤波权重实际上是一个线性的识别模式,与这些特征提取过程的边界与梯度检测类似。同时,池化(Pooling)的作用是统筹一个区域的信息,这与这些特征提取后进行的特征整合(如直方图等)类似。通过实验我们也发现卷积网络开始几层实际上确实是在做边缘和梯度检测。不过事实上卷积网络发明的时候,还没有这些特征提取方法。

不过,深度学习的数据需求量大对于视觉来说是个伪命题。许多研究成果已经表明深度学习训练得到的模型具有很强的迁移能力,因此在大数据集上训练完成的模型只要拿过来在小数据集上用就可以,不需要完全重新训练。这种方式在小数据集上的结果往往也比传统方法好。

提供一些参考文献,与本问题相关,不过不尽相同,希望有所帮助。

[1] J. Zbontar and Y. LeCun. Computing the stereo matching cost with a convolutional neural network. CVPR 2015.

使用卷积网络做短 baseline 图像立体视觉问题。

[2] X. Han, T. Leung, Y. Jia, R. Sukthankar, and A. C. Berg. MatchNet: Unifying feature and metric learning for patch-based matching. CVPR 2015.

[3] S. Zagoruyko and N. Komodakis. Learning to compare image patches via convolutional neural networks. CVPR 2015.

以上两篇文章类似,使用卷积网络做图像局部特征的提取。在比较两个 patch 的相似度时使用的是一个分类网络。分类网络是用 Softmax Loss 训练的。

[4] E. Simo-Serra, E. Trulls, L. Ferraz, I. Kokkinos, P. Fua, and F. Moreno-Noguer. Discriminative learning of deep convolutional feature point descriptors. ICCV 2015.

使用卷积网络提取图像局部特征,得到的 patch 描述之间的距离可以直接用欧式距离度量。可以在各种应用中直接替代 SIFT 等特征。网络是用 Contrastive Loss 训练的,

[5] Z. Liu, Z. Li, J. Zhang and L. Liu. Euclidean and hamming embedding for image patch description with convolutional networks. CVPR Workshops 2016.

提出了一种名为 DELFT (Deeply Learned Feature Transform) 的特征代替 SIFT 等其他 patch 描述方法。也可以得到以 Hamming 距离度量的二值特征代替 ORB 等。网络训练使用的是比 Contrastive Loss 更好的 Triple Loss。

[6] Kwang Moo Yi, Eduard Trulls, Vincent Lepetit, Pascal Fua. LIFT: Learned Invariant Feature Transform. Accepted to ECCV 2016 (spotlight). arXiv:1603.09114

提出了一种基于神经网络的方法,解决了从 detection, orientation estimation 到 feature description 整个流水线的问题。(感谢另一位匿名答主指出这一文献)