automatic-differentiation-framework

一个支持控制流的自动求导框架

项目结构

src/目录下是主要源代码实现，包括计算图，虚拟图等主要算法
src/op_node是各种计算节点的实现
unit_test/目录下是各个模块的单元测试，主要包括一个训练判断xor操作的简单神经网络和一个训练8位二进制数字加法的循环神经网络rnn。rnn的实现利用了框架的控制流机制

自动求导是简化神经网络模型实现的一个重要机制，使用框架实现神经网络主要有以下几步：

运算节点操作的数据均为张量Tensor

框架为了支持控制流，引入了虚拟图的概念。所谓控制流即两种虚拟图的节点，包括循环Loop和分支Branch。

用户使用虚拟图构造了一个神经网络的蓝图，然后只有在实际运行的时候某些节点才能决定是否走当前分支。通过运行虚拟图构造出实际的计算图，然后在计算图上进行反向传播，从而训练模型。

由于引入了循环，会在逻辑上为虚拟图带来“环”，为了避免“环”的出现造成虚拟图无法进行拓扑排序，本框架将Loop循环节点看做一个子图，其中只包含一个循环。相当于把原图按照循环划分成了多个子图，子图可以嵌套，然后把子图看成一个广义节点，则整体上的虚拟图将不出现循环，从而可以进行前向传播。

目前支持普通SGD优化器和Adadelta优化器，实现了dropout的运算节点

本项目在2018年1月31号更新了对于CUDA的支持，从而支持在安装了CUDA的电脑上使用显卡加速。但是由于项目中例子比较简单，而且显卡计算优化尚不到位，导致小数据量情况下计算速度并不理想，不如cpu计算速度快。

cuda在本项目中主要用于优化矩阵运算，在src/cuda/cuda_lib.cu文件下，cuda计算过程已经使用share memory，block内线程同步等方式加以优化。

下面这个博客花了5节介绍了整个框架的大体思路。