| by msbeta | No comments

神经网络中的非线性激活函数

为什么引入非线性激活函数

如果采用线性激活函数,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是最原始的感知机(Perceptron),感知机连最基本的异或问题都无法解决,更别提更复杂的非线性问题,这样的神经网络就没有意义。

常见的非线性激活函数[……]

继续阅读

Read More
| by msbeta | 2 comments

变长数据Features转换为Tensor

ISSUE

从数据集(Dataset)中构造神经网络输入时,遇到同一维度的的Feature元素个数不同的问题,比如:

$$
\text{features} = [[1, 2, 3], [4, 5], [1, 4, 6, 7]]
$$

这种变长的Feature数据在Tensorflo[……]

继续阅读

Read More
| by msbeta | No comments

动图详解LSTM和GRU

问题:短期记忆

反向传播(Back Propagation)是一种与最优化方法(比如梯度下降方法)结合、用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度,然后将梯度反馈给最优化方法,用来更新网络权重以最小化损失函数。

在神经网络中一个典型的问题就是梯度消失(Gra[……]

继续阅读

Read More
| by msbeta | No comments

Real-Time Object Detection-YOLO V1学习笔记

YOLO之前的Object Detection方法主要是通过Region Proposal产生大量的Bounding Box,再用Classifier判断每个Bounding Box是否包含Object,以及Object所属类别的Probability。

YOLO提出了一种新的Object[……]

继续阅读

Read More