| by msbeta | No comments

神经网络中的非线性激活函数

为什么引入非线性激活函数

如果采用线性激活函数,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是最原始的感知机(Perceptron),感知机连最基本的异或问题都无法解决,更别提更复杂的非线性问题,这样的神经网络就没有意义。

常见的非线性激活函数[……]

继续阅读

Read More
| by msbeta | No comments

动图详解LSTM和GRU

问题:短期记忆

反向传播(Back Propagation)是一种与最优化方法(比如梯度下降方法)结合、用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度,然后将梯度反馈给最优化方法,用来更新网络权重以最小化损失函数。

在神经网络中一个典型的问题就是梯度消失(Gra[……]

继续阅读

Read More
| by msbeta | No comments

图神经网络实战-图注意力网络Tensorflow 2.0实现

本文完整代码和数据已经上传到Github.

https://github.com/YoungTimes/GNN/tree/master/GAT

1. GCN的另一个缺陷

GraphSAGE通过采样邻居的策略解决了GCN只能采用Full Patch训练的问题。在GAT中指出了GCN的另外两个[……]

继续阅读

Read More
| by msbeta | No comments

机器学习-Mean Shift聚类算法

Mean Shift算法建立在核密度估计(kernel density estimation,KDE)的基础之上,它假设数据点集是从Probability Distribution中采样获取的,Kernel Density Estimation是从数据点集估计Probability Distribu[……]

继续阅读

Read More
| by msbeta | No comments

Real-Time Object Detection-YOLO V1学习笔记

YOLO之前的Object Detection方法主要是通过Region Proposal产生大量的Bounding Box,再用Classifier判断每个Bounding Box是否包含Object,以及Object所属类别的Probability。

YOLO提出了一种新的Object[……]

继续阅读

Read More
| by msbeta | No comments

深度残差网络(ResNet)论文学习(附代码实现)

本文结合50层深度残差网络的实现学习何博士的大作-Deep Residual Learning for Image Recognition。理论上,深层网络结构包含了浅层网络结构所有可能的解空间,但是实际网络训练中,随着网络深度的增加,网络的准确度出现饱和,甚至下降的现象,这个现象可以在下图直观看出来:56层的网络比20层网络效果还要差。但是这种退化并不是因为过拟合导致的,因为56层的神经网络的训练误差同样高。[……]

继续阅读

Read More
| by msbeta | No comments

目标检测-Training Region-based Object Detectors with Online Hard Example Mining(OHEM)

1.解决的问题

图像分类和目标检测是计算视觉领域的两个基础任务,Region-based ConvNet将目标检测问题转化为图像分类问题,使得目标检测领域出现了巨大的技术突破,同时也引入了难以处理的heuristics和hyperparameters问题。OHEM(Online Hard Ex[……]

继续阅读

Read More