神经网络中的非线性激活函数
为什么引入非线性激活函数
如果采用线性激活函数，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机(Perceptron),感知机连最基本的异或问题都无法解决，更别提更复杂的非线性问题，这样的神经网络就没有意义。
常见的非线性激活函数[……]
Read More动图详解LSTM和GRU
问题：短期记忆
反向传播(Back Propagation)是一种与最优化方法(比如梯度下降方法)结合、用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度，然后将梯度反馈给最优化方法，用来更新网络权重以最小化损失函数。
在神经网络中一个典型的问题就是梯度消失(Gra[……]
Read More图神经网络实战-图注意力网络Tensorflow 2.0实现
本文完整代码和数据已经上传到Github.
https://github.com/YoungTimes/GNN/tree/master/GAT
1. GCN的另一个缺陷
GraphSAGE通过采样邻居的策略解决了GCN只能采用Full Patch训练的问题。在GAT中指出了GCN的另外两个[……]
Read More机器学习-Mean Shift聚类算法
Mean Shift算法建立在核密度估计(kernel density estimation，KDE)的基础之上，它假设数据点集是从Probability Distribution中采样获取的，Kernel Density Estimation是从数据点集估计Probability Distribu[……]
Read MoreReal-Time Object Detection-YOLO V1学习笔记
YOLO之前的Object Detection方法主要是通过Region Proposal产生大量的Bounding Box，再用Classifier判断每个Bounding Box是否包含Object，以及Object所属类别的Probability。
YOLO提出了一种新的Object[……]
Read More深度残差网络(ResNet)论文学习(附代码实现)
本文结合50层深度残差网络的实现学习何博士的大作-Deep Residual Learning for Image Recognition。理论上，深层网络结构包含了浅层网络结构所有可能的解空间，但是实际网络训练中，随着网络深度的增加，网络的准确度出现饱和，甚至下降的现象，这个现象可以在下图直观看出来：56层的网络比20层网络效果还要差。但是这种退化并不是因为过拟合导致的，因为56层的神经网络的训练误差同样高。[……]
Read More目标检测-Training Region-based Object Detectors with Online Hard Example Mining(OHEM)
1.解决的问题
图像分类和目标检测是计算视觉领域的两个基础任务，Region-based ConvNet将目标检测问题转化为图像分类问题，使得目标检测领域出现了巨大的技术突破，同时也引入了难以处理的heuristics和hyperparameters问题。OHEM(Online Hard Ex[……]
Read More