| by YoungTimes | No comments

神经网络中的非线性激活函数

为什么引入非线性激活函数

如果采用线性激活函数,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是最原始的感知机(Perceptron),感知机连最基本的异或问题都无法解决,更别提更复杂的非线性问题,这样的神经网络就没有意义。

常见的非线性激活函数[……]

继续阅读

Read More
| by YoungTimes | No comments

变长数据Features转换为Tensor

ISSUE

从数据集(Dataset)中构造神经网络输入时,遇到同一维度的的Feature元素个数不同的问题,比如:

$$
\text{features} = [[1, 2, 3], [4, 5], [1, 4, 6, 7]]
$$

这种变长的Feature数据在Tensorflo[……]

继续阅读

Read More
| by YoungTimes | No comments

自动驾驶数据集-Argoverse Dataset

Argoverse数据集是由Argo AI、卡内基梅隆大学、佐治亚理工学院发布的用于支持自动驾驶汽车3D Tracking和Motion Forecasting研究的数据集。数据集包括两个部分:Argoverse 3D Tracking与Argoverse Motion Forecasting。

[……]

继续阅读

Read More
| by YoungTimes | No comments

机器翻译的Attention机制

在机器翻译(Neural Machine Translation)中,Seq2Seq模型将源序列映射到目标序列,其中Encoder部分将源序列编码为Context Vector传递给Decoder,Decoder将Context Vector解码为目标语言的序列。

在输入序列很长的情况,在[……]

继续阅读

Read More
| by YoungTimes | No comments

Python中的曲线插值算法

在实际应用中需要对路径或者曲线进行重采样,重采样的过程就是”曲线拟合->重采样曲线点”的过程。

1.待解决问题

如下一系列点组成的曲线,我们需要对曲线进行拟合重采样。

2. 拟合重采样过程遇到的问题

下面的方法都不Work!!

2.1 Cubic Inte[……]

继续阅读

Read More
| by YoungTimes | No comments

Python可视化二维高斯分布

Social LSTM论文中有一张展示行人运动轨迹概率分布的效果图,今天抽空研究下如何用Python可视化二维高斯分布(Gauss Distribution)。

可视化二维高斯分布(Gauss Distribution)本质上是以2D方式展示3D数据(第三维是概率密度),Python中四个[……]

继续阅读

Read More
| by YoungTimes | No comments

RNN预测行人运动轨迹

最近在研究论文-Social LSTM: Human Trajectory Prediction in Crowded Spaces, 先从最基本的RNN模型入手看看效果。

本文代码已经上传到Github:
https://github.com/YoungTimes/GNN/blob/master[……]

继续阅读

Read More
| by YoungTimes | No comments

Ubuntu重启Nvidia显卡失效

最近重装系统的频率明显升高…

开机关机之后,Ubuntu系统的界面变的异常卡顿,根据上次的经验,应该是显卡驱动又出问题了…

输入:

nvidia-smi

输出:

NVIDIA-SMI has failed because it couldn’t communicate[……]

继续阅读

Read More
| by YoungTimes | No comments

动图详解LSTM和GRU

问题:短期记忆

反向传播(Back Propagation)是一种与最优化方法(比如梯度下降方法)结合、用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度,然后将梯度反馈给最优化方法,用来更新网络权重以最小化损失函数。

在神经网络中一个典型的问题就是梯度消失(Gra[……]

继续阅读

Read More
| by YoungTimes | No comments

图神经网络实战-图注意力网络Tensorflow 2.0实现

本文完整代码和数据已经上传到Github.

https://github.com/YoungTimes/GNN/tree/master/GAT

1. GCN的另一个缺陷

GraphSAGE通过采样邻居的策略解决了GCN只能采用Full Patch训练的问题。在GAT中指出了GCN的另外两个[……]

继续阅读

Read More