Overview Today:">Overview Today:一些有用的策略和技巧:1.多任务学习(multi-task learning)2.非线性函数(Nonlinearities)3.检查求导是否正确(gradient check)4.Momentum,AdaGrad语言模型(Languag
...
Class Project">Class Project占40%的成绩比重尽早规划好任务和数据集project类别:1. 用已存的神经网络应用在一个新的任务task上2.开发出一个新的神经网络结构Class Project: Apply Existing NNets to Tasks">Class
...
A note on matrix implementations">A note on matrix implementations将J对softmax的权重W和每个word vector进行求导:
尽量使用矩阵运算(向量化),不要使用for loop。模型训练中有两个开销比较大的运算:矩阵乘法f=
...
分类的基础知识和标记notation">分类的基础知识和标记notation采样采集到的数据集:
i —输入. 例如 :单词(标号或向量vector),context windows,句子,文档等.">xi —输入. 例如 :单词(标号或向量vector),context windows,句子,
...
复习:简单的word2vec模型">复习:简单的word2vec模型cost fuction( 求导结果参照视频教程):
梯度下降">梯度下降将所有参数转换成一个列向量$\Theta$(V为词汇数,v是中心词的word vector,v’是external word vector):
使用full
...
接着上一篇的内容:
四:Transfer Learning:
1.对于数据量少或者中等的情况,迁移学习很有用2.基于ImageNet的实验,将ImageNet的所有类的各分一半为A,B:(1).先训练A部分,然后将前n层的参数保存好;再重新初始化后n+层的参数,用B部分训练;再将前面保存好的参数,和
...
总结斯坦福2015李飞飞教授以及Andrej Karpathy教授的上课的slides中关于CNN的一些内容
一:神经网络实验的基本策略:
1.对输入数据进行预处理:
2.网络结构和数据集设置:(1)-随机初始化weights为一些比较小的数(fan-in,fan-out),bias设置为0(2)-
...
SAE与DBM两个都可以用于提取输入集特征。
SAESAE是由多个Spase AutoEncoder堆叠而成,单个Spase AutoEncoder的结构如下: 在堆叠成SAE时的结构如下: 以上SAE的结构可以化分为两个sparse autoencoder和一个 sof
...
微软亚研院2015的一篇文章,优点是能够满足任意大小图像的输入。
主要思想:(1)Spatial Pyramid Pooling Layer. 正是因为该层,才让Spp_net能够实现任意图片的输入,并且得到固定长度的特征向量:
stride和window的计算:
(2)Mapping a Wind
...
1:背景由于在训练神经网络的过程中,每一层的 params是不断更新的,由于params的更新会导致下一层输入的分布情况发生改变,所以这就要求我们进行权重初始化,减小学习率。这个现象就叫做internal covariate shift。2:idea思想虽然可以通过whitening来加速收敛,但是
...