Overview Today:">Overview Today:一些有用的策略和技巧：1.多任务学习（multi-task learning）2.非线性函数（Nonlinearities）3.检查求导是否正确（gradient check）4.Momentum,AdaGrad语言模型（Languag
...
Class Project">Class Project占40%的成绩比重尽早规划好任务和数据集project类别：1. 用已存的神经网络应用在一个新的任务task上2.开发出一个新的神经网络结构Class Project: Apply Existing NNets to Tasks">Class
...
A note on matrix implementations">A note on matrix implementations将J对softmax的权重W和每个word vector进行求导：
尽量使用矩阵运算（向量化），不要使用for loop。模型训练中有两个开销比较大的运算：矩阵乘法f=
...
分类的基础知识和标记notation">分类的基础知识和标记notation采样采集到的数据集:
i —输入. 例如 :单词(标号或向量vector),context windows,句子,文档等.">xi —输入. 例如 :单词(标号或向量vector),context windows,句子,
...
复习：简单的word2vec模型">复习：简单的word2vec模型cost fuction（ 求导结果参照视频教程）：
梯度下降">梯度下降将所有参数转换成一个列向量$\Theta$（V为词汇数，v是中心词的word vector，v’是external word vector）：
使用full
...
接着上一篇的内容：
四：Transfer Learning：
1.对于数据量少或者中等的情况，迁移学习很有用2.基于ImageNet的实验，将ImageNet的所有类的各分一半为A，B：（1）.先训练A部分，然后将前n层的参数保存好；再重新初始化后n+层的参数，用B部分训练；再将前面保存好的参数，和
...
总结斯坦福2015李飞飞教授以及Andrej Karpathy教授的上课的slides中关于CNN的一些内容
一：神经网络实验的基本策略：
1.对输入数据进行预处理：
2.网络结构和数据集设置：（1）-随机初始化weights为一些比较小的数（fan-in，fan-out），bias设置为0（2）-
...
SAE与DBM两个都可以用于提取输入集特征。
SAESAE是由多个Spase AutoEncoder堆叠而成，单个Spase AutoEncoder的结构如下： 在堆叠成SAE时的结构如下： 以上SAE的结构可以化分为两个sparse autoencoder和一个 sof
...
微软亚研院2015的一篇文章，优点是能够满足任意大小图像的输入。
主要思想：（1）Spatial Pyramid Pooling Layer. 正是因为该层，才让Spp_net能够实现任意图片的输入，并且得到固定长度的特征向量：
stride和window的计算：
（2）Mapping a Wind
...
1：背景由于在训练神经网络的过程中，每一层的 params是不断更新的，由于params的更新会导致下一层输入的分布情况发生改变，所以这就要求我们进行权重初始化，减小学习率。这个现象就叫做internal covariate shift。2：idea思想虽然可以通过whitening来加速收敛，但是
...