UFLDL-Sparse coding
稀疏编码介绍
学习算法
目标函数
拓扑稀疏编码
稀疏编码实践（技巧）
作业题该作业需要我们自己对costfunction求导：
UFLDL-Softmax
发表于
| 分类于
UFLDL
这是UFLDL的编程练习。
Weight decay（Softmax 回归有一个不寻常的特点：它有一个“冗余”的参数集）后的cost function和梯度函数：
bsxfun函数的使用：
练习题答案（建议自己完成，后参考）：
softmaxCost.m:
1234567M = theta*dat
...
UFLDL-Linear Decoder
发表于
| 分类于
UFLDL
Sparse Autoencoder Recap:Because we used a sigmoid activation function for f(z(3)), we needed to constrain or scale the inputs to be in the range [0,1
...
UFLDL-PCA
发表于
| 分类于
UFLDL
这是UFLDL的编程练习。具体教程参照官网。
PCA
Whitening白化是一种重要的预处理过程，其目的就是降低输入数据的冗余性，使得经过白化处理的输入数据具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差。
白化处理分PCA白化和ZCA白化，PCA白化保证数据各维度的方差为1
...
MDig：Multi-digits Recognition Using ConVNet on Mobile
发表于
| 分类于
papers
这是Stanford，Mobile Computer Vision课程的一个final report
简介使用DeepBeliefSDK和opencv等工具，使用ConVNet模型做了一个Android APP。功能是能够从一张图中识别0-9几个数字。因为在移动设备上，设备的运算速度和memory都
...
深度学习NLP方向论文列表--NNLM
发表于
| 分类于
NLP
Neural Language ModelsNeural langauge models
[neural LM] Bengio et al., “A Neural Probabilistic Language Model.” pdf Journal of Machine Learning Resea
...
深度学习NLP方向论文列表--Sentence and Document Modeling
发表于
| 分类于
NLP
Sentence and Document ModelingPhrase Modeling
Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeff Dean, “Distributed Representations of Wo
...
深度学习NLP方向论文列表--word emdedding
发表于
| 分类于
NLP
###Survey
Bengio et al’s survey on representation learning
Yoshua Bengio, Aaron Courville and Pascal Vincent. “Representation Learning: A Review and N
...
Deep Learning for Nature Language Processing --- 第八讲
发表于
| 分类于
NLP
Current statistical machine translation systems源语言：法语目标语言：英语概率公式（利用贝叶斯定理）：
在平行语料库（parallel corpora）上训练翻译模型p(f|e)在英语语料库上训练语言模型p(e)
Step1: Alignment目标：将
...
Deep Learning for Nature Language Processing --- 第七讲
发表于
| 分类于
NLP
1.Language Models1,w2…wT)；其中的w1,w2…wT都是词向量。">语言模型计算的是一连串词的概率：P(w1,w2…wT)；其中的w1,w2…wT都是词向量。这种语言模型有利于机器翻译，例如：1.词序：p(the cat is small) > p(small the i
...