良有以也

Ricardo

Softmax分类器python实现

本文主要包括以下内容： implement a fully-vectorized loss function for the Softmax classifier implement the fully-vectorized expression for its analytic ...

Posted by jjx on March 11, 2017

神经网络简单实现

动手实现一个简单的2维平面神经网络分类器，去分割平面上的不同类别样本点。为了循序渐进，我们打算先实现一个简单的线性分类器，然后再拓展到非线性的2层神经网络。我们可以看到简单的浅层神经网络，在这个例子上就能够有分割程度远高于线性分类器的效果。 样本数据的产生 为了凸显一下神经网络...

Posted by jjx on March 9, 2017

神经网络训练细节与注意点

本文主要包括以下内容： 梯度检查 合理性（Sanity）检查 检查学习过程 损失函数 训练集与验证集准确率 权重：更新比例 每层的激活数据与梯度分布 可视化 参数更新 ...

Posted by jjx on March 7, 2017

神经网络数据预处理，正则化与损失函数

本文主要包括以下内容 设置数据和模型 数据预处理 权重初始化 批量归一化（Batch Normalization） 正则化（L2/L1/Maxnorm/Dropout） 损失函数 小结 设置数据和模型...

Posted by jjx on March 5, 2017

SVM分类器python实现

本作业的目标如下： implement a fully-vectorized loss function for the SVM implement the fully-vectorized expression for its analytic gradient check ...

Posted by jjx on March 4, 2017

读《浮生六记》

余生乾隆癸未冬卜一月二十有二日，正值太平盛世，且在衣冠之家，后苏州沧浪亭畔，天之厚我可谓至矣。东坡云：“事如春梦了无痕”，苟不记之笔墨，未免有辜彼苍之厚。   《浮生六记》，沈复所著苏州文人旅行日常随笔集也，初本六卷，后散失两卷，仅存闺房记乐，闲情记趣，坎坷记愁，浪游记快 四卷，其中...

Posted by jjx on March 4, 2017

神经网络结构与神经元激励函数

单个神经元建模 神经网络算法领域最初是被对生物神经系统建模这一目标启发，但随后与其分道扬镳，成为一个工程问题，并在机器学习领域取得良好效果。我们可以这么理解这个模型：在信号的传导过程中，突触可以控制传导到下一个神经元的信号强弱(数学模型中的权重w)，而这种强弱是可以学习到的。在我们简化的数学...

Posted by jjx on March 2, 2017

计算机视觉之反向传播

问题描述与动机： 大家都知道的，其实我们就是在给定的图像像素向量x和对应的函数f(x)，然后我们希望能够计算f在x上的梯度(∇f(x)) 我们之所以想解决这个问题，是因为在神经网络中，f对应损失函数L，而输入x则对应训练样本数据和神经网络的权重W。举一个特例，损失函数可以是SVM ...

Posted by jjx on March 1, 2017