2018的一些记忆

年纪越大,越不想写什么年终总结之类的,感觉记住的就记住了,记不住的就任其遗忘就好了,不必刻意的一条条的列出来。2018年的最后一天,五点钟就会落下的太阳。日落前的两个小时,还算闲暇,就趁机写一些我还记得住的一些事情。

潮流:机器学习和深度学习

身处硅谷,就算再不关心机器学习,周围的人也总是会叫嚷着,于是乎被动学习了。我一直属于不怎么刻意去关心热点的人,感觉深度学习这几年热得发烫,却不知道到底烫在哪里。打开科技新闻,要么是无人车,要么是视频换脸,感觉视觉识别已经越来越发达了。打开购物网站,各种智能家居应用层出不穷,语音识别自然是其中最重要的技术支撑。

十二月,多少得到一点闲暇时[......]

Read more


≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(十八):神经网络

前馈神经网,BP算法,AE(自编码器,Auto-Encoders)

1. 前馈神经网(Multilayer Feedforward Network)

fig 12.8

前馈神经网大致就是这个样子,一层一层的结构。这样,我们就由第一代的神经元系统繁殖出来了一个神经元群落...看起来很高深的样子。

先说一些参数和记号:

  • L:网络的层次
  • n_{l}1\leq l\leq L:表示第l层中神经元的个数。特别的,n_{0}=p为所有输入变量的个数(x的维数),n_{L}是网络输出的个数。
  • w_{jk}^{l}$$1\leq j\leq[......]

Read more


≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(十七):神经网络

神经网络,这是要开始Deep Learning了么?

神经网络的历史和大起大落还是可以八卦一下的...

第一波:人工神经网络起源于上世纪40年代,到今天已经70年历史了。第一个神经元模型是1943年McCulloch和Pitts提出的,称为thresholdlogic,它可以实现一些逻辑运算的功能。自此以后,神经网络的研究分化为两个方向,一个专注于生物信息处理的过程,称为生物神经网络;一个专注于工程应用,称为人工神经网络。

第二波:上世纪80年代神经网络的研究热潮。带反馈的神经网络开始兴起,其中以Stephen Grossberg和John Hopfield的工作最具代表性。很多[......]

Read more