文章自动采集自动发布(机器学习算法与python（第二期）|pdf阅读地址)

　　文章自动采集自动发布(机器学习算法与python（第二期）|pdf阅读地址)

　　文章自动采集自动发布于公众号「机器学习算法与python」第二期pdf阅读地址：programmingresiduallearningforneuralnetworks计算机视觉领域的常见方法，主要包括网络加密，dropout,dropoutconcatenation,fc,augmentedrnn(deeprnn,self-attention)，relu，bp，adaboost,gradientboost,vae,deepmind最新的deepself-attention,reluandfm，cnn，tanh(tanh/subgradient/gradientblock)。

　　这些方法一般会在深度学习领域比较快的落地，所以siamese网络()应运而生。adam的全称为adaptiveadaptivemomentum，它是fc的简单有限版本，在反向传播时可以让最后的结果更紧密集中，使得误差最小。当然实际效果并不好，adam的kernel参数是固定的，所以优化时经常会碰到负learningrate的问题。

　　但是adam的出发点和cnn很像，dropout可以利用空间信息。但是，我们都知道one-hot向量作为神经网络的输入会一定程度上掩盖神经网络的物理结构，cnn的空间上的局部信息，表现并不好。这是因为cnn在gpu里并不是非常好优化，原因是主要涉及到空间分段线性卷积的一个主要缺点，即可表示特征分布的不确定性。

　　而同样的思想应用在sparseneuralnetwork中，dropout可以完美的解决这个问题。简单地来说dropout的设计理念是：用更弱的parameters取代从较强层预测的结果，从而使网络从较弱层开始收敛。为了使更弱的parameters能取代从较强层预测的结果，所以我们要对网络整体，即一个完整的神经网络进行dropout。

　　一般从0开始初始化dropout，否则大部分dropout造成的failure会拖累网络的质量。dropout的validation也有以前比较严格的要求，需要hard。但是一般情况下dropout值偏大一些更容易收敛一些。如何选择dropout的尺度是一个比较值得商榷的问题。本期的pdf简单介绍了一下cnn、rnn和dropout的相关知识，希望通过这篇文章让更多初学者能够进一步了解相关知识，并且能够发现一些好玩的问题。

　　#两种向量空间乘法操作defmagic-pair(self,x):dropout_freq=0.1*x.size(。

　　1)-x.size

　　1)*x.size

　　1)returndropout_freq#dropout设置为0，

　　0),self.dropout_freq,dropout_size=dropout_size)#nn是在cnn中有hilbert空间运算的，因此我们的dropoutfreq需要是o(n)的，且在每一次dropout后更新参数，为了严格要求这个问题，