在原本的世界里,“误差反向传播算法”(errorback-propagation,简称bp)出现得很早。
1974年,哈佛大学的paulwerbos,在博士论文中首次发明了bp算法,可惜没有引起重视。
dparker重新发现了bp算法,然而,仍然没有太大的反响。
到了iams三人发表了《learningrepresentationsbyback-propagatingerrors》,重新报道了这一方法。
从那之后,人工神经网络中的误差反向传播学习算法,才得到了应有的重视,并逐渐广泛应用起来,奠定了神经网络走向完善和实用的基础。
bp算法的本质,其实是tmeansquare)算法的推广。
lms试图最小化网络输出的均方差,用于激活函数可微的感知机的训练。
只要将lms推广到由非线性可微神经元组成的多层前馈神经网络,就得到了bp算法。
因此,bp算法也被称为广义δ规则。
bp算法有很多优点,理论依据坚实、推导过程严谨、物理概念清楚、通用性强……
可以说,它为多层神经网络的训练与实现,提供了一条切实可行的解决途径,功不可没。
但是也要看到,bp也有着自身的局限性,比如收敛速度缓慢、易陷入局部极小等。
慢点倒还不怕,可以通过调整超参数,或者升级硬件性能来解决。
可一旦陷入局部最优,就有可能无法得到全局最优解,这才是真正要命的问题。
有时可以通过选择恰当的学习速率,有限度地改善这个问题。
也有些时候无法彻底避免,只能“凑合着用”。
幸运的是,尽管理论上存在着种种不足,但在绝大多数情景下,bp算法的实际表现都还不错。
bp算法的基本思想,是将学习过程分为两个过程。
在进行训练时,首先正向传播。
将数据送入输入层,然后从前往后,送入各个隐藏层进行处理,最后将结果送到输出层,得到计算结果。
若计算结果与期望(标签)不符,则开始进行误差反向传播。
在这一步,通过损失函数计算实际输出与期望输出的误差e,然后从后往前,运用链式法则,逐层计算每个参数(w,b)相对于误差e的偏导数。
这个过程就是反向传播,从输出层开始,一直进行到输入层为止。
主要目的是将误差e分摊给各层所有单元,从而获得各层单元的误差信号。
然后以此为基准,调整各神经元的权重和偏置,直到网络的总误差达到精度要求。
江寒只花了3天,就理清了bp算法的思路,又花了两天,就将论文写了出来。
这篇论文用到的数学公式相当多,但写作的困难程度其实也就那样。
复合函数连续求偏导,任何学过一点高数的人,都能很熟练地完成。
而且,江寒重生前,在bp算法上着实下了点功夫,理解得还算透彻。
因此很轻松就将其复原了出来。
写完《神经网络训练中的误差反向传播算法》之后,江寒就开始琢磨,如何将手里的这一批论文发表出去。
也不知道怎么回事,那两篇投往三区期刊的“多层感知机”和“人工神经网络”论文,迄今没有任何回音。
既没有拒稿,也没有进入同行评议。
如果不是对投稿系统多少有点了解,江寒差点就要怀疑,编辑是不是根本没看到自己的论文
目前已经投稿出去的十几篇论文里,已经确定发表的,只有3篇。
分别是:投往4区期刊airev的《论如何高效判定数据是否线性可分》;
投往sactionsonevolutionarycomputation,电气与电子工程师协会主办,进化计算杂志)的《马尔可夫随机场》;
以及用小号dr.x投稿给amc的《论感知机的局限——异或问题的无解》。
总共价值7个学术点。
江寒的系统ui上,现在很明确地显示着【学术点:-14,7】。
从这也能看出,用小号投稿是完全没问题的。
其余的论文大部分都在审稿中,有的已经进入了同行评议环节,但迟迟没有进入下一步。
也有几篇关于“感知机”应用的水货论文,没能通过同行评议,被杂志社拒稿了。
江寒随便改改,然后国内拒稿的,投给了国外,国外打回来的,投给国内。
反正不管怎么样,但凡有一点机会,都要试一试。
万一发表了,学术点它不香吗
与此相比,脸皮什么的,一点都不重要。
14个学术点的债务,才还了一半,安全起见,最好尽快将手头的论文扔出去才行。
这需要等待“多层感知机”和“带隐藏层的神经网络”问世。
可就这么干等着,始终拿不到准信,又让人心里有点不踏实。
如果能让更多人关注到神经网络技术,应该可以提高一些论文的发表率吧
那么,如何引起别人关注呢
江寒琢磨了一下,别说,还真让他想到了一个办法。
那就是参加机器学习方面的各种竞赛活动。
 
猜你喜欢
- 琉长生
- 【女扮男装,强强,1v1】叶潇然此生住过孤儿院,当过影后,被挚爱背叛成过通缉犯,只因一双通灵宝眼最后落得于狗争食惨死下场 夜萧然,夜家唯一的继承人,却是天生懦弱无能甚至被人打死无人问津 再睁眼,叶潇然成了夜萧然,偶得最强(坑爹)不是,是最强通灵系统,废物变天才,学渣变学霸,天生影帝,网文大神,最强编
- 去归休
- 【2019“玄幻王者”征文】参赛作品
- 妍暖花开
- 因为一只猫咪,我重生到了少年时期。因为一个系统,我开始文抄公的生活。因为一本小说,我开启了虚拟网游时代。且看在新的世界,我赵暖阳如何称王称霸顺便把宠物猫进化成人,来把恩爱秀。
- 司唐
- 一朝意外,变身萝莉遇见三年前自己敬仰的电竞男神,然而这个男神有点怪。顾家二少为了活下去也是忍了,系统发布位面任务:活下去,离开这里你就能回到现实世界然而,顾二少摸遍自己浑身上下,还是那个小萝莉。某游戏渣还跑过来叫嚣:拖大神后腿的渣渣
- 理想花
- 失忆的紫
- 秦晚前世被觊觎她未婚夫和财产的姑姑、表妹逼到跳楼,断了腿、污了名,还连累了至亲至爱。重生回到危急时刻,正想着如何反败为胜,被一高能虐渣系统砸中。还没来得及高兴,某统哭叫绑错了人。它从亿年后奔来,本是要助她隔壁家的帅哥哥逆袭。非死无法解除绑定,黑芝麻馅萌妹子与同属性系统…建立互助联盟。于是,霸道小哥哥
- 小强
- 小强
- 戏沐
- 前世她战战兢兢,当上了职场经理,却在遭受男友闺密的背叛意外重生,系统在手,天下我有。重生一世,又怎么能继续受人欺压?坑爹系统,白猫无常,为她打开了一个新的世界,从此,一人扮演两个角色,走私,黑拳,楼盘,皆是她的势力,对此,她表示很无辜,为啥你们一个个的都要找我麻烦?