秦皇岛小说

第8章 意外的指点(第2页)

“你这里说的深度神经网络指的应该是你自己提出的那种上百上千层的神经网络,而不是目前业界的深度网络吧?”

付院长转过头来,微笑问道。

“付院长您是怎么..”

孟繁岐先是愣了一下,然后猛地反应过来,目前只有那个女生看到过自己提前准备的残差网络草稿。

“是那个女生跟您说的?”

“哈哈哈,她是我的小师妹。”

付院长笑道,“前段时间来这里,也顺便来拜访了我一下,提到了我们学校有个学生在研究什么深百层千层的神经网络,研究得像模像样的。”

“说实在的,这也不是我的领域,如果不是以前的老师让我关注一下这方面,我还真是一窍不通。

这两天我还在查询资料呢,我说这哪有什么上百层的神经网络,去年年底那个夺冠的AlNet不也才8层的深度吗。”

“我也只是刚刚有一些想法。”

孟繁岐连忙解释道。

“你不用紧张,我只是稍微有些好奇,想看看咱们学校到底是不是出了个这方面的天才。

若是真的,我肯定大力支持。”

();()  孟繁岐连忙先请付院长坐下,先为他大概介绍了一下背景,原理和现阶段难题。

付院长本身是纯数学出身,此前又在老师的指示之下对这个领域稍稍了解过一些,因此孟繁岐没说太多,他就已经掌握了大概。

“你认为深度网络难训练的问题本质上是梯度问题,所以你想使用残差的形式。”

付院长喃喃自语,左手握拳,撑住了自己的下巴。

“如果不去深究神经网络本身的变换,而只是将其的变换理解为一个未知的高维函数的话,f(x)的多次累加会比x+f(x)的残差形式要不稳定太多。”

孟繁岐后世主要以理解算法的流程,了解几种对比方法的优缺点为主。

对于其具体的内在原理,数学推导,平心而论,他的关心远远不足。

现下正是弥补这部分短板的大好机会。

“如果我们讨论一个函数的多次嵌套,f(f(f(f(..f(x)..))))的话,不管是否是残差的形式,都是相当难以分析的。

从数学上直观来看,两个相同次数的嵌套,有残差与否,不应当会改变该函数的实际表达能力。

也就说,你构建的模型其对函数拟合的能力是与原本相当的。”

“倘若真的可以观察到明显的改善,那说明这种残差的形式只是能够让你所说的模型更容易被优化。

换言之,以我的视角来说,该函数的求解变得更加精确了,从这个角度来看,残差是一种简洁的欧拉前向形式。”

付德清说着,拿起了纸笔开始了一些推演。

孟繁岐疏于数学上的推演,但他很熟悉这种形式构建的网络有什么特性,因而越听越觉得惊奇。

付院长的数学分析竟然相当接近不少后来的实验结果。

只可惜自己看他亲自上手推论,却稍微有些吃力了。

此时此刻和他一样一头雾水的还有附近竖起耳朵吃瓜的几名高年级学长学姐。

请关闭浏览器阅读模式后查看本章节,否则将出现无法翻页或章节内容丢失等现象。

热门小说推荐
三国之我成了太公后人

三国之我成了太公后人

公元189年,大量的白光突然从天而降,无数来自另外一个世界的人降临到这个游戏世界。让这个和三国一样,但是武将可以一刀断河山,谋士可以千里取人性命,呼风唤雨,驱雷掣电的高武世界增添了不少色彩。王侯将相宁有种乎?ltpgt...

笔下小说女主来到现实怎么办

笔下小说女主来到现实怎么办

说出来你可能不信,只要是我塑造的女主角,总有一天都会从小说中来到现实世界,这也是我小说总是没法继续写下去的原因。李书山...

古代养娃日常

古代养娃日常

下本女皇穿越本文文案林寒本是末世的女将军,和敌人同归于尽后不幸穿越到古代。然而,没等她适应新身份,就被告知她被许配给一青面獠牙的将军。林寒身无分文,口袋比脸还干净,一听说大将军无父无母无兄弟...

云氏猜想

云氏猜想

二向箔的使用,让整个宇宙最终沦落为二维世界成为不可逆转的事实。为了不让自身文明也葬身于降维打击当中,发动攻击者必须在二维化宇宙之前开始改造自身以适应低维宇宙,以便消灭对手,同时避免自身灭亡。为了自身...

和情敌在古代种田搞基建

和情敌在古代种田搞基建

男朋友劈腿了!!!秋梦期气急败坏去找这对狗男女算账,没想到情敌居然是多年前的死对头,争执过程中不慎从天台跌落。这一跌跌到了古代,为了完成兄长的遗愿她不得不女扮男装赶往封乐县赴任,成了当朝最年轻的县令...

快穿之拆散一对是一对

快穿之拆散一对是一对

9月27号入v当天三更,日更保证,请多多支持哦每个爱情故事,都有那么一个或两个作死的男配女配,她们委屈了自己,恶心了大家,成全了男女主。李怀柔的存在,就是为了将这些男女配从作死的边缘拉回来,顺便看看戏...

每日热搜小说推荐