《理解深度学习》第7课-深浅神经网络的对决理解深度学习

《理解深度学习》第7课-深浅神经网络的对决

19分钟 ·
播放数16
·
评论数0

第7课视频的主要内容: 对深度与浅层神经网络的对决进行基于第一性原理的结构、效率与性能比较分析。从函数通近能力、参数效率、深度效率、处理结构化输入和训练与泛化五个关键维度展开,指出深度网络在参数效率深度效率和结构化输入处理上具有优势,但浅层网络在理论上也能完成相应任务。

第7课完整讲义:zhuanlan.zhihu.com

00:00 开篇语

00:49 神经网络的语言 :矩阵表示

02:56 深度网络的通用公式

05:30 函数的逼近能力

06:25 参数效率与线性区域数

09:17 深度效率

09:58 大型结构化输入 和 训练泛化

12:28 对比总结

14:05 线性区域数量的精确计算

15:05 万能逼近定律的宽度和深度版本

15:58 小结

16:34 习题

18:41 结束语