第7课视频的主要内容: 对深度与浅层神经网络的对决进行基于第一性原理的结构、效率与性能比较分析。从函数通近能力、参数效率、深度效率、处理结构化输入和训练与泛化五个关键维度展开,指出深度网络在参数效率深度效率和结构化输入处理上具有优势,但浅层网络在理论上也能完成相应任务。
第7课完整讲义:zhuanlan.zhihu.com
00:00 开篇语


00:49 神经网络的语言 :矩阵表示

02:56 深度网络的通用公式


05:30 函数的逼近能力


06:25 参数效率与线性区域数



09:17 深度效率

09:58 大型结构化输入 和 训练泛化

12:28 对比总结

14:05 线性区域数量的精确计算

15:05 万能逼近定律的宽度和深度版本


15:58 小结
16:34 习题


18:41 结束语

