引言

自查。【秋叶 Office 三合一课程之 PowerPoint 篇】的学习笔记。

引言

Excel 超强技巧，看 GIF 图秒懂。Mark 一下方便以后查看。

引言

神经网络的训练主要由三个部分组成：1) 网络模型；2) 损失函数；3) 参数学习算法。

我们今天的主角，反向传播算法（Back Propagation Algorithm，BP Algorithm），常与参数优化算法（譬如梯度下降法等）结合使用，属于参数学习算法的一部分（或者说是参数学习算法的好搭档，取决于你怎么理解“参数学习算法”这一概念）。该算法会对网络中所有权重计算损失函数的梯度，并反馈给参数优化算法用以更新权重。

对于反向传播算法，有两个常见的误区在这里澄清一下：

• 反向传播算法是梯度计算方法，而不是参数学习算法
• 反向传播算法理论上可以用于计算任何函数的梯度，而不是仅仅用于多层神经网络

本文会从“维度相容”的角度介绍快速矩阵求导和反向传播算法。

引言

这是【数学天坑】系列之矩阵/向量求导的第四部分。

在上一篇文章的总结部分提到过一点，微分法虽然很大程度上避免了定义法的局限性，但在面对复杂链式求导的情况时仍然会很麻烦，因此还需要一种更优的方法，那就是：链式求导法。

链式求导法，对于在机器学习中可能遇到的绝大多数复杂链式求导，我们只需记忆一些常用的求导结果，然后再利用链式法则来求解即可。

引言

这是【数学天坑】系列之矩阵/向量求导的第三部分。

在前两篇文章中，已经介绍了矩阵/向量求导的定义、求导布局以及定义法求导的内容，同时通过几个例子说明了定义法求导的局限性，因此我们需要寻找一种更优的方法来完成矩阵/向量求导的任务。这篇博客将从导数与微分的关系出发，引出矩阵求导的微分法。

引言

这是【数学天坑】系列博客的第二篇，或者说是开篇的第二部分。

对于矩阵/向量求导，哪怕只是机器学习中会涉及到的部分，显然也不是一篇博客能搞定的，再加上我对自己博客的期望是“短小精悍”，即在文章比较简短的前提下确保每次都完整地记录下自己想要说明的数个知识点（这样做最大的好处就是每篇博客都能用碎片时间看完，而碎片化阅读几乎是现在绝大多数人的常态），所以矩阵/向量求导部分我会分成几篇博客来完成。

本篇将搞定定义法求导的部分。

引言

【数学天坑】系列博客的开篇。本系列主要作为接下来一段时间自己恶补荒废多年数学的记录与分享。这么多年下来挖出的“天坑”显然不是一朝一夕能够填上的，只能送给自己八个字——“戒骄戒躁、脚踏实地”。

矩阵/向量求导在包括机器学习在内的许多领域都有着广泛的使用，但对于这部分知识感jio自己一直都处于一种比较懵逼的状态，所以有了这篇博客。因为鄙人是菜鸡程序猿一枚，并不需要像数学大佬那样钻研得非常深入，所以本文只会涉及比较浅层的部分，主要为机器学习相关的矩阵/向量求导，旨在快速掌握矩阵/向量求导法则。

本篇主要介绍矩阵求导定义及求导布局。