ベクトルによる微分
定数ベクトルを 、
変数ベクトルを
とする。
と
の内積の微分は、次のように定義する。
$$
\frac{\partial(\boldsymbol{a}^{T} \boldsymbol{x})}{\partial \boldsymbol{x}} =
\frac{\partial(c = a_{1}x_{1} + \cdots + a_{d}x_{d})}{
\partial
\begin{pmatrix}
x_{1} \\
\vdots \\
x_{d}
\end{pmatrix}} =
\begin{pmatrix}
\frac{c}{\partial x_{1}} \\
\vdots \\
\frac{c}{\partial x_{d}}
\end{pmatrix} =
\begin{pmatrix}
a_{1} \\
\vdots \\
a_{d}
\end{pmatrix} =
\boldsymbol{a}
$$
$$
\begin{align}
\frac{\partial(\boldsymbol{a}^{T} \boldsymbol{x})}{\partial \boldsymbol{x}^{T}} &=
\frac{\partial(c = a_{1}x_{1} + \cdots + a_{d}x_{d})}{\partial(x_{1}, \cdots, x_{d})} =
\begin{pmatrix}
\frac{\partial c}{\partial x_{1}} & \cdots & \frac{\partial c}{\partial x_{d}}
\end{pmatrix} \\
&= (a_{1}, \cdots, a_{d}) \\
&= \boldsymbol{a}^{T}
\end{align}
$$
Bに関する2次形式 の微分は、
$$
\begin{align}
\frac{\partial \boldsymbol{x}^{T} \boldsymbol{B} \boldsymbol{x}}{\partial \boldsymbol{x}} &=
\begin{pmatrix}
\vdots \\
\frac{\partial \sum_{i}^{d} \sum_{j}^{d} b_{ij} x_{i} x_{j}}{\partial x_{k}} \\
\vdots
\end{pmatrix} \\
&=
\begin{pmatrix}
\vdots \\
\frac{\partial (
b_{kk}x_{k}^{2} + \sum_{i \neq k}b_{ik} x_{i} x_{k} + \sum_{j \neq k}b_{kj} x_{k} x_{j} + \sum_{i \neq = k, j \neq k}b_{ij} x_{i} x_{j}
)}{\partial x_{k}} \\
\vdots
\end{pmatrix} \\
&=
\begin{pmatrix}
\vdots \\
b_{kk} \frac{\partial x_{k}^{2}}{\partial x_{k}} + \sum_{i \neq k}b_{ik} \frac{\partial x_{i} x_{k}}{\partial x_{k}} + \sum_{j \neq k}b_{kj}\frac{\partial x_{k} x_{j}}{\partial x_{k}} + 0 \\
\vdots
\end{pmatrix} \\
&=
\begin{pmatrix}
\vdots \\
2b_{kk}x_{k} + \sum_{i \neq k}b_{ik}x_{i} + \sum_{j \neq k}b_{kj}x_{j} \\
\vdots
\end{pmatrix} \\
&=
\begin{pmatrix}
\vdots \\
\sum_{i = 1}^{d} b_{ik}x_{i} + \sum_{j = 1}^{d}b_{kj}x_{j} \\
\vdots
\end{pmatrix} \\
&=
(\boldsymbol{B} + \boldsymbol{B}^{T}) \boldsymbol{x}
\end{align}
$$
となる。
が対称行列であれば、
$$
\frac{\partial \boldsymbol{x}^{T} \boldsymbol{B} \boldsymbol{x}}{\partial \boldsymbol{x}} = 2\boldsymbol{Bx}
$$
となる。
行列によるスカラー関数の微分
n×n行列 のスカラー関数
の微分は、
$$
\frac{\partial \phi(\boldsymbol{X})}{\partial X} =
\begin{pmatrix}
\frac{\partial \phi(\boldsymbol{X})}{\partial x_{11}} & \cdots & \frac{\partial \phi(\boldsymbol{X})}{\partial x_{1n}} \\
\vdots & \ddots & \vdots \\
\frac{\partial \phi(\boldsymbol{X})}{\partial x_{n1}} & \cdots & \frac{\partial \phi(\boldsymbol{X})}{\partial x_{nn}}
\end{pmatrix}
$$
で計算される。
