読者です 読者をやめる 読者になる 読者になる

ベクトルと行列による微分

ベクトルによる微分

定数ベクトルを {\boldsymbol{a} = (a_{1}, \dots, a_{d})^{T}} 、 変数ベクトルを {\boldsymbol{x} = (x_{1}, \dots, x_{d})^{T}} とする。 {\boldsymbol{a}}{\boldsymbol{x}}内積微分は、次のように定義する。 {} $$ \frac{\partial(\boldsymbol{a}^{T} \boldsymbol{x})}{\partial \boldsymbol{x}} = \frac{\partial(c = a_{1}x_{1} + \cdots + a_{d}x_{d})}{ \partial \begin{pmatrix} x_{1} \\ \vdots \\ x_{d} \end{pmatrix}} = \begin{pmatrix} \frac{c}{\partial x_{1}} \\ \vdots \\ \frac{c}{\partial x_{d}} \end{pmatrix} = \begin{pmatrix} a_{1} \\ \vdots \\ a_{d} \end{pmatrix} = \boldsymbol{a} $$ {} $$ \begin{align} \frac{\partial(\boldsymbol{a}^{T} \boldsymbol{x})}{\partial \boldsymbol{x}^{T}} &= \frac{\partial(c = a_{1}x_{1} + \cdots + a_{d}x_{d})}{\partial(x_{1}, \cdots, x_{d})} = \begin{pmatrix} \frac{\partial c}{\partial x_{1}} & \cdots & \frac{\partial c}{\partial x_{d}} \end{pmatrix} \\ &= (a_{1}, \cdots, a_{d}) \\ &= \boldsymbol{a}^{T} \end{align} $$

Bに関する2次形式 {\boldsymbol{x}^{T} \boldsymbol{B} \boldsymbol{x} = \sum_{i}^{d} \sum_{j}^{d} b_{ij} x_{i} x_{j}}微分は、 {} $$ \begin{align} \frac{\partial \boldsymbol{x}^{T} \boldsymbol{B} \boldsymbol{x}}{\partial \boldsymbol{x}} &= \begin{pmatrix} \vdots \\ \frac{\partial \sum_{i}^{d} \sum_{j}^{d} b_{ij} x_{i} x_{j}}{\partial x_{k}} \\ \vdots \end{pmatrix} \\ &= \begin{pmatrix} \vdots \\ \frac{\partial ( b_{kk}x_{k}^{2} + \sum_{i \neq k}b_{ik} x_{i} x_{k} + \sum_{j \neq k}b_{kj} x_{k} x_{j} + \sum_{i \neq = k, j \neq k}b_{ij} x_{i} x_{j} )}{\partial x_{k}} \\ \vdots \end{pmatrix} \\ &= \begin{pmatrix} \vdots \\ b_{kk} \frac{\partial x_{k}^{2}}{\partial x_{k}} + \sum_{i \neq k}b_{ik} \frac{\partial x_{i} x_{k}}{\partial x_{k}} + \sum_{j \neq k}b_{kj}\frac{\partial x_{k} x_{j}}{\partial x_{k}} + 0 \\ \vdots \end{pmatrix} \\ &= \begin{pmatrix} \vdots \\ 2b_{kk}x_{k} + \sum_{i \neq k}b_{ik}x_{i} + \sum_{j \neq k}b_{kj}x_{j} \\ \vdots \end{pmatrix} \\ &= \begin{pmatrix} \vdots \\ \sum_{i = 1}^{d} b_{ik}x_{i} + \sum_{j = 1}^{d}b_{kj}x_{j} \\ \vdots \end{pmatrix} \\ &= (\boldsymbol{B} + \boldsymbol{B}^{T}) \boldsymbol{x} \end{align} $$ となる。{\boldsymbol{B}}が対称行列であれば、 {} $$ \frac{\partial \boldsymbol{x}^{T} \boldsymbol{B} \boldsymbol{x}}{\partial \boldsymbol{x}} = 2\boldsymbol{Bx} $$ となる。

行列によるスカラー関数の微分

n×n行列 {\boldsymbol{X}}スカラー関数 {\phi(\boldsymbol{X})}微分は、 {} $$ \frac{\partial \phi(\boldsymbol{X})}{\partial X} = \begin{pmatrix} \frac{\partial \phi(\boldsymbol{X})}{\partial x_{11}} & \cdots & \frac{\partial \phi(\boldsymbol{X})}{\partial x_{1n}} \\ \vdots & \ddots & \vdots \\ \frac{\partial \phi(\boldsymbol{X})}{\partial x_{n1}} & \cdots & \frac{\partial \phi(\boldsymbol{X})}{\partial x_{nn}} \end{pmatrix} $$ で計算される。