仕事や家庭が忙しすぎてブログを数年レベルで放置していたが、なんとか地道に再開したい流れ。
最近は線形代数の重要性を無限回再認識しているが、特に機械学習(深層学習)の文脈。
基本的に、深層学習では巨大な行列を効率よく計算することが求められる。このとき、行列の「分解」・「対角化」・「ブロック化」を有効に活用して計算を効率化するかどうかが重要となる。
従来の線形代数のカリキュラムや教科書だと、固有値かジョルダン標準形あたりが教科書のゴールになっているが、現代的な応用を見据えた線形代数としては、前述の要素をゴールにして勉強するほうがよいのだろうなあ。
・・・と思っていたら、有名なMITのストラング教授が似たようなことを言っていることを知った。詳細はこちらなどに詳しいが、ストラング教授の行列5分解は
- CR分解(独立列行列と行簡約行列)
- LU分解
- QR分解
- 固有値分解
- 特異値分解
あたり。QR分解は、ベイズ統計でよく出てくる逆行列計算を(すこし)マシにするし、固有値分解は時系列解析線形作用素あたりの話に関係してくる。
自分形に少しずつ整理していきたい。