本当は怖いHPC

HPC屋の外部記憶装置。メモ書き。ちゃんとしたものは別のところに書く予定です

MITストラング教授の行列5分解

仕事や家庭が忙しすぎてブログを数年レベルで放置していたが、なんとか地道に再開したい流れ。

最近は線形代数の重要性を無限回再認識しているが、特に機械学習(深層学習)の文脈。

基本的に、深層学習では巨大な行列を効率よく計算することが求められる。このとき、行列の「分解」・「対角化」・「ブロック化」を有効に活用して計算を効率化するかどうかが重要となる。

従来の線形代数のカリキュラムや教科書だと、固有値かジョルダン標準形あたりが教科書のゴールになっているが、現代的な応用を見据えた線形代数としては、前述の要素をゴールにして勉強するほうがよいのだろうなあ。

・・・と思っていたら、有名なMITのストラング教授が似たようなことを言っていることを知った。詳細はこちらなどに詳しいが、ストラング教授の行列5分解は

  • CR分解(独立列行列と行簡約行列)
  • LU分解
  • QR分解
  • 固有値分解
  • 特異値分解

あたり。QR分解は、ベイズ統計でよく出てくる逆行列計算を(すこし)マシにするし、固有値分解は時系列解析線形作用素あたりの話に関係してくる。

自分形に少しずつ整理していきたい。