Sakana AI、バックプロパゲーションなしで1000層ネットワークを学習するPC-ALMを発表

Sakana AIは、バックプロパゲーションを使わず局所ダイナミクスで1000層のニューラルネットワークを学習する手法「PC-ALM」を発表しました。PC-ALMは予測符号化にラグランジュ乗数に相当するデュアルニューロンを加え、各層が局所的な予測誤差を最小化するPIフィードバック制御系として動作します。