SDR 概要

Overview of SDR

HTMでは情報をスパース分散表現（SDR）で表現します。これは、新皮質のニューロンがまばらに活性化されることにヒントを得ました。

SDRでは記憶をバイナリデータで表現します。「アクティブ」と判断されたものはオンビット1で表現され、「非アクティブ」と判断されたものはオフビット0で表現されます。オンビットはSDRの2%ほどで設定され、オフビットは98%の疎状態（Sparsity/スパース状態）になります。

SDRが疎状態であることから得られる特性は以下のようになります。

• 1兆を超える（240）容量を持ち、ミスマッチの発生確率が低い

• 疎状態であるため堅牢性が高く、ノイズによる誤差確率が低い

• 疎状態のベクトルを処理するため、分類エラー率が低い

• SDRは結合（ユニオン/Union）できるため、複数同時の予測が可能になる

• ノイズが存在する場合でも、SDRユニオンは堅牢性が高い

一般的なニューラル・ネットワークは、密な情報である特徴量を細かく学習します。スパース分散表現はその真逆の発想であることが分かります。