製品進化とマネジメント風景 第64話 ノイマン型コンピュータを越える進化とマネジメント
現在、AIの学習速度、推論速度を増すための技術開発、製品開発が盛んです。前回のコラムでは、当分の間、人間の能力とコンピュータによる機械学習のそれぞれの強みを組み合わせて使いこなしていくのが良い戦略であることを述べました。
現在のノイマン型コンピュータはまだ進化を続けており、それを応用したAI専用チップの開発も進められています。しかしながら、その半導体微細化技術の物理的限界に加えてコンピュータシステムとしての限界が見えており、人間並の柔軟性、汎用能力を持たせるには明らかに無理があるのです。
反論される方もおられるでしょう。なにしろムーアの法則は限界だと言われ続けながらも、少なくともロジックIC分野については新たなアイデアが考案されて、延命してきたからです。しかし、システム全体を考えると、ロジックICだけが頑張っても性能は上がりません。他が足を引っ張るからです。
今回は、まず、ロジックICの最近の進化の過程を振り返りつつ、ノイマン型コンピュータの致命的な欠点に言及します。その後、ノイマン型の欠点を解決し、AIの推論能力を大幅向上する潜在力があるとされる脳型（ニューロモーフィック）コンピュータを概観します。脳型コンピュータのコンセプトの根幹には、ノイマン型コンピュータや半導体技術の進んできた道とある意味で正反対ともいえる特徴が潜んでおり、世の中にパラダイムシフトを引き起こす可能性を秘めています。
可能性のある脳型コンピュータであっても、電気を流して情報伝達する仕組み、つまり配線数が増えていくとすぐに限界に到達することが見えています。人の脳に近づくには、配線を通じて電気を流す以外の手段で情報を伝達する仕掛けが不可欠だということです。これを実現する手段は、既存の半導体技術の範囲にあるものもありますが、多くは異なるものです。これらを概観した上で、最後に、人間を超えるコンピュータが出現するための条件というか課題を考えていきます。
ここからは、まず、ロジックICの最近の進化を振り返ります。ロジックICの主人公は最近まではMPUであり、MPUは二次元平面上における微細化技術の向上とシリコンウエハの大型化に支えられて進化してきました。微細化技術により高周波数化と低消費電力を両立して実現することが可能となり、正に性能向上のドライバーとして機能してきました。
しかしながら、微細化が20nm当りにまで来るとリーク電流が相対的に増え始め、微細化しても従来の低消費電力化を実現できなくなり始めました。また、リーク電流は熱に変わります。半導体は高温になると機能劣化を起こすものですが、シリコンの場合も約120℃を越えるあたりから作動があやしくなります。そのため、冷却設計に労力と製造コストをかけて延命するようになりました。
世界最高速のスーパーコンピュータである富岳は、上記の技術で造られているため電力消費が大きく、ピーク消費電力は約20MWです。安定して稼働させるためには中型発電所から電力供給が必要であり、それが止まれば機能しないということです。
別の例として、人間を打ち負かしたクイズ王であるIBMワトソンや、囲碁王であるGoogleアルファ碁コンピュータをみると、やはり消費電力は200-250KW級です。人間の脳の消費電力は20W級なので、１万人分に相当します。囲碁はともかく、クイズについては１万人の人間クイズ王が協力すれば、IBMワトソンには勝てたかもしれませんね。
どちらもAI（人工知能）の走りですが、機能するのは、クイズとかゲームと言った極めて限定された領域です。人間の活動には、この手の活動が少なくとも万のオーダーであるでしょうから、この時点のコンピュータの消費電力は人間の一億倍のレベルになっていたと推測できます。
このような電力多少費型のコンピュータをたくさん導入することは非現実的であるため、先に進むためには、とにかく低電力消費化が強く求められる事になりました。必要は発明の母と言いますが、MPUの限界が見えてきた時、リーク電流を低減するFinFETという３次元構造のトランジスタ構造が考案されました。
さらにそれに呼応するかのようにEUV（極端紫外線）技術が開発され、FinFETの３次元構造を厚み方向に多層化するGAAが実現できるようになりました。以前開発された強誘電体材の適用と合わせてリーク電流を低減し、既に2-3nm級の製造技術が開発されています。おそらく1nmくらいまでは行くでしょう。
ロジックICについてはこのように何とか延命化が可能となり、2030年くらいまではムーアの法則を維持できるだろうと言われています。しかし、ロジックICだけが早くなっても、コンピュータ全体の速度は上がりません。今のコンピュータアーキテクチャはノイマン型であり、演算部（MPU）と記憶部（メモリ）が分離されています。全体の速度を上げるには、演算部と記憶部の間のデータ転送速度を高める必要があります。メモリの生産コストはどんどん下がり、我々はその恩恵を受けていますが、データ転送速度の改善ペースは遅く、ここが完全にボトルネックとなってしまいました。
メモリ高速化についてはマーチングメモリというコンセプトが特許化され、今のメモリに比べて1000倍程度は高速化できるようですが、せいぜいそのレベルです。現在のコンピュータ計算需要は、従来の数値計算からAIの学習と推論に移っています。今日のAIの主流はニューラルネットワークですが、その演算の大半は単純な積和演算です。ビッグデータの量が増えて学習データ量が、半導体ムーア則の数倍の速度で増えてきたため、MPUでは求める時間内に処理しきれなくなってきました。
そこで注目されるようになったのがGPU(Graphic Process Unit)です。GPUは名前の通り、描画専門のプロセッサであり、３原色の積和演算を並列処理するためのものでした。並列での積和演算が得意という所がニューラルネットワークAIと相性が良いため、専用のGPUが開発されるようになりました。
しかし、AIは元々ソフトウェアであり、アルゴリズムです。ソフトウェアでは動きが遅いので、それを高速化するために専用の半導体も開発されていますが、発展期の技術ゆえ、次々に新しい効率的なアルゴリズムが出てきます。半導体化して生産するには最低でも２年はかかると言われていますので、その間にも新しいアルゴリズムがいくつも出てきて、半導体生産を開始した頃には競争力が無いものになってしまう場合もあるわけです。そこで、ハードウェアになってからでもアルゴリズムの変更をできるFPGA (Field Programable Gate Array)に注目が集まってきました。
また、話をAIに限れば、演算の精度を16ビットから8ビットに落とすと、推論精度を維持しながら消費電力を１桁落とせるという発見があり、低ビット化が進められています。しかし、すでに１ビットに下げる所まで行き着いてしまいましたので、この先の発展性はありません。それに、１ビット判断ということは白か黒かを決めるという話であり、対象によっては適切でない場合もありそうです。
ニューラルネットワークの学習アルゴリズムにおける最近の大きな進歩としては、リザバーコンピューティングがあげられます。
ニューラルネットワークAIは、CNN（折り畳みニューラルネットワーク）の適用により画像解析精度が飛躍的に向上して注目を浴びました。しかし、CNNは静的な問題にしか適用できず、人間との会話や動画などの時系列を学習・推論するには能力不足です。そこで時系列事象を学習するためにRNN(再帰的ニューラルネットワーク)が開発されました。RNNでは、学習の結果として、多層の各層間での重み付けが変わります。重み付けの見直しアルゴリズムの代表は誤差逆伝播法です。この手法により音声解析では成果が出ましたが、より大容量データを扱う領域（動画解析、動画と音声をセットで解析等）では計算時間が長くて能力不足が目立ってきています。
誤差逆伝播法アルゴリズムを大幅改善したのがリザバーコンピューティングです。リザバーコンピューティングは、ニューラルネットワークを多層にはせず、入力層、リザバー層、出力層の３つだけに分け、リザバー層と出力層の間だけで学習させる方法です。
リザバー層には、固有の関数系が埋め込まれており、その本質は、識別の難しい２つのパターンの差を拡大し、識別しやすい別のパターンへの変換することにあります。このコンセプトを理解するため、「池に石を投げ込んだとき、水面にどのような波紋が生じたかを見れば、投げられた石がどのような石だったかが分かる」という比喩が使われます。
この比喩では水面という非線形性と波動伝播の２つの特徴を持つ関数系を例としています。一方、リザバー層の機能を機械学習の言葉であえて難しく表現すると、「入力データを非線形変換し、高次元の特徴量空間に写像し、線形分離しやすくする操作」となります。
最も重要なことは、このリザバー層という非線形変換を挟むことで、演算を線形化できるということです。人間の脳も、どうやらこれと同じ処理をしているようです。線形化されると、既存のベクトル演算アルゴリズムを適用でき、計算速度を一気に高めることが可能となります。
ただ、お気づきのように、リザバー層には、多種多様なパラメータがあり、それらが相互連結している必要があります。人間の脳では、１つのニューロンは数千から１万のニューロンと接続し、相互に情報伝達が出来るようになっています。
これに対して現在のトランジスタでは、それをニューロンに見立てると、その接続数（配線数）はせいぜい10です。人間の脳並の学習能力を得るには、配線を千倍近くまで増やす必要があります。加えて、人間の脳には、全体で10の11乗個のニューロンがあり、思考を司る大脳だけでも10の10乗個のニューロンがあります。大脳と同レベルにするには、10の14乗の配線数を半導体上に実装する必要があり、配線爆発が生じます。
配線爆発が起きるのは電気で情報伝達することに起因しています。ここに電気を使用するアーキテクチャの限界があります。これは、ノイマン型でも、非ノイマン型の脳型（ニューロモーフィック型）でも同様です。ただし、後者は、演算部と記憶部を分離せず、また、情報伝達や情報記憶手段として電気に拘りません。
前述のリザバー層についても、ニューラルネットワークと直接関係のない、高次元の非線形物理系のダイナミクスに置き換えることが可能であり、これらのデバイスは物理リザバーデバイスと呼ばれています。
物理リザバーデバイスには、演算機能と短期記憶機能がセットで埋め込まれていると見なせるので、これを上手に活用すれば、高速で低消費電力のリザバーコンピューティングを実現できるわけです。物理リザバーの候補としては、光学系、スピン系、機械系、量子系、生化学系があります。
記憶量が10強程度で済むならば、FinFETに使用されている強誘電体を使う事も出来ます。強誘電体では分極ヒステリシスが起こるので、この非線形特性が演算と短期記憶の機能として使えます。既存の半導体製造技術との相性も良いのですが、記憶量が少ないので、パラメータ数が少ないエッジAI用のデバイスに使うのがせいぜいだと思われます。
前述の話から、ノイマン型だけでなく、脳型コンピュータであっても、情報伝達に電気電子を使う限り、人間の脳並のAIを構築するのは、まず無理だということがお分かりになったと思います。物理リザバーデバイスを用いれば、配線無しで、演算と短期記憶を実現でき、エッジAIとしての能力はかなり高められるでしょう。ただ、ここで検討した物理リザバーデバイスはどれも短期記憶を司るものです。短期記憶と長期記憶との連携を含めた学習の高速化はこれからの課題として残っています。
以上から、やはりAIが人間並の多様性、柔軟性を持つに至るには相当な時間がかかるだろうということがご理解いただけたと思います。ゆえに、問題を解く鍵となるパラメータの推論はやはり人間が行い、そのパラメータを使った学習・推論をAIが行うという役割分担が現実的な解だと私は考えています。
今後、人材に求められるのは、第１に解決すべき問題を見つけるスキルであり、第２にその問題を解決するために必要な複数の異分野専門を特定し、それら専門人材間で意味のあるコミュニケーションを成立させ、問題を表現するキーパラメータを特定し、最後にAIを使ってPDCAを高速に回すことと考えられます。このような組織的な仕組みづくりが求められているのではないでしょうか？ 当社は、上記の第１と第２の部分について深い知見を持っており、支援することができます。お困りの場合は是非、お声掛けください。