summary:
従来のCUDAコアが1つずつ演算を処理するのに対し,テンソルコアは行列単位で演算を実行し,高い並列処理能力を発揮する.特に,混合精度演算[Mixed Precision Computing]を活用し,FP16[半精度浮動小数点数]やINT8[整数演算]などの低精度データ型を効率的に処理することで,計算速度と電力効率の向上を実現している.
テンソルコアはGPUアーキテクチャにおいて,ストリーミングマルチプロセッサ[SM]ユニット内に統合される形で実装されている.各SMは複数のCUDAコア,共有メモリ,レジスタファイル,スケジューラに加えて,特定数のテンソルコアを内包している.例えば,Ampereアーキテクチャ[A100]では,各SMに4つのテンソルコアが配置され,GPUチップ全体では数百のテンソルコアが搭載されている.
テンソルコアは行列乗算累積[Matrix Multiply-Accumulate]操作に特化した設計となっており,一度の命令サイクルで複数の乗算と加算を同時実行する.具体的には,主に4×4の行列演算[FP16入力×FP16入力＋FP32累積]を1サイクルで処理する能力を持つ.この設計により,深層学習の訓練や推論で頻繁に使用される行列演算を通常のCUDAコアを使用する場合と比較して,数倍から数十倍高速に実行できる.
GPUの実行パイプラインでは,CUDA CUBLASやcuDNNなどのライブラリを通じて,適切な計算がテンソルコアに自動的に割り当てられる仕組みが実装されている.プログラマは特別なAPIを使用することで,明示的にテンソルコア向けの最適化を指示することも可能である.
テンソルコアの歴史は2017年に遡る.この年,NVIDIAはVolta[V100]アーキテクチャを発表し,初めてテンソルコアを搭載した.これはAI・HPC向けのアクセラレーション技術として大きな注目を集めることとなった.2018年には,Turing[RTX 20 シリーズ]アーキテクチャでゲーミングGPUにもテンソルコアが導入され,DLSS[Deep Learning Super Sampling]などのAI機能に活用されるようになった.
2020年に登場したAmpere[A100, RTX 30シリーズ]アーキテクチャでは,テンソルコアの性能が向上し,FP16に加えてTF32[Tensor Float 32]やINT4のサポートが追加された.これにより,多様な精度要件に対応する柔軟性が増した.2022年になると,Hopper[H100]アーキテクチャでテンソルコアはさらに拡張され,FP8精度が追加されることで,AIモデルのトレーニング速度が大幅に向上した.2024年以降は,「Blackwell[B100]」世代のGPUでさらなる進化が進められ,AI・HPC分野での重要性が高まった.
Mathematics is the language with which God has written the universe.