米エヌビディア(NVIDIA)は11月13日、AI(人工知能)用先端半導体の性能を向上させたと明らかにした。
アマゾンやグーグルなどが採用
「H200」と呼ぶ新たなGPU(画像処理半導体)を搭載したシステムは、世界の主要なサーバーメーカーやクラウドサービスプロバイダーが採用し、2024年4~6月期に利用可能になるという。
米ブルームバーグは、米アマゾン・ドット・コムのAmazon Web Service(AWS)や米グーグルのGoogle Cloud、米オラクルのCloud Infrastructureは全て、H200を採用すると報じている。
H200は、現行製品の性能を大きく上回る。主な特徴は、より高帯域幅のメモリーだ。これは、半導体で最も高価な部品の1つであり、高速処理できるデータ量を決定する。「HBM3e」と呼ばれる141ギガバイト(GB)の次世代のメモリーを搭載しており、前モデルの「A100」 に比べてほぼ2倍の容量と2.4倍の帯域幅を実現する。
メタのLLMで推論速度2倍に高速
エヌビディアによると、米メタの大規模言語モデル(LLM)「Llama 2」の推論速度が、H100 と比較してほぼ2倍に速くなるなど、性能は飛躍的に向上する。将来のソフトウエアアップデートにより一層の向上と改善が期待できるという。