![](https://jbpress.ismcdn.jp/mwimgs/c/f/600mw/img_cfea19d1138e75597f105fe84f3d17d61205778.jpg)
これまでAI(人工知能)の開発競争は、性能の指標となる「パラメーター数」や学習するデータ量、計算資源を大規模化することによって繰り広げられてきた。だがここに来て、テクノロジー大手は小型化に注目している。
小規模言語モデルのメリット
オープンAIの「Chat(チャット)GPT」のような、巧みに言葉を操る生成AIは、大規模言語モデル(LLM)を基盤として構築されている。だが、米ウォール・ストリート・ジャーナル(WSJ)によれば、オープンAIの「GPT-4」のようなLLMの開発には、1兆を超えるパラメーターや1億ドル(約160億円)以上の費用が必要になる。
一方、小規模言語モデル(SLM)は法務文書のような、より限定的なデータセットで訓練され、その訓練費用は1000万ドル(約16億円)以下、パラメーター数は100億以下で済む。必要となる計算処理も少なく、質問のたびに発生するコストも低くなる。
何よりも、サーバー側で動く高価なGPU(画像処理半導体)がなくても、CPU(中央演算処理装置)など端末側のプロセッサーを使って動かすことができるので、処理速度が速い。
アップルやマイクロソフトも小型化に注力
米アップルは、独自の小規模言語モデルを開発してきた。利用者のプライバシー保護を重視する同社は、計算処理を端末側で行い、個人情報が外部サーバーに送信されないような手法で開発を続けてきた。同社は2024年6月に開いた開発者会議「WWDC24」で、独自のAIロードマップを発表した。小型モデルを使用し、AI処理をスマートフォンのプロセッサーで実行することで、高速化とセキュリティーの向上を実現するとした。