基盤モデル

スタンフォード大学のワーキンググループによる "On the Opportunities and Risks of Foundation Models[*]" において名付けられた.

2018年に発表された大規模言語モデルBERT[*],2020年にOpenAIが発表したGPT-3[*],2022年のPaLM[*]などが言語モデルにおける基盤モデルとされる.

BERTはBidirectional Encoder Representations from Transformers,つまり,Transformerと呼ばれる深層学習による双方向のエンコード表現の略.

GPT-3は,2018年のGPT,2019年のGPT-2に続くもの.GPTとは,Generative Pre-trained Transformerの略.

PaLMは,Google Researchが開発した5400億パラメータを持つAI自然言語処理[NLP]モデル.GoogleのPathwaysテクノロジーを用いており,Pathways Language Modelというのが名前の由来.

INDEX