自然言語処理モデル

自然言語処理モデル

　自然言語処理モデルとは、人間の言葉をコンピュータに理解させる試みである自然言語処理において機械学習(マシンラーニング)において事前学習済みのモデルを指すようです。

　現時点において自然言語処理モデルの一般的な工程はである形態素解析/構文解析(係り受け解析)/意味解析/文脈解析の順において意味解析、文脈解析は難題とされています。

　機械学習を併用すればという話もあるものの、それでも、まだ道半ばと言われています。

　それでもSiri、Googleアシスタント、アマゾンAlexaなどのスマートスピーカー、検索エンジン、チャットボット、各国語間の翻訳、トピック分析による感情分析、文章要約、完璧ではないものの、自動文書作成やコメントからのプログラミングコード生成補助など幅広く利用され、重宝されています。

　他方、個人で機械学習...と言ってもできればGPU、現時点ではNVDIA一択、更にハイスペックなCPU、最低でも16GB以上の豊富なRAM、大容量のディスク、それを持ってしても本格的な機械学習となると数日かかるといったことも珍しくなく、まして汎用、大企業や自治体、社会、日本など広範な需要に耐えるとなると莫大な予算を要すことは想像に難しくありません。

　そうしたこともあり、従前は、目的や事業領域(ドメイン)を絞ったルールベースの機械学習が主流だったそうです。

　そうした中、転換期を迎える兆しが見えてきました。

　1つは、テスラやスペースXの代表イーロン・マスク氏が出資したOpenAI、そのOpenAIが2018年06月に発表したGPT/Generative Pre-trained Transformer(openai / image-gpt？)。

　OpenAIは、2019年02月にGPT-2、2020年05月にはGPT-3を発表しました。

　もう1つは、Googleにより2018年10月に論文が発表された膨大なデータを学習させた自然言語処理モデルBERT/Bidirectional Encoder Representations from Transformers。

　また、2019年には、Google検索にBERTを搭載したとのこと。

　GPT/GPT-2/BERTは、膨大なデータの教師なし学習をベースに少量データによる教師あり学習を行なう転移学習で広範な分野で汎用的に利用できる大きな成果を出したことから一気に注目が集まったようです。

　GPT-3に至っては、チューニングに機械学習すら必要とせず、そもそもチューニング不要(Zero-shot)、1つ例題をテキストで渡すだけ(One-shot)、複数の例題を渡すだけ(Few-shot)という3つのタイプのアプローチを用意、それだけでも、かなり精度を上げることに成功したとのこと。

　BERTは、学習コストが高いという声を受けて2019年09月にALBERT/A Lite BERTを発表、膨大なデータを学習すればするほど良いというわけでもなく、ある時点からは逆に精度が下がったということもあり、相応の学習データ＋ちょっとしたチューニングで精度を上げることができているとのこと。

　今後、どうなっていくのでしょうね。

関連リンク