BLOG

「自然言語処理のための変分オートエンコーダ」:NVIDIA主催のGTC Japan 2018にて講演をしました。

EventsResearchTechnology

NLPのための変分オートエンコーダ:主な課題、昨今のソリューション、そして実践的な応用

2018年5月のフォーブス誌の調査によると、人々はネット上で、毎分1億5600万通のメールを送り(ボットによって送信される何百万通ものスパムメールを除く)、390万件のグーグル検索を行い、80万件のコメントをフェイスブックに投稿し、600のウィキペディアページを編集しています。そしてこの記事を読んでいる間にも、これらの数字はさらに伸び続けています。

私たちにとって、身の回りの状況を把握したり、互いに意思疎通するためには、言語が必要不可欠です。そのため、人間が生み出すデータを利用して、人間とスムーズに意思疎通やコミュニケーションを取れるAIを求めるのであれば、言語理解能力を1つのコアケイパビリティとして考える必要があります。

現在、自然言語処理の分野は劇的な変化を遂げています。自然言語処理に関する研究は数十年前から行われていますが、昨今のディープラーニングの出現と急速な発展によって、これらの技術は実用化に向けて大きく前進しました。

従来の自然言語処理システムは複雑で、かつ決められたルールに依存していました。しかしディープラーニングの大量のトレーニング用データを用意するアプローチにより、より人間に近い翻訳、説得力のあるチャットボット、正確な音声認識などが可能になり、多くの分野において急速に成果を上げています。

 

 

ディープラーニングにおける進歩の大部分を担っているのは、「生成モデル」です。生成モデルは、ある特定の言語における現実世界の仕組みを理解しているとされています。

生成モデルの中でもも特出している二つのタイプは、敵対的生成ネットワーク (GANs)と変分オートエンコーダ(VAEs)です。GANsは画像処理において多くの成果を残してきましたが、自然言語処理に関しては特定の例外を除いて、これまで特に大きな成果を残すことはできませんでした。一方で、VAEsは自然言語処理関連の問題解決において、より一般的な選択肢となっています。

私はNVIDIA主催のGPU Technology Conference (GTC) Japan 2018 in Tokyoにて、このトピックについて講演する機会をいただきました。『NLPのための変分オートエンコーダ:主な課題、昨今のソリューション、そして実践的な応用』と題し、生成モデルやVAEsの概要についての紹介、並びに自然言語処理による応用例、そして従来の問題を解決した昨今の技術発展について話しました。

また、今回の講演ではこれらの技術的な話の他に、実際のデータを使った現実問題の解決を通じ、研究と実践の間にあるギャップを埋めることで、学問の場では見過ごされがちな実用性に関しても言及したいと考えました。そこで、講演の終盤は、冒頭部分で紹介した技術概念を実際どのように活用し、どのように我々のソリューション に応用しているのかについて話させていただきました。そして具体例として、コージェントラボの自然言語処理ソリューション Kaidokuの紹介と、金融と自治体の政策立案における具体的な活用例を紹介しました。

写真提供:NVIDIA

この記事をシェア

RSS