導入

• Googleの検索エンジンに「過去5年で最大の飛躍」。新たな言語処理モデル「BERT」の秘密 (Original)
• Context and Compositionality in Biological and Artificial Neural Systems in neurips2019
  1. Tom Mitchell
     • 2019年は2018年までの世界とは異なる (45:40 くらいから)
     • (1:01:40くらい) おそらく我々(人類)は今特別な時点にいる。脳が数千年に渡って実行してきた機能を実行する深層学習モデルを持ったからだ。

  

  1. Yoshua Bengio (20:20 くらいから) システム 1 とシステム 2 とを結びつける鍵は注意である。

リンク

• The Annotated Transformer
• Illustrated transformer
• The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning
  • T2T notebook
  • Deconstructing BERT: Distilling 6 Patterns from 100 Million Parameters
  • Deconstructing BERT, Part 2: Visualizing the Inner Workings of Attention
    • 注意の視覚化ツール
    • Visualizing Attention in Transformer-Based Language Representation Models, YouTube
    • A Multiscale Visualization of Attention in the Transformer Model, video
    • Analyzing the Structure of Attention in a Transformer Language Model
• https://github.com/tensorflow/tensor2tensor
• https://github.com/huggingface/pytorch-pretrained-BERT

自然言語処理諸課題における各モデルの性能比較 GLUE leaderboad

• GLUE
• super GLUE