注: ここに示すアイコン 
は colab ファイルであることを意味しています。
クリックすると colab が起動します。
PyTorch で 自然言語処理を行う場合のチュートリアル ファイルの翻訳 + colab file への変換
- PyTorch 入門 Introduction to PyTorch
- PyTorch による深層学習 Deep Learning with PyTorch
- 単語埋め込み:語彙的意味の符号化 Word Embeddings: Encoding Lexical Semantics
- 系列モデルと LSTM Sequence Models and Long-Short Term Memory Networks
- 動的意思決定と双方向 LSTM 条件付き確率場 Advanced: Making Dynamic Decisions and the Bi-LSTM CRF
BERT の事前訓練は，マスク化言語モデルと次文予測課題です。以下はそのサンプルです。
PyTorch の チュートリアルを翻訳しました。 歴史的な経緯を考えれば，(1) RNN (such as SRN, LSTM, and GRU) による文，あるいは句表現, (2) Seq2Seq (a.k.a エンコーダ-デコーダ) モデルによる翻訳モデル， (3) Seq2Seq への注意の導入, (4) トランスフォーマー (マルチヘッド自己注意) モデル， となります。ですので，このような基本的な流れは，以下のチュートリアルを実行することで フォローすることができると考えられます。