第1回講座 ニューラルネットワークとディープラーニング

第1週 ディープラーニング入門

1.1 ようこそ1

1.2 ニューラルネットワークとは？(ニューラルネットワークとは)

1.3 ニューラルネットワークによる教師あり学習

1.4 ニューラルネットワークはなぜ人気なのか？(なぜディープラーニングが流行っているのか?)

1.5 本講座について

1.6 コースのリソース

1.7 ジェフリー・ヒントン インタビュー

第2週 ニューラルネットワークプログラミングの基礎

2.1 2値分類

2.2 ロジスティック回帰

2.3 ロジスティック回帰の費用関数（Logistic Regression Cost Function）

2.4 勾配降下法 (勾配降下法)

2.5 微分法 (デリバティブ)

2.6 その他のデリバティブの例

2.7 計算グラフ(Computation Graph)

2.8 計算グラフを用いた微分法(CDG)

2.9 Logistic Regression Gradient Descent (ロジスティック回帰勾配降下法)

2.10 m個の例に対する勾配降下法

2.11 ベクトル化

2.12 ベクタライズのその他の例

2.13 ロジスティック回帰のベクトル化(VLR)

2.14 ロジスティック回帰の勾配をベクトル化する計算 (Vectorizing Logistic Regression's Gradient)

2.15 Pythonによるブロードキャストの仕組み（Pythonによるブロードキャスト）

2.16 Pythonとnumpy vectorの併用について（pythonまたはnumpy vectorの注意点）

2.17 Jupyter/iPython Notebooksのクイックツアー (Quick tour of Jupyter/iPython Notebooks)

2.18 ロジスティック回帰の損失関数の説明 (ロジスティック回帰の費用関数の説明)

第3週 シャローニューラルネットワーク（浅い神経回路網）

3.1 ニューラルネットワークの概要（Neural Network Overview）

3.2 ニューラルネットワークの表現

3.3 ニューラルネットワークの出力の計算（Computing a Neural Network's output)

3.4 複数の例でベクトル化する

3.5 ベクトル化実装の正当性 (Justification for vectorized implementation)

3.6 活性化関数 (活性化関数)

3.7 なぜ非線形活性化関数が必要なのか？(なぜ非線形活性化関数が必要なのか？)

3.8 活性化関数の微分 (活性化関数の微分)

3.9 ニューラルネットワークのための勾配降下法 (ニューラルネットワークのための勾配降下法)

3.10 （オプション）バックプロパゲーションの直感を理解する （Backpropagation intuition)

3.11 ランダムな初期化 (Random+Initialization)

第4週 ディープニューラルネットワーク(DNN)

4.1 ディープL層ニューラルネットワーク(DLLN)

4.2 前方伝搬と後方伝搬 (Forward and Backward Propagation)

4.3 Deep Networkにおける順方向伝搬と逆方向伝搬 (Forward propagation in a Deep Network)

4.4 行列の次元を確認する (行列の次元を正しく把握する)

4.5 なぜ深い表現を使うのか？(なぜ深い表現なのか？)

4.6 ディープニューラルネットワークのビルディングブロック

4.7 パラメータ vs ハイパーパラメータ（Parameters vs Hyperparameters）

4.8 ディープラーニングと脳の関連性（脳と何の関係があるの？）

コース2 ディープニューラルネットワークを改善する。ハイパーパラメータチューニング、正則化、最適化

第1週 ディープラーニングの実践的側面

1.1 トレーニング、バリデーション、テストセット（Train / Dev / Test sets)

1.2 バイアス、分散（バイアス / バリアンス）

1.3 機械学習の基本レシピ(BRL)

1.4 正則化（正則化）

1.5 正則化はなぜオーバーフィッティングを防ぐのに有効なのか？(なぜ正則化はオーバーフィッティングを減らすのか？)

1.6 ドロップアウト正則化

1.7 ドロップアウトを理解する（Understanding Dropout）

1.8 その他の正則化手法(その他の正則化手法)

1.9 入力の標準化 (入力の正規化)

1.10 グラデーションの消失 / グラデーションの爆発 (Vanishing / Exploding Gradients)

1.11 ディープネットワークのための重みの初期化Vanishing /Exploding gradients

1.12 勾配の数値的近似（Numerical approximation of gradients）

1.13 グラディエントチェック (グラディエントチェック)

1.14 グラディエントチェックの適用に関する注意事項（グラディエントチェックの適用に関する注意事項）

第2週 最適化アルゴリズム (最適化アルゴリズム)

2.1 ミニバッチ式勾配降下法（Mini-batch gradient descent）

2.2 ミニバッチ式勾配降下法を理解する

2.3 指数的重み付き平均(EWA)

2.4 指数的加重平均（Exponentially weighted averages）を理解しよう

2.5 指数的重み付き平均の偏り補正（Bias correction in exponentially weighted average）

2.6 モメンタム付き勾配降下法 (モメンタム付き勾配降下法)

2.7 RMSprop - 二乗平均平方根プロップ(RMSprop)

2.8 アダム最適化アルゴリズム（Adam optimization algorithm）

2.9 学習率減衰(LRD)

2.10 局所最適の問題

第3週 ハイパーパラメータチューニング、バッチ正規化、プログラミングフレームワーク)

3.1 チューニングプロセス

3.2 ハイパーパラメータの範囲の選択と適合（ハイパーパラメータを選択するための適切な尺度の使用）

3.3 ハイパーパラメータのチューニングの実際。Pandas vs. Panda

3.4 ネットワークの活性化を正則化する（Normalizing activations in a network）

3.5 Batch Normをニューラルネットワークに適合させる (Fitting Batch Norm into a neural network)

3.6 バッチノームはなぜ機能するのか？(なぜバッチノームは機能するのか？)

3.7 テスト時のバッチ・ノルム (Batch Norm at test time)

3.8 ソフトマックス回帰 (Softmax Regression)

3.9 ソフトマックス分類器の学習 (Training a softmax classifier)

3.10 ディープラーニングフレームワーク（深層学習フレームワーク）

3.11 TensorFlow (テンソルフロー)

コース3 機械学習プロジェクトの構造化(STRM)

第1週 機械学習戦略(1) (ML戦略(1))

1.1 なぜML戦略なのか？(なぜML戦略なのか)

1.2 直交化(Orthogonalization)

1.3 シングルナンバー評価指標(SNEM)

1.4 満足度評価と最適化評価指標

1.5 訓練/デバイス/テストの分布

1.6 開発セットとテストセットの大きさ

1.7 開発/テストセットとメトリクスを変更するタイミング

1.8 Why human-level performance (なぜ人間レベルのパフォーマンスなのか)

1.9 避けられるバイアス（Avoidable bias）

1.10 人間レベルのパフォーマンスを理解する

1.11 人間レベルの性能を超える

1.12 モデルのパフォーマンスを向上させる

第2週 機械学習戦略(2) (ML戦略(2))

2.1 エラー解析の実施

2.2 誤ってラベル付けされたデータのクリーンアップ

2.3 最初のシステムを素早く構築し、反復する

2.4 異なる分布での学習とテスト

2.5 データ分布が不一致の場合のバイアスとバリアンス

2.6 Addressing data mismatch (データミスマッチへの対応)

2.7 移植学習

2.8 マルチタスク学習(MTL)

2.9 エンドツーエンドの深層学習とは？(エンドツーエンドの深層学習とは？)

2.10 エンドツーエンド・ディープラーニングの手法を使うかどうか

Lesson 4 畳み込みニューラルネットワーク(CNN)

第1週 畳み込みニューラルネットワーク(CNN)の基礎

2.1.1 コンピュータビジョン (コンピュータビジョン)

1.2 エッジ検出の例

1.3 その他のエッジ検出コンテンツ (その他のエッジ検出)

1.4 パディング

1.5 コンボリューションステップ (ストライドコンボリューション)

1.6 三次元コンボリューション (ボリューム上のコンボリューション)

1.7 畳み込みネットワークの単層 (畳み込みネットワークの1層)

1.8 シンプルなコンボリューションネットワークの例

1.9 プーリング層

1.10 畳み込みニューラルネットワークの例

1.11 なぜコンボリューションなのか？(なぜ畳み込みなのか？)

第2週 深層畳み込みモデル：ケーススタディ  2.1 なぜケーススタディに注目するのか？(Why look at case studies?)

2.2 古典的なネットワーク（Classical networks）

2.3 残留ネットワーク(ResNets)

2.4 なぜResNetsが有効なのか？(なぜResNetsは機能するのか?)

2.5 ネットワーク・イン・ネットワークと1×1畳み込み

2.6 Google Inceptionネットワークモチベーション（Inception network motivation）

2.7 インセプション・ネットワーク（Inception network）

2.8 オープンソースの実装を利用する（Using open-source implementations）

2.9 移行学習（トランスファー・ラーニング）

2.10 データ増強（データオーギュメンテーション）

2.11 コンピュータビジョンの現状 (コンピュータビジョンの現状)

第3週 物体検出 (物体検出)  3.1 オブジェクトのローカライズ

3.2 ランドマーク検出

3.3 オブジェクト検出

3.4 スライディングウィンドウの畳み込み実装 (スライディングウィンドウの畳み込み実装)

3.5 境界箱予測（Bounding box predictions）

3.6 和を超えた交わり(Intersection over union)

3.7 非最大限の抑制 (Non-max suppression)

3.8 アンカーボックス

3.9 YOLOアルゴリズム（まとめ：YOLOアルゴリズム）

3.10 領域候補 (領域提案 (オプション))

第4週 特別応用編 顔認識・スタイル変換（特殊用途：顔認識・スタイル変換） 4.1 顔認識とは？(顔認識とは?)

4.2 一発学習 (ワンショット学習)

4.3 シャムネットワーク(Siamese network)

4.4 トリプレットロス（三重項損失）

4.5 顔認証と2値分類（顔認証と2値分類）

4.6 ニューラルスタイルトランスファーとは？(ニューラルスタイルトランスファーとは？)

4.7 ディープコンボリューショナルネットワークとは？(ディープコンボリューションネットワークの学習とは？)

4.8 コスト関数 (コスト関数)

4.9 コンテンツコスト関数（コンテンツコスト関数）

4.10 スタイルコスト関数（スタイルコスト関数）

4.11 1Dから3Dへの一般化（モデルの1Dと3Dの一般化）

Lesson 5 シーケンスモデル

第1週 リカレントシーケンスモデル(リカレントニューラルネットワーク)

1.1 なぜシーケンスモデルなのか？(なぜシーケンスモデルなのか？)

1.2 数学的表記法 (表記法)

1.3 リカレントニューラルネットワークモデル(Recurrent Neural Network Model)

1.4 バックプロパゲーション・スルー・タイム(Backpropagation through time)（バックプロパゲーション・スルー・タイム

1.5 リカレントニューラルネットワークの種類（Different types of RNNs）

1.6 言語モデルとシーケンス生成 (LPMG)

1.7 新規配列のサンプリング

1.8 RNN（リカレントニューラルネットワーク）によるバニシンググラデーション

1.9 ゲート付きリカレントユニット(GRU)

1.10 長短期記憶（LSTM（long short term memory））ユニット

1.11 双方向リカレントニューラルネットワーク(Bidirectional RNN)

1.12 ディープリカレントニューラルネットワーク(Deep RNN)

第2週 自然言語処理と単語埋め込み(NLPE)

2.1 単語の表現（Word Representation）

2.2 単語の埋め込みを利用する（Using Word Embeddings）

2.3 単語の埋め込みの特性

2.4 埋め込み行列（エンベッディングマトリックス）

2.5 学習型ワードエンベッディング(LWE)

2.6 Word2Vec

2.7 負のサンプリング（ネガサンプリング）

2.8 GloVeワードベクター（GloVe Word Vectors）

2.9 センチメント分類（Sentiment Classification）

2.10 Word Embedding Debiasing (デビアスワードエンベッディング)

第3週 シーケンスモデル & 注意のメカニズム

3.1 基本モデル

3.2 最も可能性の高い文章を選ぶ（Picking the most likely sentence）

3.3 クラスタサーチ（ビームサーチ）

3.4 ビームサーチのリファインメント（Refinements to Beam Search）

3.5 ビームサーチの誤差解析（ビームサーチの誤差解析）

3.6 Bleu Score（オプション）

3.7 Attention Model Intuition (アテンションモデル直感)

3.8 アテンションモデル（注意モデル）

3.9 音声認識 (音声認識)

3.10 トリガーワード検出（Trigger Word Detection）

3.11 結論と謝辞（Conclusion and thank you）

人工知能マスターインタビュー

エンダ・ウーとジェフリー・ヒントンとのインタビュー

イアン・グッドフェローへのインタビュー

ルスラン・サラフチディノフ インタビュー

エンダ・ウー、ヨシュア・ベンジオにインタビュー

林遠青へのインタビュー

ENDA WU インタビュー PIETER ABBEEL

エンダ・ウー インタビュー アンドレイ・カルパシー氏

アタッチメント

ディープラーニング表記ガイド（オリジナルコースの翻訳版）

コース紹介と謝辞