---

このブログ記事は、ハーバード大学博士課程のSamがまとめた機械学習の資料を再掲したもので、データ基礎、幾何学、確率論、統計学習、ディープラーニングなどを網羅しています。非常に有益な内容となっており、Blogはバックアップのために完全コピーしています。最新の内容については、Samが管理している以下のブログ記事を読むことをお勧めします。 https://sgfin.github.io/learning-resources/

---

MLリソース

これは、統計や機械学習を学ぶための私のお気に入りのリソースをキュレートするための、特別体系的でない試みです。これは包括的なものではありませんし、実際、私の好きな説明の大部分がまだありません。むしろ、私自身が何度も利用し、一箇所にまとめておきたいと思ったリソースを集めただけです。

• 公開講座・テキスト : かなりカバーする  広い  トピックを合理的に  包括的 そして  数週間から数カ月  を最初から最後までやり通すことです。

• チュートリアル、概要、（個別）レクチャーノート : を説明します。  具体的  トピックを極めて  はっきりと そして  数分から数時間  (を最初から最後までやり遂げることです。

• チートシート : のオーダーで、有用な情報への構造化されたアクセスを提供します。  秒 .

最後に、リンクを貼ったセクションを追加しました。  いくつかの雑多なウェブサイト  というのも、このサイトには素晴らしいコンテンツがたくさんあるからです。

上記のうち、2番目のセクションは最も未完成であると同時に、最も期待しているセクションです。オンラインで読んだ難しいトピックの最良の説明をこのセクションに記録し、どうしても忘れてしまったときに、後で簡単に再学習できるようにしたいと思っています。(完璧な世界では  クリス・オラー  および/または  ディスチルパブ  は全部記事にすればいいのですが、とりあえずあちこちからスクラップを集めなければなりません（笑)。

もしこのリストを偶然見つけて、私に追加すべき提案（特に中間部！）があれば、遠慮なく声をかけてください。でも、ここに載せるのは自分が読んだものだけにしているので、ここに載せるまでにしばらくは読みたいものリストに引っかかるかもしれません。 このウェブページのソースは  github上 ということで、そのまま持っていくこともできます。

公開講座・テキスト

このリストでは、オンラインで合法的に無料でアクセスできるものに限定しようと思っています。

財団

<テーブル ファイル 説明 MLの本のための数学 FaisalとOngによる機械学習のための数学の本です。  ギズブ . ボイド応用線形代数 Boyd と Vandenberghe による Applied LA の書籍がフリーで入手できます ( ウェブサイト ). Fast.ai 計算線形代数 Rachel Thomasは、計算線形代数のための素晴らしいオンライン教科書をまとめました。  YouTubeビデオ . MIT 6.041 イントロ・プロバビリティ John Tsitsiklisらは素晴らしいリソースをまとめています。彼らの古典的なMITの確率入門書は以下のサイトにアーカイブされています。  OCW  で、Edxでも提供されています( 第1部 ,  第2部 ). その  教科書  も素晴らしいです。 ジョー・ブリッツスタインの統計110 Joe Blitzsteinの学部生向け確率論コースは、6.041と内容の重複が高いです。6.041と同様に、このコースもまた、優れた  教科書 ,  ユーチューブ  ビデオ、および  エドックス  ちょっと遊び心もありますね。 数学のお坊さん ML、確率、情報理論に関する250のチュートリアルがあります。このプレイリストの素晴らしいところは、どのビデオもセクション2に入れることができることです。

統計情報

<テーブル ファイル 説明 Doug Sparksのスタッツ200 ダグ・スパークス2014年提供の素敵なコースノート  統計200 現代生物学のための現代統計学 このオンライン教科書はSusan HolmesとWolfgang Huberによるもので、現代のデータサイエンスの重要な部分をわかりやすく紹介しています。 また、この教科書はタイポグラフィーの一部でもあります。  アート で作成したものです。  ブックダウン . 統計的再考 の講義ビデオ  ユーチューブ  は、非常に評価の高いこの入門テキストに付属しています。 ヘルナンとロビンスの因果推論ブック 因果推論に関する教科書（疫学的視点）。

古典的な機械学習

<テーブル ファイル 説明 CS 229 講義ノート Andrew Ng氏の素晴らしい学年別ML入門の古典的なノートセットです。  CS229 . ESL  と  ISL  Hastie et alより 世界的な統計学の教授による古典的な機械学習の初級（ISL）と上級（ESL）のプレゼンテーション。ISLに関するMOOCのスライドとビデオが利用可能です。  こちら . CS 228 PGMノート スタンフォード大学の確率的グラフィカルモデルに関する素晴らしいコースノートです。PDFへのエクスポートがうまくいかなかったので、ウェブサイトへのリンクのみとしました。 Blei グラフィカルモデル基礎講座 2016年コースノート「Foundations of Graphical Models」（David Blei 2016ウェブサイトより

ディープラーニング

<テーブル ファイル 説明 ロジャー・グロッセのCSC231ノート ロジャー・グロッセのCSC231のノート  ウェブサイトはこちら . おそらく、どの大学のDL入門コースよりも優れていると思います。 Fast.Ai ジェレミー・ハワードとレイチェル・トーマスによる素晴らしいイントロレクチャー＋ノートブックのセットです。さらに、Hiromi Suenagaは、ビデオへのタイムスタンプリンクを持つ、全シリーズの素晴らしい自己完結型のノートを公開しています。  FastAI DL その1 ,  FastAI DL パート2 そして  FastAI ML . CS231N ビジョン用DL Andrej Karapthy氏の素晴らしいノートです。 CS224 NLPのためのディープラーニング 2017 スタンフォード大学の「Deep Learning for NLP」の素晴らしいコースノートです。  CS224 . Githubレポ  こちら CMU CS 11-747 CMUのGraham NeubigによるNLPのためのDeep Learningの素晴らしいコース。Youtubeの講義ビデオは本当に素晴らしいです。  こちら ディープラーニングの本 Ian Goodfellow、Yoshua Bengio、Aaron Courvilleによるこの教科書は、おそらくDLの事実上の標準的な教科書に最も近いと思われます。

強化学習

<テーブル ファイル 説明 サットンとバルトのRLブックを開く RL入門のデファクトスタンダード、教科書の出版はこれからですが バークレー ディープ強化学習 バークリー大学のRLクラスで、この分野の第一人者による講義がYoutubeにアップされています。

最適化

<テーブル ファイル 説明 ボイド凸最適化ブック BoydとVandenbergheによる有名な教科書で、自由に利用できます。  スライド より高度なフォローアップクラス  こちら NYUの最適化に基づくデータ解析  2016  と  2017 NYUの最適化ベースのデータ解析に関する素晴らしいコースノート  2016年ホームページ  と  2017年ウェブサイト .

チュートリアル、概要、（個別）レクチャーノート

このセクションはまだ駆け出しですが、このページを作ろうと思った本当の動機はここにあります。アーキタイプは基本的にdistill.pubにあるもので、良いブログや深層学習はここへのアクセスポイントになりそうですが、私はまだどれもざっと見るだけしかできていません。

基礎編

<テーブル ファイル 説明 CS 229 線形代数ノート スタンフォードのMachine Learningの線形代数のリファレンス  コース . DL用マトリックスCalc (pdfはこちら) ディープラーニングのための行列計算の概要（Parr/Howard著）。  アルキシブ .

確率・統計

<テーブル ファイル 説明 エルナン・セレクション・バイアス Hernanらによる、DAGによる選択バイアスのまとめ。

クラシック機械学習/データサイエンスNOS

<テーブル ファイル 説明 Roughgarden SVDノート SVDの素晴らしいプレゼンテーション  ティム・ラガーデン氏のCS168  スタンフォード大学 Roughgarden PCAノート PCAに関する素晴らしいプレゼンテーションが  ティム・ラガーデン氏のCS168  スタンフォード大学にて

ベイズ型機械学習

<テーブル ファイル 説明 Blei Exponential Familes/Variational Inference (ブレイ・エクスポーネンシャル・ファミレス/バリエーション・インファレンス) Bleiのコースノートの中で特に気に入っているのは  2011年確率論的モデリング講座  ) Blei Variational Inference レビュー David Blei氏による変分推論の概要は、以下のサイトでご覧いただけます。  アルキシブ

ディープラーニング

<テーブル ファイル 説明 反証例/ロバストML  第1部 ,  第2部 そして  第3部 は  マドライラボ  これらのトピックについて、彼らのブログで素晴らしいイントロダクションがまとめられています。これからも続けていってほしいですね...。 ディスティルアテンション 注意のメカニズムとその（初期の）変種を驚くほど明快に提示 ディスティルビルの解釈可能性 今まで見た中で最もクールなNN内部のビジュアライゼーション Distillフィーチャー可視化 実行中のテーマです。distill.pubだけなら、読んでみてください。 Chris Olah LSTMを理解する この記事では、LSTMとGRUに関する素晴らしい概要を紹介しています。

自然言語処理

<テーブル ファイル 説明 クリス・オラ、ワード・エンベッディングを語る Chris Olahがワールドエンベッディングなどを解説しています。 アノテートトランスフォーマー ハーバード大学のSasha Rushは、ワーキングノートとしても使える、"Attention is All You Need"の一行ごとの注釈を作成しました。教育的な素晴らしさです。年に2、3本の論文でこれをやったらすごいことになりそうです。 ゴールドバーグのNLPのためのNN入門書 Yoav GoldbergによるNLPのためのディープラーニングの概説  ダウンロードはこちら . NLPのためのNNに関するNeubigのチュートリアル Graham NeubigによるNLPのためのディープラーニングの概要。ダウンロード元  アルキシブ  コースやビデオと組み合わせてご利用ください。

強化学習

<テーブル ファイル 説明 カルパティのピクセルのポン アンドレイ・カルパシーには、教育学に対する真の才能があります。これは、基本的なアタリエージェントを理解するのに十分な、深層強化学習の自己完結した説明です。 WengのRLへの（長い）覗き見 強化学習の基礎について書かれたブログ記事です。 OpenAIのRL入門 OpenAIの新しいチュートリアルです。  ディープなRLで紡ぎ出す!

情報理論

<テーブル ファイル 説明 クリス・オラー視覚情報理論 クリス・オラ氏は、いつも通り、言葉と画像の両方で素晴らしいプレゼンテーションを行います。 カバーとトーマス Ch2 - エントロピーと情報 情報理論の古典的な教科書の中で、非常によく書かれた入門編。 Cover and Thomas Ch11 - Info Theory and Statistics (情報理論と統計) 情報理論の古典的な教科書から、情報理論と統計の章を紹介。 最大エントロピー原理による確率分布の導出 この投稿は、情報理論がどのように一般的な確率分布を理解・導出するために使われるかを理解するために書きました。 多変量ガウシアンの情報エントロピーの導出 もう一つ、情報理論＋統計学を理解しようと思って書いたブログ記事です。

最適化

<テーブル ファイル 説明 Ruder Gradient Descentの概要 (PDFはこちら) 勾配降下アルゴリズムの概要がよくわかります。 ボツワナ大規模最適化 Bottou、Curtis、Nocedalによる最適化に関するノート。ダウンロード元  アルキシブ .

チートシート

数学

<テーブル ファイル 説明 確率チートシート ウィリアム・チェンの「確率のチートシート」。  ギズブ CS 229 TA チートシート 2018 スタンフォードの機械学習2018年提供のTAチートシート  コース Githubレポ  こちら . CS理論チートシート CS理論チートシート、オリジナルアクセス  こちら

プログラミング

<テーブル ファイル 説明 R dplyr チートシート Hadleyの素晴らしいデータ処理パッケージ、dplyrのチートシートです。このチートシートは  RStudio R ggplot2 チートシート Hadley の素晴らしいプロットパッケージ、ggplot2 のチートシートです。の多くの中の一つです。  RStudio SQL Joinsチートシート 古典的なSQLの結合をトイコード付きでグラフィカルに説明します。 Python pandas チートシート Python のデータ処理パッケージである pandas 用のチートシートです。  こちら Python numpyのチートシート Pythonの数値計算パッケージnumpyのチートシートです。  データキャンプ Python keras チートシート PythonのNNパッケージであるkerasのチートシートです。  データキャンプ . Python scikit-learn チートシート python の ML パッケージ scikit-learn のチートシートです。  データキャンプ . Python seaborn チュートリアル python のプロットシステム、seaborn のチュートリアルです。matplotlib のための素晴らしいものはまだ見つかっていません。 グラフィックデザイン・チートシート かわいいグラフィックデザインのチートシートは、以下のサイトからダウンロードできます。  こちら

その他のウェブサイト

<テーブル ファイル 説明 クリス・オラのブログ ここに書かれていることは、基本的にすべて金言です。私は、彼がこれらの記事に費やしているであろう時間にとても感謝しています。 distill.pub Distillは、スーパーブログと研究ジャーナルの間の実に興味深いギャップをナビゲートしています。このような出版物がもっとあればと思います。 Pytorchチュートリアル pytorchの開発者が出しているチュートリアルは本当に素晴らしいです。なぜコミュニティが急速に成長しているのか、簡単に理解できます。 セバスチャン・ルーダーさんのブログ Sebastianは、私が上でリンクした勾配降下法に関する説明のように、本当に素晴らしい説明をたくさんしています。  NLPベンチマークの進捗を確認するサイト バークレーAIリサーチ(BAIR)ブログ BAIRは多くの素晴らしい研究を行っており、このブログでよりわかりやすい論文のプレゼンテーションを公開しています。 凸の道から外れる 機械学習と最適化に関する素敵なブログです。 Ferenc Huszárのブログ 厳密な数学的視点を持つ著者によるMLの探求/考察が多い、かなり人気のあるブログです。 Thibaut Lienartのブログ このサイトには、数学と最適化に関するメモがあり、面白そうです。