質問

あのうっとうしいスクロールバーを無効にしたり、隠したりするオプションや設定、キーボードショートカットが見つかりません。使い勝手が悪いし、邪魔なんです。

AtomのようにエディタのCSSを編集するだけではダメなんですね。

解決方法は？

ミニマップの削除

を追加してください。 settings.json ファイル

"editor.minimap.enabled": false

なお、他の回答で指摘されているように、現在では、この処理は簡略化されています。

View->Show Minimap

概要ルーラーを削除する

を追加してください。 settings.json ファイル

"editor.hideCursorInOverviewRuler": true

これにより、スクロールバーは維持されますが、以下の画像に見られるように、カーソルがエディタ内にあるときのみ表示されるようになります。

スクロールバーの完全削除（再起動が必要です）

スクロールバーを完全に削除したい場合は、以下を settings.json ファイル（エディタは "不明な構成設定" と表示しますが、これは無視してください。これは無視しても動作します）。

"editor.scrollbar.horizontal": "hidden",
"editor.scrollbar.vertical": "hidden"

これにより、下の画像のように、カーソルがエディタ内にある場合でも、スクロールバーが表示されなくなります。