LinuxでHadoopを素早くインストールする方法

我々は、すべてのビッグデータに興味を持っているが、我々はどのようにHadoopを学ぶために実装するために、場所に練習する方法を行きたくない、我々はどんな技術を学び、考える必要はありません、アップは確かにインストールすることですし、練習に行く、私は言わなければならない、今あなたがインストールする方法Unbutuシステムからその多くのアウト、Hadoopをインストールするには、オンライン検索を移動します。それらの多くはまた、私は言わなければならない、今、あなたはそれらの多くはインストールする方法Unbutuシステムから出てくることを、Hadoopをインストールする方法をオンラインで検索し、それらの多くは非常に明確ではない、粉も学びたいので、私はLinuxでHadoopをインストールする方法についてのチュートリアルを準備、あなたが学ぶことができます。チュートリアルは、Hadoopをインストールする方法の良い例です。

準備中

1。我々は最初のアリクラウドまたはHuaweiクラウドに行くことができますサーバーを借りるために、すべての後に、サーバのプライマリバージョン、およびそう高価ではない、ファンや前に借りたものを使用して、我々はLinux8のバージョンをインストールすることを選択し、それがローカルであれば、CentOS8のイメージをダウンロードする必要があり、その上に仮想マシンを通じてVMにインストールすると、インストールが完了すると、Hadoopをインストールして開始できます。

まずは、Hadoopで何ができるのか、よく誤解されていることについてお話しします。

Hadoopは主に分散コンピューティングとストレージのためのフレームワークです。したがってHadoopワークフローは、分散ストレージシステムHDFS（Hadoop Distributed File System）と分散コンピューティングフレームワークMapreduceに大きく依存しています。

Hadoopはデータ分析には向いているが、BIには絶対に向かない。伝統的にHadoopは半構造化・非構造化データに特化したデータキャリアであり、BIとはレベルが違うのである。

また、Hadoopはデータ処理に相当するETLだと言う人もいますが、Hadoopは絶対的な意味でのETLではありません。

Hadoopのインストールチュートリアル

1. SSHのインストール

yum install openssh-server 

OpenSSH はオープンソースの Secure Shell の実装で、OpenSSH Server をインストールすると /etc/init.d ディレクトリに sshd というサービスが追加され、ここに生成した鍵を置いて、後で認証に使用することになるはずです。

2. rsyncのインストール

yum -y install rsync 

3. SSH鍵の生成後、以降の認証を継続する

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 

4. 出来上がったキーをライセンスファイルに入れる

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

Hadoopのインストール

Hadoopをインストールする前に、JDKのインストールと環境変数の設定が必要ですが、以下はJDKが既にインストールされているような状態です。

1. Hadoopの開梱

まず、Hadoopをサーバーに入れるところから始めます。

次に、unzip tar zxvf hadoop-3.3.1.tar.gz を実行します。

2. bashrcファイルを変更する

vim ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-DJava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

ファイルにコピーして保存して終了

3. ファイルを検証する

ソース ~/.bashrc

4. 設定ファイルetc/hadoop/core-site.xmlを修正する。

 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
 <! -- Cache storage path -->
 <property>
        <name>hadoop.tmp.dir</name>
        <value>/app/hadooptemp</value>
    </property>

5. etc/hadoop/hdfs-site.xml を変更する。

 <! -- defaults to 3, configured 1 since it's a standalone -->
 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
 <! -- Configure http access address -->
 <property>
   <name>dfs.http.address</name>
   <value>0.0.0.0:9870</value>
 </property>

6. etc/hadoop/hadoop-env.sh を修正する。

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64 

7. etc/hadoop/yarn-env.sh ファイルを修正する。

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64 

8. sbin/stop-dfs.shファイルの先頭に以下を追加する。

HDFS_NAMENODE_USER=root

HDFS_DATANODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

9-1. start-yarn.sh ファイルを修正する

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

9-2. stop-yarn.sh ファイルを修正する

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

上記のコマンドは、主にHadoopを起動した際に、認証に失敗した場合のプロンプトを表示するために使用されます。

10. フォーマットして、hadoopのbinフォルダに移動し、以下のコマンドを実行します。

. /hdfs namenode -format

11. sbin フォルダに移動し、hadoop を起動します。

. /start-dfs.sh 

すべて起動することもできます。/start-all.sh

そして、ポート8088に直接アクセスします。

12. ファイアウォールのオープンポート、クラウドサーバーを使用する場合は、セキュリティグループのアウトバウンドにポート9870を追加してください。

//add port 9870 to the firewall firewall-cmd --zone=public --add-port=9870/tcp --permanent //restart the firewall firewall-cmd --reload 

13. jpsを入力 4または5であれば、コンフィギュレーションは成功です。

ウェブからhadoopにアクセスする http://IP地址:9870

これが表示されれば、インストールは成功です。なお、Hadoop 3.xではHadoop Web側のポートは変わっていませんが、HDFS側のポートが50070から9870に変わっているので、注意が必要です。