相關(guān)商品

  • 奧松 樹(shù)莓派原型擴(kuò)展板 Prototype Shield for Raspberry Pi 支持3B/3B+
  • 愛(ài)上Raspberry Pi 3代套件 樹(shù)莓派全家福入門(mén)套件 7寸液晶屏
  • AMP 安普超五類(lèi)網(wǎng)線(xiàn) 原裝 Raspberry Pi 樹(shù)莓派 pcDuino專(zhuān)用 網(wǎng)線(xiàn)
  • 2.4G USB 無(wú)線(xiàn)鍵盤(pán) 觸摸鼠標(biāo) Banana Pi Raspberry pi3 樹(shù)莓派B+ 樹(shù)莓派3代
  • Pcduino 超越樹(shù)莓派 Arduino ARM Cortex-A8 支持Android Linux
  • 雙頭HDMI連接線(xiàn) 高清外置HDMI線(xiàn) 轉(zhuǎn)接線(xiàn) 樹(shù)莓派 PcDuino接線(xiàn)
  •  樹(shù)莓派 二代 Raspberry Pi Mod B 512MB REV2.0 英標(biāo)綠版
  • iPazzPort 迷你無(wú)線(xiàn)鍵盤(pán)鼠標(biāo) 免驅(qū) 即插即用 樹(shù)莓派 pcduino專(zhuān)用
  • 通用AV數(shù)據(jù)線(xiàn) 樹(shù)莓派套件 AV視頻線(xiàn) 優(yōu)質(zhì)接頭 7寸液晶顯示器專(zhuān)用
  • 樹(shù)莓派系統(tǒng) SD卡 8G存儲(chǔ) 金士頓 數(shù)碼相機(jī) 手機(jī) 汽車(chē)導(dǎo)航
  • HDMI轉(zhuǎn)VGA 高清適配器 轉(zhuǎn)換器 轉(zhuǎn)接線(xiàn) Apple 樹(shù)莓派 PcDuino專(zhuān)用
  • PcDuino 樹(shù)莓派控制器 開(kāi)關(guān)電源適配器 5V 2A 充電器 適配器
  • Raspberry Pi 樹(shù)莓派 B+ 2代 pcDuino專(zhuān)用 散熱片 純銅 CPU散熱
  • RS原裝 樹(shù)莓派 二代 Raspberry Pi Mod B 512MB REV2.0
  • 樹(shù)莓派 Raspberry PI 美國(guó)進(jìn)口 外殼 黃色 散熱片 Sparkfun原裝
  • 樹(shù)莓派 Raspberry PI 美國(guó)進(jìn)口 外殼 黑色 散熱片 Sparkfun原裝
  • 愛(ài)上Raspberry Pi 入門(mén)套件 樹(shù)莓派3套件 愛(ài)上樹(shù)莓派套件 含中文教材 現(xiàn)貨
  • Raspberry Pi 3 樹(shù)莓派3攝像頭 Camera V2 element14 800萬(wàn)像素
  • 樹(shù)莓派外殼盒 Raspberry Pi 外殼 粉色 散熱片 Sparkfun原裝進(jìn)口
  • Raspberry Pi 樹(shù)莓派 TF轉(zhuǎn)SD卡套 轉(zhuǎn)接器 TF卡套 樹(shù)莓派專(zhuān)用
  • Raspberry Pi 樹(shù)莓派 B+ 2代 PcDuino專(zhuān)用 純鋁 CPU散熱片 3片
  • 樹(shù)莓派 Raspberry Pi 亞克力 透明 外殼 盒子 保護(hù)盒子 防靜電
  • Gertboard 樹(shù)莓派擴(kuò)展板 Raspberry Pi專(zhuān)用 Sparkfun 原裝進(jìn)口
  • 樹(shù)莓派 Raspberry Pi 美國(guó)進(jìn)口 外殼 藍(lán)色 散熱片  sparkfun原裝進(jìn)口
  • Raspberry Pi 樹(shù)莓派 用戶(hù)指南 愛(ài)上樹(shù)莓派 linux開(kāi)發(fā)板 入門(mén)教材
  • Prototype Shield for RasPi 樹(shù)莓派 Raspberry Pi 原型擴(kuò)展板
  • Raspberry Pi 快速入門(mén)指南 愛(ài)上樹(shù)莓派指南 中文教材
  • 12V 1A 開(kāi)關(guān)電源適配器 樹(shù)莓派 Raspberry Pi 液晶屏 適配器
  • Raspberry Pi Python 編程入門(mén) 樹(shù)莓派 快速入門(mén)指南 中文教材
  • PiFace 擴(kuò)展板 樹(shù)莓派 Raspberry Pi GPIO 擴(kuò)展板 Sparkfun 原裝
  • Micro USB 數(shù)據(jù)線(xiàn) Raspberry Pi 樹(shù)莓派 mini usb顯示器 連接線(xiàn)
  • 樹(shù)莓派B+外殼 Raspberry PI 黑色 包裝殼 Sparkfun原裝 美國(guó)進(jìn)口
  • 樹(shù)莓派應(yīng)用速成 Raspbmc媒體中心 愛(ài)上樹(shù)莓派 入門(mén)指南
  • 樹(shù)莓派應(yīng)用速成 網(wǎng)絡(luò)應(yīng)用秘方 愛(ài)上樹(shù)莓派 快速入門(mén)指南
  • 奧松機(jī)器人 樹(shù)莓派1B+ Raspberry Pi 1B+
  • Raspberry pi 2代 3代 樹(shù)莓派控制器B+ 支架 3D打印 機(jī)器人固定架
  • 愛(ài)上Raspberry Pi 第2版 樹(shù)莓派編程快速入門(mén)手冊(cè) 零基礎(chǔ) 入門(mén)學(xué)習(xí)必備中文教材
  • 7寸液晶屏 樹(shù)莓派顯示器 HDMI 高清全彩 車(chē)載顯示器 Raspberry Pi
  • Adafruit 原裝進(jìn)口 Pimoroni PiBrella Raspberry PI 樹(shù)莓派配套
  • Adafruit 原裝進(jìn)口 Pimoroni PiGlow Raspberry PI 樹(shù)莓派2代
  • Adafruit 國(guó)外原裝進(jìn)口 Raspberry Pi 2代 3代 樹(shù)莓派原型擴(kuò)展板 面包板
  • Adafruit 國(guó)外原裝進(jìn)口 Raspberry Pi 2代 3代 樹(shù)莓派原型擴(kuò)展板 面包板
  • Adafruit原裝進(jìn)口 PiTFT外殼 Raspberry Pi 樹(shù)莓派B專(zhuān)用一體外殼
  • adafruit 原裝進(jìn)口 Printrbot 1405型號(hào)3D打印機(jī) 3D打印塑形機(jī)
  • Adafruit 原裝進(jìn)口 MonkMakes Raspberry Pi2 樹(shù)莓派 電機(jī)驅(qū)動(dòng)板
  • 樹(shù)莓派愛(ài)好者學(xué)習(xí) 樹(shù)莓派媒體中心 網(wǎng)絡(luò)應(yīng)用秘方 樹(shù)莓派學(xué)習(xí)套餐搭配組合
  • 樹(shù)莓派外殼 Raspberry Pi 外殼 適用B+/2B/3B/3B+ 彩色 通用樂(lè)高外殼
  • 樹(shù)莓派3代B型套件 愛(ài)上樹(shù)莓派 Raspberry Pi 編程開(kāi)發(fā)套件
  • 樹(shù)莓派3控制器 HiFiBox DAC 樹(shù)莓派擴(kuò)展板 機(jī)器人聲卡 I2S DAC+
  • 樹(shù)莓派瑞士軍刀擴(kuò)展板 SAKS April v2.0版 Raspberry Pi 通用兼容
  • 樹(shù)莓派Pico 微控制器 Raspberry Pi Pico AI開(kāi)發(fā)板 RP2040雙核處理器
  • 當(dāng)前位置: 首頁(yè) > 應(yīng)用教程 > 【創(chuàng)客學(xué)堂】樹(shù)莓派搭建Hadoop集群

    【創(chuàng)客學(xué)堂】樹(shù)莓派搭建Hadoop集群

    編輯:anna2013-12-31 24055570@qq.com 瀏覽次數(shù):1682


    Hadoop是由Java實(shí)現(xiàn)的, 所以在樹(shù)莓派上運(yùn)行就和在其他x86平臺(tái)上運(yùn)行一樣簡(jiǎn)單. 首先, 我們需要安裝支持樹(shù)莓派的JVM. 可以選用OpenJDK或者Oracle的JDK 8. 我個(gè)人推薦JDK8, 其速度稍微快些, 但是OpenJDK安裝更容易些.

    1. 安裝Java

    安裝OpenJDK十分簡(jiǎn)單, 只要執(zhí)行以下命令

    pi@raspberrypi ~ $ sudo apt-get install openjdk-7-jdk
    pi@raspberrypi ~ $ java -version
    java version "1.7.0_07"
    OpenJDK Runtime Environment (IcedTea7 2.3.2) (7u7-2.3.2a-1+rpi1)
    OpenJDK Zero VM (build 22.0-b10, mixed mode)
    另外, 我們可以選擇安裝Oracle的JDK 8.
    可以從這獲得: https://jdk8.java.net/fxarmpreview/index.html

    pi@raspberrypi ~ $sudo tar zxvf jdk-8-ea-b36e-linux-arm-hflt-*.tar.gz -C /opt
    pi@raspberrypi ~ $sudo update-alternatives --install "/usr/bin/java"
    "java" "/opt/jdk1.8.0/bin/java" 1
    pi@raspberrypi ~ $ java -version
    java version "1.8.0-ea"
    Java(TM) SE Runtime Environment (build 1.8.0-ea-b36e)
    Java HotSpot(TM) Client VM (build 25.0-b04, mixed mode)

    如果你兩個(gè)都裝了, 用以下命令來(lái)切換即可:

    sudo update-alternatives --config java

    2. 新增一個(gè)hadoop系統(tǒng)用戶(hù)

    pi@raspberrypi ~ $ sudo addgroup hadoop
    pi@raspberrypi ~ $ sudo adduser --ingroup hadoop hduser
    pi@raspberrypi ~ $ sudo adduser hduser sudo

    3. 設(shè)置SSH

    pi@raspberrypi ~ $ su - hduserhduser@raspberrypi ~ $ ssh-keygen -t rsa -P ""
    這會(huì)生成一個(gè)匹配空密碼的RSA密鑰. 在與其他節(jié)點(diǎn)通訊時(shí)Hadoop將不再提示輸入密碼

    hduser@raspberrypi ~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    現(xiàn)在設(shè)置SSH允許用剛生成的密鑰訪(fǎng)問(wèn)

    hduser@raspberrypi ~$ ssh localhost
    現(xiàn)在我們就應(yīng)該可以不使用密碼也可以登錄了

    4. 安裝Hadoop

    我們可以從http://www.apache.org/dyn/closer.cgi/hadoop/core下載hadoop

    hduser@raspberrypi ~$ wget http://mirror.catn.com/pub/apach ... hadoop-1.1.2.tar.gz
    hduser@raspberrypi ~$sudo tar vxzf hadoop-1.1.2.tar.gz -C /usr/local
    hduser@raspberrypi ~$cd /usr/local
    hduser@raspberrypi /usr/local$ sudo mv hadoop-1.1.2 hadoop
    hduser@raspberrypi /usr/local$ sudo chown -R hduser:hadoop hadoop

    現(xiàn)在hadoop就安裝好了. 編譯home目錄下的.bashrc文件, 將以下內(nèi)容添加到其中

    export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-armhf
    export HADOOP_INSTALL=/usr/local/hadoop
    export PATH=$PATH:$HADOOP_INSTALL/bin

    如果你用的是oracle的JDK, 相應(yīng)的修改JAVA_HOME.

    重啟一下樹(shù)莓派來(lái)驗(yàn)證安裝是否成功:

    hduser@raspberrypi ~$ hadoop version
    Hadoop 1.1.2
    Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/
    branch-1.1 -r 1440782
    Compiled by hortonfo on Thu Jan 31 02:03:24 UTC 2013
    From source with checksum c720ddcf4b926991de7467d253a79b8b

    5. 配置Hadoop

    注意: 這里的配置是hadoop單節(jié)點(diǎn)模式的最低配.

    配置文件位于"/usr/local/hadoop/conf/", 我們需要修改core-site.xml, hdfs-site.xml, mapred-site.xml三個(gè)文件
    core-site.xml

    < configuration>

    hadoop.tmp.dir
    /fs/hadoop/tmp


    fs.default.name
    hdfs://localhost:54310

    < /configuration>
    mapred-site.xml

    < configuration>

    mapred.job.tracker
    localhost:54311

    < /configuration>
    hdfs-site.xml

    < configuration>

    dfs.replication
    1

    < /configuration>

    哦了, 即將完工, 還剩最后一步.

    hduser@raspberrypi ~$ sudo mkdir -p /fs/hadoop/tmp
    hduser@raspberrypi ~$ sudo chown hduser:hadoop /fs/hadoop/tmp
    hduser@raspberrypi ~$ sudo chmod 750 /fs/hadoop/tmp
    hduser@raspberrypi ~$hadoop namenode -format

    注意:
    如果選用的是JDK 8, 我們需要強(qiáng)制在JVM client模式下運(yùn)行DataNode, 因?yàn)镴DK 8還不支持server模式. 進(jìn)入/usr/local/hadoop/bin目錄中來(lái)編輯hadoop文件(請(qǐng)先備份). 使用nano進(jìn)行修改的步驟如下:nano hadoop, ctrl-w輸入“-server”進(jìn)行查找. 我們需要?jiǎng)h除“-server”這個(gè)參數(shù), 然后保存退出就行了.

    hadoop單節(jié)點(diǎn)系統(tǒng)就算是搭建完成了. 下面給一些有用的命令.

    1. jps // 輸出本地VM標(biāo)識(shí)符
    2. start-all.sh // 啟動(dòng)所有hadoop進(jìn)程
    3. stop-all.sh // 停止所有hadoop進(jìn)程
     

     

    相關(guān)文章:

    玩轉(zhuǎn)樹(shù)莓派之GPIO輸入與輸出:http://lifestyle201.com/article-233.html

    Raspberry Pi樹(shù)莓派顯示屏RCA接口:http://lifestyle201.com/article-211.html

    玩轉(zhuǎn)樹(shù)莓派 Raspberry Pi之視頻輸出配置:http://lifestyle201.com/article-208.html

    如何在windows系統(tǒng)下用串口通信完爆raspberry pi(樹(shù)莓派):http://lifestyle201.com/article-141.html

    活用樹(shù)莓派攝像頭 小米手機(jī)變身監(jiān)控利器:http://lifestyle201.com/article-129.html

    樹(shù)莓派又有新功能:搖變網(wǎng)絡(luò)打印機(jī)服務(wù)器:http://alsrobot.cn/article-241.html

    • 用戶(hù)評(píng)價(jià)

    暫時(shí)還沒(méi)有任何用戶(hù)評(píng)論

    總計(jì) 0 個(gè)記錄,共 1 頁(yè)。 第一頁(yè) 上一頁(yè) 下一頁(yè) 最末頁(yè)
    用戶(hù)名: 匿名用戶(hù)
    E-mail:
    評(píng)價(jià)等級(jí):
    評(píng)論內(nèi)容:
    驗(yàn)證碼:
    captcha

    Hi,大家好,我是小奧!

    歡迎來(lái)到奧松機(jī)器人的世界!

    需要咨詢(xún)服務(wù)請(qǐng)點(diǎn)小奧哦!

    • 銷(xiāo)售咨詢(xún): 銷(xiāo)售咨詢(xún)
    • 銷(xiāo)售咨詢(xún): 銷(xiāo)售咨詢(xún)
    • 技術(shù)支持: 技術(shù)支持
    • 咨詢(xún)電話(huà):
      0451-86628691
    Top