亚洲粉嫩高潮的18P,免费看久久久性性,久久久人人爽人人爽av,国内2020揄拍人妻在线视频

當(dāng)前位置:首頁 > CN2資訊 > 正文內(nèi)容

Mac安裝Hadoop完整指南:從環(huán)境配置到避坑的詳細(xì)步驟

3天前CN2資訊

1.1 準(zhǔn)備環(huán)境:檢查Java版本與SSH配置

打開終端輸入java -version時,看到輸出顯示Java 8或Java 11才算符合Hadoop的運行要求。如果系統(tǒng)提示未安裝Java,可以通過官網(wǎng)下載AdoptOpenJDK,選擇LTS版本進行安裝。安裝完成后記得重啟終端讓配置生效。

接著在終端輸入ssh localhost測試SSH連接,首次連接可能需要輸入密碼。要實現(xiàn)無密碼登錄,運行ssh-keygen -t rsa生成密鑰對,把公鑰追加到授權(quán)文件:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys。此時再執(zhí)行ssh localhost應(yīng)該能直接建立連接,避免后續(xù)Hadoop啟動時出現(xiàn)權(quán)限障礙。

1.2 下載并解壓Hadoop安裝包

訪問Apache Hadoop官網(wǎng)找到穩(wěn)定版二進制包(比如3.3.6版本),使用wget命令直接下載到指定目錄。解壓時推薦用tar -xzvf hadoop-3.3.6.tar.gz命令釋放文件,將解壓后的文件夾移動到/usr/local/hadoop路徑。如果遇到權(quán)限拒絕,可嘗試sudo chown -R $USER /usr/local/hadoop修改目錄歸屬,確保當(dāng)前用戶能自由操作文件。

1.3 配置環(huán)境變量(HADOOP_HOME與PATH)

在用戶根目錄的.bash_profile或.zshrc文件里添加兩行關(guān)鍵配置:export HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin。使用zsh的用戶要特別注意,Mac系統(tǒng)默認(rèn)shell從Catalina版本開始切換為zsh,修改完成后必須執(zhí)行source ~/.zshrc激活配置,否則運行hadoop命令時會提示"command not found"。

1.4 驗證安裝:運行hadoop version命令

在終端直接輸入hadoop version,如果屏幕上顯示類似"Hadoop 3.3.6"的版本信息,說明核心組件已正確安裝。遇到報錯可以檢查HADOOP_HOME路徑是否包含bin目錄,或者用echo $PATH查看環(huán)境變量是否包含Hadoop的執(zhí)行路徑。有時候需要完全關(guān)閉終端重新打開,讓系統(tǒng)徹底刷新環(huán)境變量配置。

2.1 配置Hadoop單節(jié)點模式:編輯core-site.xml與hdfs-site.xml

進入$HADOOP_HOME/etc/hadoop目錄,用文本編輯器打開core-site.xml。在configuration標(biāo)簽內(nèi)添加<property>塊,指定文件系統(tǒng)入口:<name>fs.defaultFS</name>配合<value>hdfs://localhost:9000</value>。這個配置決定了HDFS的訪問地址,端口號9000是默認(rèn)通信端口,如果被其他程序占用需要修改。

繼續(xù)編輯hdfs-site.xml文件,設(shè)置HDFS存儲路徑和副本數(shù)。添加<property>節(jié)點定義數(shù)據(jù)存儲目錄:<name>dfs.datanode.data.dir</name>對應(yīng)的<value>/usr/local/hadoop/hdfs/data</value>,同時設(shè)置dfs.replication為1(單節(jié)點模式)。記得提前創(chuàng)建對應(yīng)目錄并執(zhí)行chmod 755授權(quán),否則啟動時可能出現(xiàn)"Permission denied"錯誤。

2.2 首次啟動Hadoop時的權(quán)限與端口沖突處理

執(zhí)行start-dfs.sh啟動腳本時,如果遇到"Could not create directory"報錯,大概率是存儲目錄權(quán)限不足。嘗試用sudo chown -R $USER:$USER /usr/local/hadoop遞歸修改目錄所有權(quán)。當(dāng)控制臺提示端口已被占用(如8088或9000),運行lsof -i :9000查找占用進程,關(guān)閉相關(guān)服務(wù)或修改Hadoop配置文件中對應(yīng)的端口號。

部分用戶在初始化namenode時會出現(xiàn)格式化失敗,這時候需要先執(zhí)行hdfs namenode -format強制初始化。格式化成功后刪除hdfs目錄下的所有臨時文件,重新啟動集群。如果瀏覽器訪問http://localhost:9870時頁面無法加載,檢查防火墻設(shè)置是否阻止了Hadoop服務(wù)的端口通信。

2.3 排查日志錯誤:NameNode未啟動或DataNode連接失敗

查看日志是最直接的排錯方式,NameNode日志位于$HADOOP_HOME/logs/hadoop-*-namenode-*.log。當(dāng)發(fā)現(xiàn)"Address already in use"錯誤,可能是端口沖突或之前的Hadoop進程未完全退出。執(zhí)行jps命令查看Java進程,手動用kill -9終止殘留的NameNode或DataNode進程。

DataNode無法連接NameNode時,首先檢查core-site.xml中配置的IP和端口是否一致。在DataNode的日志中看到"Connection refused"提示,嘗試在NameNode節(jié)點執(zhí)行netstat -an | grep 9000確認(rèn)端口監(jiān)聽狀態(tài)。有時候需要重新格式化NameNode并清空所有DataNode的存儲目錄,保持集群元數(shù)據(jù)一致性。

2.4 環(huán)境變量失效的修復(fù)方法(zsh/bash配置沖突)

輸入hadoop命令突然失效,很可能是shell環(huán)境配置混亂。打開終端執(zhí)行echo $SHELL確認(rèn)當(dāng)前使用的shell類型。zsh用戶需要檢查~/.zshrc文件末尾是否有source ~/.bash_profile語句,或者在.zshrc中直接寫入HADOOP_HOME和PATH的配置項。

當(dāng)同時存在.bash_profile和.zshrc時,建議統(tǒng)一環(huán)境變量配置位置。執(zhí)行nano ~/.zshrc后添加export PATH="$HADOOP_HOME/bin:$PATH",保存后運行exec zsh重新加載配置。如果PATH變量顯示異常,可以用tr ':' '\n' <<< "$PATH"命令逐行查看路徑順序,確保Hadoop的bin目錄出現(xiàn)在系統(tǒng)默認(rèn)路徑之前。

    掃描二維碼推送至手機訪問。

    版權(quán)聲明:本文由皇冠云發(fā)布,如需轉(zhuǎn)載請注明出處。

    本文鏈接:http://m.xjnaicai.com/info/16352.html

    “Mac安裝Hadoop完整指南:從環(huán)境配置到避坑的詳細(xì)步驟” 的相關(guān)文章

    黑色星期五 2019:市場表現(xiàn)與購物策略揭秘

    黑色星期五的概述 黑色星期五,這個聽起來頗具神秘色彩的詞匯,實際上是指每年感恩節(jié)后的第一天,標(biāo)志著圣誕購物季的開始。在美國,黑色星期五吸引了成千上萬的消費者,商店為了吸引顧客紛紛推出大幅折扣和促銷活動。盡管它最初起源于美國,但隨著時間的推移,這一購物狂潮逐漸擴展到全球,其背后的商業(yè)魅力覆蓋了多個國家...

    深入了解俄羅斯時區(qū)對生活與經(jīng)濟的影響

    在這個廣袤的國家,談?wù)摱砹_斯時區(qū)就如同打開了一本極其豐富的地理和文化百科全書。俄羅斯作為世界上面積最大的國家,領(lǐng)土縱深可謂無比廣闊,從西歐一直延伸到東亞。這種東西跨度的特性,使得時區(qū)的劃分顯得尤為重要。俄羅斯實際上擁有11個時區(qū),每個時區(qū)不僅僅是時間的概念,更承載著各自地區(qū)獨特的人文、經(jīng)濟和社會習(xí)慣...

    CN2 GIA是什么?探索高效國際網(wǎng)絡(luò)連接的解決方案

    在當(dāng)今這個數(shù)字化時代,網(wǎng)絡(luò)連接的穩(wěn)定性與速度成為了企業(yè)和個人活動的重中之重。CN2 GIA,或稱為全球互聯(lián)網(wǎng)接入(Global Internet Access),是由中國電信提供的一項高級國際專線網(wǎng)絡(luò)服務(wù)。這項服務(wù)在CN2產(chǎn)品線中占據(jù)了頂級位置,專為那些需要快速且穩(wěn)定的國際網(wǎng)絡(luò)連接的用戶而設(shè)計。通過...

    AS4134是什么線路:深入解析中國電信的核心骨干網(wǎng)

    AS4134線路,大家也可以叫它163網(wǎng)絡(luò),這是中國電信的核心骨干網(wǎng)之一。聊到AS4134,首先讓人想到的就是它在國內(nèi)出海帶寬上占據(jù)的重要地位。能夠承載90%的電信業(yè)務(wù)負(fù)載,真的是一個不可小覷的網(wǎng)絡(luò)。這條線路不僅是中國電信的主要骨干網(wǎng),還成為了很多海外用戶訪問國內(nèi)互聯(lián)網(wǎng)資源的高性價比選擇。我在租用香...

    RackNerd IP測評:選擇可靠VPS的最佳指南

    在我接觸過的眾多VPS服務(wù)提供商中,RackNerd以其高性價比的特點脫穎而出。作為一家位于美國的公司,RackNerd專注于為用戶提供可靠的虛擬私人服務(wù)器(VPS)解決方案。在這里,我將和大家分享一些關(guān)于RackNerd的重要信息,尤其是它的IP測評,我認(rèn)為這對想要選擇VPS的用戶來說至關(guān)重要。...

    hncloud:助力企業(yè)數(shù)字化轉(zhuǎn)型的云計算服務(wù)提供商

    在數(shù)字化浪潮席卷全球的今天,hncloud(華納云)應(yīng)運而生,成為一家備受矚目的全球數(shù)據(jù)中心基礎(chǔ)服務(wù)提供商。隸屬于香港聯(lián)合通訊國際有限公司的hncloud,憑借其在行業(yè)中的深厚積淀和技術(shù)實力,逐漸發(fā)展成為一顆閃耀于云計算領(lǐng)域的明星。作為APNIC和ARIN的會員單位,hncloud自有ASN號,為用...