建站
咨詢
售后
建站咨詢
新聞中心
hadoop安裝在什么系統(tǒng)上？
windows下的hadoop的分布部署主要有兩種方式，采用cygwin模擬linux下命令的方式,部署安裝hadoop系統(tǒng)，修改系統(tǒng)的代碼文件DF.java使其可以在windows下運(yùn)行。
主要原因在于,在hadoop的代碼中對(duì)數(shù)據(jù)節(jié)點(diǎn)的磁盤使用情況的獲取采用了，linux下的df -k 命令進(jìn)行獲取，而在windows沒有此命令支持,因此在數(shù)據(jù)節(jié)點(diǎn)啟動(dòng)DataNode時(shí)會(huì)產(chǎn)生啟動(dòng)進(jìn)程異常錯(cuò)誤。
我已經(jīng)成功在windows下配置了hadoop,啟動(dòng)成功后,利用jps命令,居然發(fā)現(xiàn)什么都沒顯示？
根據(jù)樓主的描述hadoop應(yīng)該已經(jīng)啟來了。
jps是java的工具，能夠顯示系統(tǒng)當(dāng)前運(yùn)行的java程序及其進(jìn)程號(hào)。
運(yùn)行jps沒有顯示，應(yīng)該是沒有配置好系統(tǒng)的path、java_home和classpath。
執(zhí)行hadoop fs -ls等同于hadoop fs -ls .該命令查看的是hdfs的/user/hadoop目錄。而且默認(rèn)是沒有這個(gè)目錄的。需要自己創(chuàng)建。
IT運(yùn)維崗位要求有那些？
IT運(yùn)維崗位的要求通常包括：
1. 具備計(jì)算機(jī)相關(guān)專業(yè)的本科或以上學(xué)歷；
2. 熟悉常見操作系統(tǒng)（如Windows、Linux等）的安裝、配置和維護(hù)；
3. 熟悉常見網(wǎng)絡(luò)設(shè)備（如交換機(jī)、路由器等）的配置和維護(hù)；
4. 熟悉TCP/IP協(xié)議和網(wǎng)絡(luò)技術(shù)，能夠排查和解決網(wǎng)絡(luò)故障；
5. 熟悉常見服務(wù)器硬件和軟件的安裝、配置和維護(hù)；
6. 懂得使用常用的運(yùn)維工具和腳本語言，如Shell、Python等；
7. 具備良好的溝通能力和團(tuán)隊(duì)合作能力，能夠與其他部門和供應(yīng)商進(jìn)行有效的協(xié)調(diào)和合作；
8. 具備獨(dú)立問題解決能力和較強(qiáng)的學(xué)習(xí)能力，能夠快速學(xué)習(xí)和適應(yīng)新技術(shù)和工具；
9. 具備一定的項(xiàng)目管理和風(fēng)險(xiǎn)控制能力，能夠制定和執(zhí)行運(yùn)維計(jì)劃，確保系統(tǒng)的穩(wěn)定性和高可用性；
10. 具備較強(qiáng)的故障排除和問題解決能力，能夠高效地定位和修復(fù)各種技術(shù)問題；
11. 具備良好的文檔編寫和總結(jié)能力，能夠編寫規(guī)范和清晰的技術(shù)文檔和操作手冊(cè)。
當(dāng)然，具體的要求還會(huì)因不同公司和崗位的要求而有所不同，以上僅為一般性的IT運(yùn)維崗位要求。
IT運(yùn)維崗位要求包括以下幾個(gè)方面：
本科及以上學(xué)歷，計(jì)算機(jī)等相關(guān)專業(yè)。
2年以上Hadoop相關(guān)運(yùn)維經(jīng)驗(yàn)，了解Hadoop各組件的原理，并有實(shí)際部署維護(hù)經(jīng)驗(yàn)。
深入理解Linux系統(tǒng)，計(jì)算機(jī)網(wǎng)絡(luò)，運(yùn)維體系結(jié)構(gòu)，精于容量規(guī)劃、架構(gòu)設(shè)計(jì)、性能優(yōu)化。
熟悉一門以上腳本語言（shell/perl/python等），熟練掌握自動(dòng)化運(yùn)維技術(shù)。
熟悉docker操作、實(shí)施，能通過kuberneter、swarm技術(shù)管理docker集群，熟悉灰度發(fā)布。
熟悉hadoop、hive、hbase、yarn、spark等大數(shù)據(jù)生態(tài)圈之組件的原理及運(yùn)維方式。
熟悉數(shù)據(jù)庫基本原理，能對(duì)Mysql進(jìn)行性能優(yōu)化，監(jiān)控Mysql日常運(yùn)行情況，熟悉主備、主從、安全機(jī)制。
有敏銳的技術(shù)洞察力和較強(qiáng)的問題分析能力，故障排查能力，有很好的技術(shù)敏感度和風(fēng)險(xiǎn)識(shí)別能力。
到此，以上就是小編對(duì)于hadoop可以在 windows的問題就介紹到這了，希望這3點(diǎn)解答對(duì)大家有用。
當(dāng)前題目：hadoop安裝在什么系統(tǒng)上？（hadoop在windows的應(yīng)用）
標(biāo)題網(wǎng)址：http://m.5511xx.com/article/dhccssd.html
