Hadoop不適合哪些場景 哪些場景適合?

Hadoop設計的目的主要包括下面幾個方面,也就是所謂的適用場景:

Hadoop不適合哪些場景 哪些場景適合?

1:超大文件

可以是幾百M,幾百T這個級別的文件。

2:流式數據訪問

Hadoop適用于一次寫入,多次讀取的場景,也就是數據復制進去之后,長時間在這些數據上進行分析。

3:商業硬件

也就是說大街上到處都能買到的那種硬件,這樣的硬件故障率較高,所以要有很好的容錯機制。

接下來說說不適用的場景:

1: 低延遲數據訪問

Hadoop設計的目的是大吞吐量,所以并沒有針對低延遲數據訪問做一些優化,如果要求低延遲, 可以看看Hbase。

2: 大量的小文件

由于NameNode把文件的MetaData存儲在內存中,所以大量的小文件會產生大量的MetaData。這樣的話百萬級別的文件數目還是可行的,再多的話就有問題了。

3: 多用戶寫入,任意修改

Hadoop現在還不支持多人寫入,任意修改的功能。也就是說每次寫入都會添加在文件末尾。


本文作者:佚名

來源:51CTO

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/394718.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/394718.shtml
英文地址,請注明出處:http://en.pswp.cn/news/394718.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

微服務 邊界服務_遵循這些實用原則以獲取精心設計的微服務邊界

微服務 邊界服務by Jake Lumetta杰克盧米塔(Jake Lumetta) 遵循這些實用原則以獲取精心設計的微服務邊界 (Follow these practical principles to get well-designed microservices boundaries) 如何避免使微服務太小和緊密耦合 (How to avoid making your microservices too …

ShareEntryActivity java.lang.ClassNotFoundException | Android類找不到問題

錯誤堆棧: Process: com.mci.smagazine, PID: 23265java.lang.RuntimeException: Unable to instantiate activity ComponentInfo{com.mci.smagazine/com.mci.smagazine.apshare.ShareEntryActivity}: java.lang.ClassNotFoundException: com.mci.smagazine.apshare…

阿里Android p6準備,項目經歷準備篇——如何準備阿里巴巴P6/P7前端面試

項目經歷準備篇——如何準備阿里巴巴P6/P7前端面試在上次的校招文章之后,有很多同學問有沒有社招相關的東西可以寫一篇,現在它來了。比起校招,社招更加看重項目經歷項目經歷反應的思考。本文針對的是想進入阿里的P6/P7同學,著重講…

for in for of區別_Python 第4課:for…in循環黃金搭檔之range()函數

樂學趣學Py● 04:for…in循環黃金搭檔之range()函數●Python趣味小百科Python中的繪圖模塊為什么叫Turtle海龜,而不是cat ,dog,bird呢?原來Python引用了麻省理工大學教授開發的logo海龜制圖語言,能通過繪圖直觀地教大家學習編程。實踐是最好的…

《游戲設計師修煉之道:數據驅動的游戲設計》一3.8小結

3.8小結 在玩游戲期間使用的數學知識通常相當簡單,盡管代碼中使用的數學知識可能非常復雜。玩家不希望由于在玩游戲期間不得不處理許多數字而分心,因為他們的大腦必須從控制角色的動作轉換到記住數字的含義。許多游戲回避了數字,而是通過像計…

ubuntu下安裝配置nfs

sudo apt-get install nfs-kernel-server sudo /nfs_root vim /etc/exports 在這個文件末尾添加 /nfs_root *(rw,sync,no_root_squash) 保存退出 重啟nfs服務 sudo /etc/init.d/rpcbind restart sudo /etc/init.d/nfs-kernel-server restart 測試 sudo mount 192.168.2.1:/nf…

使命愿景價值觀_為什么在制作產品時應該專注于愿景,價值,風險和先例

使命愿景價值觀by Steve史蒂夫(Steve) 為什么在制作產品時應該專注于愿景,價值,風險和先例 (Why you should focus on vision, value, risk, and precedent when making your product) 幾周前,產品開發人員John Cutler發表了一篇出色的文章&…

安卓前端布局Android,Android開發的幾種常見布局

目前正在從事iOS開發,對于安卓就是大學的時候自學了點,做過幾個小的項目,軟件外包大賽、計算機設計大賽、移動應用大賽都拿過獎項,呵呵。。。現在回想起來以前大學做的安卓比賽是多么的幼稚。 從現在開始我要從頭一步一步回顧安卓…

《Cocos2D權威指南》——3.9 本章小結

3.9 本章小結 本章對Cocos2D中的幾個核心類(CCNode、CCScene、CCLayer、CCSprite)進行了詳細介紹,并且通過節點層級圖讓大家了解到Cocos2D游戲的基本組成;然后介紹了Cocos2D中的單例。通過完善第2章的游戲實例,大家對…

永恒python圖片_python 數據詞云展示實例(3)- 背景圖設置

記錄wordcloud庫背景圖的設置及樣板 之前介紹了wordcloud的基本使用wordcloud的基本使用,本文記錄一下如何設置背景圖。 樣圖 背景圖tim.jpg 生成樣圖dream.png 樣板 from PIL import Image,ImageSequence image Image.open(tim.jpg)#打開背景圖 graph np.array(im…

創造的快樂

早上9點半到的圖書館,十點左右才進入狀態,上午和下午的一半時間都用來看AMD的GCN架構,看這種官方的文檔,和論文一樣,只看摘要和圖片,沒有死磕的精神,很難有收獲,結果就是&#xff0c…

python心得-基本概念2

一 編程語言介紹 1.1 機器語言:直接用計算機能理解的二進制指令編寫程序,直接控制硬件 1.2 匯編語言:用英文標簽取代二進制指令取編寫程序,本質也是在直接控制硬件 1.3 高級語言:用人能理解的表達方式去編寫程序&#…

初創團隊最重要的是什么_我從一家出色的初創公司工作中學到的最重要的教訓...

初創團隊最重要的是什么by Yan Cui崔燕 我從一家出色的初創公司工作中學到的最重要的教訓 (The most important lessons I learned from working at an amazing startup) I recently left Space Ape Games after a wonderful year. I learnt a lot, and worked on some challe…

企業如何杜絕云端數據泄密?

一直以來,云計算所倡導的就是:“我們可以做得更好,更便宜”。云計算帶給企業諸多利好,但實施云計算必然會加劇信息泄露風險。當企業打算把所有數據傳輸云端的時候,首先要考慮的就是數據保護的問題。 使用云服務&#x…

3dmark for android,Android版3DMark首測

聽到這個消息估計很多像我一樣看膩了3dmark11畫面的跑分黨及玩家們有些許小失望。 每年的12月影馳都會聯合NVIDIA舉辦盛大的嘉年華,今年在武漢舉辦的影馳2012電子競技嘉年華的合作伙伴名單上出現了futumark的身影。Futuremark中國區負責人影馳在當天的平板體驗區也提…

HTML 框架

iframe語法: <iframe src"URL"></iframe>該URL指向不同的網頁。 Iframe - 設置高度與寬度 height 和 width 屬性用來定義iframe標簽的高度與寬度。 屬性默認以像素為單位, 但是你可以指定其按比例顯示 (如&#xff1a;"80%"). 實例 <iframe…

卡方檢驗python程序_Python從零開始第二章(1)卡方檢驗(python)

如果我們想確定兩個獨立分類數據組的統計顯著性&#xff0c;會發生什么&#xff1f;這是卡方檢驗獨立性有用的地方。 Chi-Square檢驗 我們將在1994年查看人口普查數據。具體來說&#xff0c;我們對“性別和“每周工作時間”之間的關系感興趣。在我們的案例中&#xff0c;每個人…

當使用makemigrations時報錯No changes detected

在修改了models.py后&#xff0c;有些用戶會喜歡用python manage.py makemigrations生成對應的py代碼。 但有時執行python manage.py makemigrations命令&#xff08;也可能人比較皮&#xff0c;把migrations文件夾給刪了&#xff09;&#xff0c;會提示"No changes detec…

以下是ECMAScript 2016、2017和2018中所有新增功能的示例

by rajaraodv通過rajaraodv 以下是ECMAScript 2016、2017和2018中所有新增功能的示例 (Here are examples of everything new in ECMAScript 2016, 2017, and 2018) It’s hard to keep track of what’s new in JavaScript (ECMAScript). And it’s even harder to find usef…

win10下markdownpad2顯示問題

win10下解決html渲染問題 下載如下文件安裝后&#xff0c;親測可用 http://markdownpad.com/download/awesomium_v1.6.6_sdk_win.exe轉載于:https://www.cnblogs.com/liuqidongprogram/p/6049295.html