2017年,這兩個大數據崗位一定會火!

討論哪個大數據崗位會火之前,我們先來簡單的分析一下大數據領域的行情,這里重點說一下當前的情況。

2016年,互聯網行業遇到了資本寒冬,拋開大公司不說,一些中小型的公司不斷的縮減預算,因為很難融到錢。

但是從大數據這個角度出發去看的話,會發現即使其他類型的技術崗位行情不太好,但大數據領域一直還是不錯的,這一方面國內大數據政策推動的原因,另一方面是中小型的公司想拿到錢那必須有可談的技術故事,是的,那就是數據,或者說數據驅動。

所以,不管怎么說,17年,整體大數據領域的整體市場需求還是偏良性的(相對于其他技術類型來說)。

但是,受14年開始,大數據培訓市場批量水流線生產大數據工程師的影響,目前大數據需求市場會有些小混亂,所謂混亂是指技術水平參差不齊,包括大量打著大數據旗號的傳統數據庫工程師(這個很大一部分原因也是培訓機構造成的);企業需求招聘不清晰、對大數據崗位定位混亂。

這種亂象,從身邊獲取的簡歷,各種招聘現象,以及各種大數據討論社群的相關話題討論中可以看出。

并且這種亂象會持續比較長的一段時間,直到接受正統知識體系教育科班大數據工程師們充斥需求市場,降低大數據速成工種比例,以及企業公司對大數據有足夠的認知之后,才會逐漸消失,市場價格才會逐漸趨于良性(當然,那個時候大數據領域的技術福利就會下降了)。

還是以2017年說事,受大數據培訓市場進一步影響,以及受各大院校16年開始往大數據市場池子投放正規軍的影響,低門檻的大數據開發,以及相對基礎要求較低的數據分析類的大數據職位會有一些影響。

總體表現就是薪酬好像不會像以前那般好談了,然后就是缺口也在慢慢的變小,因為市場上絕大部分的號稱大數據工程師的都是處于這種階段的。

當然,能夠上升到諸如大數據架構師這種級別的人,依然是市場的香饃饃。

基于以上這些情況,在大數據領域中,還是有些崗位需求量會走高的。

是的,2017年一定會火的。

算法以及數據挖掘

當然,這里指的算法以及數據挖掘與傳統的可能還是有所區別的,不管是模式還是所使用的工具,或者各種工程化的形式,區別還是蠻大的,可能不變就是算法的原理了。

國內四五年的大數據發展落地,拋開大些的公司不說,就絕大部分一般公司來說,在基本數據處理,數據淺層價值的挖掘(最典型如報表價值的輸出)這塊已經有足夠的累積了。

那必然會往更高層級去演化,諸如挖掘數據中的個性化,做一些更深層次的預測,以及研究內容的深層價值,文本挖掘、NLP等,甚至是深度學習,人工智能AI的層級。

這些領域除了比較新的深度學習、AI等,其他其實在更早的時候都有人在研究,那在這里為何把他列到這里來說,那是因為個人數據挖掘與大數據關聯之后,很多東西都有其獨特性。

包括數據各個階段處理的模式,應用場景的不同,實際工業生產中算法設計的模式(最典型如大數據模式下,偏愛于統計分析即樣本數對結果影響較大的算法),甚至是算法最終工程化的模式,使用到的工具,都有很大差別。

最起碼,我個人認為,傳統的數據挖掘工程師與我這里所說的數據挖掘工程師還是兩類人。

但是,我們也知道,學校里是很難有大數據挖掘這種專業存在的,所以,這個崗位的人才來源有兩種:

懂算法以及數據挖掘相關東西,補充大數據相關知識結構體系,逐漸適應大數據模式下的挖掘模式。

在大數據領域摸爬滾打足夠多的年份,逐漸從實操中補充數據挖掘相關知識體系結構。

前一種人理論知識足夠豐富,但是在工程化的能力上以及實際應用場景的映射上稍弱,一不留神只能在大公司能找到角色定位,因為中小公司養不起不能實際工程化只會理論的純算法工程師。

后一種人實操能力會比較強,理論相對比較薄弱,但能根據實際業務場景設計算法模型,還能負責工程化業務化,這種人在中小型公司吃得開,在大公司估計只能淪為純算法研究工程師的工程化助手。

但不管哪種,在2017年,都會迎來需求新高,并且在百家齊放的時代,野路子出身的實操數據挖掘選手反倒會更受歡迎,畢竟純算法研究的人力的成本太高。

數據爬取工程師

或許有個更為熟知的簡稱“爬蟲工程師”。

其實一直以來,大部分人對于爬蟲工程師的認知,或許并不會歸于大數據領域中來,但我個人認為最起碼從16年開始,應該是要歸于大數據體系的。

我記得在《DT時代變革的反思》一文中(這篇是15年寫的,你看現在互聯網開放數據真的是被重視起來了,茫茫多以公開數據起家的公司),甚至在其他相關的文章中,一直強調大數據時代一個很重要的數據來源,那就是互聯網公開數據集。

在2016年,這個特征表現的尤為突出,各種公司紛紛把目光定準互聯網公開數據集,以期通過互聯網公開數據,挖掘其中的價值,意圖變現。

在他領域就不都說,在大數據垂直行業,比較典型的就是催生了很多以互聯網公開數據為基礎數據來源的各種數據分析咨詢顧問公司。

關注新媒體行業的,估計沒幾個人不關注的,畢竟沒幾個人不用微信的,諸如新榜(前幾天的2017新榜大會還是蠻轟動的),其監測的數據應該絕大部分都是通過檢測爬取的方式獲取的。

那么,在2017年,數據爬取只會和大數據領域聯結的更緊密。

作為大數據整個業務鏈路中的第一環,負責數據源的接入,有什么理由把人家單獨丟開呢?!

在2017年,“內容價值變現”口號“甚囂塵上”同時,作為抓住內容第一環,海量數據的獲取,數據爬取工程師的重要程度會逐漸被人認可。

當然,與此同時,上面說到的數據挖掘崗位,偏向于文本挖掘、畫像體系構建、NLP之類的,也會更受歡迎。

所以

是的,2017年,這兩個大數據的崗位一定會火起來,不信,我們到時候瞧瞧(反正不準你咬不了我 哈哈)。

其實還有更大的證據證明這兩個崗位一定會火起來。

我司,俺部門(大數據部門)招數據挖掘&爬蟲工程師,當然還有大數據開發工程師,你看連我司都招了,大數據市場這幾個職位能不火么。

好了,不扯,說正經的(好像說著上面都不是正經的樣兒):

1、需求數據挖掘工程師一枚,不要純搞算法理論的,需要有算法分布式工程化能力,需求文本挖掘項目經驗。

2、需求大數據開發工程師一枚,三年左右大數據技術背景,各種hadoop生態組件都玩過點,能夠進行spark應用開發,會點java后端東西,附帶點數據挖掘技能更佳。

3、需求爬蟲工程師一枚,java爬蟲、python爬蟲體系都無所謂,需求能夠規模化、自動化爬取數據,會點java后端技能更好,有微信、微博數據爬取更佳。

最后,講真,這兩個方向在大數據領域真的是有市場的,挖掘算法類的就說了,跟不少獵頭類的朋友也都聊過,一直是剛需,而爬蟲類的,應該會被逐漸重視的,因為數據獲取的模式逐漸在改變。


本文作者:blogchong

來源:51CTO

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/281066.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/281066.shtml
英文地址,請注明出處:http://en.pswp.cn/news/281066.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

PHP7 學習筆記(十一)使用phpstudy快速配置一個虛擬主機

說明:為了windows本地開發php方便,這里推薦使用PHP集成環境phpstudy。 目的:使用域名訪問項目(tinywan.test) 1、官網:http://www.phpstudy.net 2、虛擬主機的配置 3、站點域名管理 (1&#xff…

962-最大寬度坡

前言 Weekly Contest 116 的最大寬度坡&#xff1a; 給定一個整數數組 A&#xff0c;坡是元組 (i, j)&#xff0c;其中 i < j 且 A[i] < A[j]。這樣的坡的寬度為 j - i。 找出 A 中的坡的最大寬度&#xff0c;如果不存在&#xff0c;返回 0 。 示例1&#xff1a; 輸入&am…

C# 文件操作筆記

文件夾 1.存在&#xff1a; if(Directory.Exists(dirPath&#xff09; { } 2.獲取文件夾內文件信息&#xff1a; DirectoryInfo di new DirectoryInfo(dirPath); foreach (FileInfo fi in di.GetFiles()) { …

.NET跨平臺框架選擇之一 - Avalonia UI

本文閱讀目錄1. Avalonia UI簡介Avalonia UI文檔教程&#xff1a;https://docs.avaloniaui.net/docs/getting-started隨著跨平臺越來越流行&#xff0c;.NET支持跨平臺至今也有十幾年的光景了(Mono[1]開始)。但是目前基于.NET[2]的跨平臺&#xff0c;大多數還是在使用B/S架構的…

網絡串流_串流NBA籃球的最便宜方式(無需電纜)

網絡串流I love NBA basketball. Every year, I get really excited around the beginning of September because I know tip-off is approaching. This year, I also had to figure out how I’m going to watch the Bulls (lose almost every game) with a combination of st…

tornado 第一篇

一&#xff1a;異步和非阻塞IO 實時的web特性通常需要每個用戶一個大部分時間&#xff0c;在傳統的同步web服務器中&#xff0c;這意味著需要給每個用戶分配一個專用的線程&#xff0c;這樣的開銷是十分巨大 tornado使用啦一種單線程事件循環的方式&#xff0c;這意味著所有的應…

最近找工作面的面試題目匯總(一)

網址&#xff1a;http://www.cnblogs.com/renyiqiu/p/6504839.html 目錄 1.抽象類的介紹&#xff0c;抽象類里的虛函數和抽象函數 參考文檔抽象類特征抽象方法特征2.虛函數和抽象方法 參考文檔虛方法的特點虛方法(virtual)和抽象方法(abstract)的區別3.靜態類和靜態類成員 參考…

你認識的C# foreach語法糖,真的是全部嗎?

本文的知識點其實由golang知名的for循環陷阱發散而來&#xff0c; 對應到我的主力語言C#&#xff0c; 其實牽涉到閉包、foreach。為了便于理解&#xff0c;我重新組織了語言&#xff0c;以倒敘結構行文。先給大家提煉出一個C#題&#xff1a;觀察for、foreach閉包的差異左邊輸出…

C#對window 硬件類操作,ManagementObjectSearcher

原文轉載&#xff1a;http://blog.csdn.net/da_keng/article/details/50589145 純屬轉載&#xff0c;復制過來方便編程時尋找。感謝作者&#xff1a;I-Awakening復制前補充&#xff1a; 在剛學C#&#xff0c;用ManagementObjectSearcher 竟然不能解析到頭文件&#xff0c;需要手…

2018第51周日

從人們開始用電腦開始就面臨著文件版本控制的問題&#xff0c;從最原始的同一個文檔多個不同命名表示版本到使用本地的文件版本管理&#xff0c;到后面集中式版本管理如2000年的SVN&#xff0c;到再后來的分布式的版本控制系統&#xff0c;如2005年的Git。到現在用的最多的版本…

twitter批量取消關注_如何在Twitter上取消阻止“潛在敏感內容”

twitter批量取消關注Twitter推特Twitter blocks some tweets with a “potentially sensitive content” warning. You can disable this warning—even on an iPhone or iPad, where the option isn’t normally available. You can also disable sensitive content warnings …

mysql數值類型總結及常用函數

最近在學習下&#xff0c;總結一下mysql數值類型&#xff1b; mysql字符類型分&#xff1a; 1、整數類型&#xff1a; 字節 值范圍 INTERGER 1 -127-128 SMALLINT 2 MEDIUMINT…

Semantic-UI的React實現(二):CSS類構造模塊

更簡單的類名標簽 Semantic-UI使用了更簡單的類名聲明。用過Bootstrap的同學都會被其復雜的類名標簽折磨過&#xff0c;例如一個簡單的按鍵樣式&#xff0c;不論顏色或是大小&#xff0c;都需要btn-前綴聲明&#xff1a; <button type"button" class"btn btn…

skype自動回復_如何在Windows 10上阻止Skype自動啟動

skype自動回復Microsoft微軟The Skype app included with Windows 10 now has a notification area icon. That’s great, but what if you never use Skype and don’t want it starting every time you sign in? Here’s how to get rid of it. Windows 10隨附的Skype應用程…

Vue 組件實例屬性的使用

前言 因為最近面試了二、三十個人&#xff0c;發現大部分都還是只是停留在 Vue 文檔的教程。有部分連教程這部分的文檔也沒看全。所以稍微寫一點&#xff0c;讓新上手的 Vuer 多了解 Vue 文檔的其他更需要關注的點。 因為 Vue 文檔已經是個很成熟的文檔&#xff0c;并且實現的 …

C# 讀取硬盤信息類

在編寫工具檢查硬盤信息時&#xff0c;總結常用到的類&#xff1a; Win32_DiskDrive 這個用了檢查整個硬盤的信息&#xff0c;如果電腦只有一個硬盤&#xff0c;那只顯示一條信息。參考如下代碼&#xff0c;AddTextBox為自定義顯示函數。&#xff08;MSDN class 查詢&#xff1…

95后滬漂女孩深陷“狠”且“卷”職場,向上思維,永不過時!

hi&#xff0c;這里是桑小榆。最近和一個伙伴oncall了很久&#xff0c;對我的文章以及思想轉變產生了很大的共鳴&#xff0c;她向我分享了一些職場經歷還有成長經歷等&#xff0c;她的這些經歷也讓我引發了一定的思考。光光&#xff0c;最近剛升任了部門主管&#xff0c;對于當…

PHP:6種GET和POST請求發送方法

在i94web博客中&#xff0c;我試過了暢言和多說兩種社會化評論框&#xff0c;后來還是拋棄了暢言&#xff0c;不安全。 無論是暢言還是多說&#xff0c;我都需要從遠程抓取文章的評論數&#xff0c;然后存入本地數據庫。對于多說&#xff0c;請求的格式如下&#xff1a; // 獲取…

解決Ubuntu 16.04下提示boot分區空間不足的辦法

原文地址: http://www.jb51.net/article/106976.htm   https://www.linuxidc.com/Linux/2015-09/123227.htm 因為linux內核一直在更新&#xff0c;更新后&#xff0c;舊的內核就不在使用&#xff0c;但舊的內核文件還在boot里面&#xff0c;占據著空間&#xff0c;更新幾次過…

3d鏡頭 適配_您是否應該將鏡頭適配器與無反光鏡相機一起使用?

3d鏡頭 適配Canon佳能Mirrorless cameras aren’t the future, they’re the present. If you’re switching from an older DSLR, though, the obvious thing to do is just buy an adapter so you can keep using your old gear. 無反光鏡相機不是未來&#xff0c;而是現在。…