大數(shù)據(jù)領(lǐng)域入門引導(dǎo)篇

Part.01

寫在開頭
大家好，我是Akin，考慮寫下這篇文章的時候我已在互聯(lián)網(wǎng)大數(shù)據(jù)領(lǐng)域工作了幾年，主要是給有意向從事大數(shù)據(jù)領(lǐng)域的朋友們一個入門引導(dǎo)，從而讓你們了解大數(shù)據(jù)概貌入門，大數(shù)據(jù)領(lǐng)域下分為哪幾塊方向，大數(shù)據(jù)領(lǐng)域各崗位方向關(guān)注的技能和能力。


Part.02
大數(shù)據(jù)概貌
主要特征：海量數(shù)據(jù)，數(shù)據(jù)量極大
核心思想：分而治之，集群處理大任務(wù)拆分為小任務(wù)處理
技術(shù)棧：hadoop、hive、spark、flink、java、kafka、flume、數(shù)倉模型設(shè)計等等五花八門，框架多，每一個技術(shù)棧下都對應(yīng)有很多要掌握深入的
工作方向：大數(shù)據(jù)數(shù)據(jù)開發(fā)、大數(shù)據(jù)平臺開發(fā)、大數(shù)據(jù)數(shù)據(jù)產(chǎn)品、大數(shù)據(jù)數(shù)據(jù)架構(gòu)、大數(shù)據(jù)數(shù)據(jù)治理


Part.03
大數(shù)據(jù)領(lǐng)域細(xì)分方向
數(shù)據(jù)產(chǎn)品方向
這里的數(shù)據(jù)產(chǎn)品主要指的是大數(shù)據(jù)產(chǎn)品經(jīng)理崗位，一般需要會懂點(diǎn)數(shù)倉理論，還需要有大數(shù)據(jù)平臺產(chǎn)品思維。有了數(shù)倉理論就能幫助數(shù)倉開發(fā)梳理業(yè)務(wù)口徑轉(zhuǎn)化為數(shù)據(jù)口徑，有大數(shù)據(jù)平臺產(chǎn)品思維就能更好地推進(jìn)平臺的升級迭代來提升效率
數(shù)據(jù)開發(fā)方向
這里的數(shù)據(jù)開發(fā)主要指的是大數(shù)據(jù)開發(fā)工程師的一類，面向數(shù)據(jù)開發(fā)，一般分為離線和實(shí)時，對應(yīng)崗位主要是數(shù)據(jù)倉庫工程師（離線or實(shí)時方向），離線方向的日常主要是Hive，實(shí)時方向的日常主要是Flink，但不管哪個方向，作為數(shù)倉工程師，都要會數(shù)倉建設(shè)，數(shù)據(jù)治理，數(shù)據(jù)管理，數(shù)據(jù)架構(gòu) 等等，說白了這個方向就是圍繞著數(shù)據(jù)走，緊貼著業(yè)務(wù)，所以業(yè)務(wù)理解也要具備，當(dāng)出現(xiàn)數(shù)據(jù)質(zhì)量問題才能緊隨著了解數(shù)據(jù)場景
平臺開發(fā)方向
這里的平臺開發(fā)主要指的是大數(shù)據(jù)開發(fā)工程師的另一類，面向平臺開發(fā)，一般需要Java功底，常見是java后端工程師的進(jìn)階轉(zhuǎn)型吧，日常主要是開發(fā)大數(shù)據(jù)相關(guān)的平臺，與數(shù)倉工程師配合一同建設(shè)落地大數(shù)據(jù)產(chǎn)品，開發(fā)提供高效的數(shù)據(jù)平臺，比如任務(wù)調(diào)度平臺，元數(shù)據(jù)管理平臺 等等大數(shù)據(jù)平臺的開發(fā)工作

Part.04
個人經(jīng)驗(yàn)分享
1.關(guān)于大數(shù)據(jù)領(lǐng)域各崗位哪個前景發(fā)展好的話，這個我不便答疑，估摸著也不會有人專門答疑這塊，我只能說，當(dāng)你學(xué)得好了了解得深了，你就會發(fā)現(xiàn)，這些大數(shù)據(jù)細(xì)分方向其實(shí)都會有關(guān)聯(lián)，不是說你從事了數(shù)據(jù)產(chǎn)品你就不需要懂?dāng)?shù)倉開發(fā)，也不是說你從事了數(shù)倉開發(fā)就不需要懂大數(shù)據(jù)平臺架構(gòu)，這些崗位雖說在大廠里分得很細(xì)，但實(shí)際上又會息息相關(guān)的，面試的時候大數(shù)據(jù)面試官也不會說只揪著你一個方向問。
2.大數(shù)據(jù)這個領(lǐng)域，建議是往越大的平臺努力靠，小公司數(shù)據(jù)量不大所以大數(shù)據(jù)崗不太重要甚至沒有，只有大廠會重視大數(shù)據(jù)帶來的價值決策，而且大廠的數(shù)據(jù)管理體系也有所規(guī)范。同時歡迎大家????關(guān)注我的個人微信公眾號《大數(shù)據(jù)階梯之路》，未來大數(shù)據(jù)道路我們一同前行，有何問題都可與我交流，閑時我都會幫助答疑的。
3.我計劃建立一個大數(shù)據(jù)技術(shù)交流微信群，主要面向高校學(xué)生和應(yīng)屆生，也面向其他行業(yè)轉(zhuǎn)行or其他編程方向的朋友們，以及正在從事大數(shù)據(jù)的朋友們，只要有興趣學(xué)習(xí)了解大數(shù)據(jù)的朋友們都可入群，我會在群內(nèi)分享關(guān)于我的原創(chuàng)技術(shù)博文，同時也提供一個技術(shù)交流氛圍互相討論，共享大數(shù)據(jù)學(xué)習(xí)資料，給大家簡單答疑大數(shù)據(jù)職場方向的規(guī)劃。
4.一切的入口都可通過《大數(shù)據(jù)階梯之路》微信公眾號進(jìn)入，所以務(wù)必先關(guān)注公眾號再按指引獲取所需。




作者：大數(shù)據(jù)小江 Akin


歡迎關(guān)注微信公眾號 ：大數(shù)據(jù)階梯之路