大數(shù)據(jù)領(lǐng)域入門引導(dǎo)篇

Part.01

寫(xiě)在開(kāi)頭
大家好，我是Akin，考慮寫(xiě)下這篇文章的時(shí)候我已在互聯(lián)網(wǎng)大數(shù)據(jù)領(lǐng)域工作了幾年，主要是給有意向從事大數(shù)據(jù)領(lǐng)域的朋友們一個(gè)入門引導(dǎo)，從而讓你們了解大數(shù)據(jù)概貌入門，大數(shù)據(jù)領(lǐng)域下分為哪幾塊方向，大數(shù)據(jù)領(lǐng)域各崗位方向關(guān)注的技能和能力。


Part.02
大數(shù)據(jù)概貌
主要特征：海量數(shù)據(jù)，數(shù)據(jù)量極大
核心思想：分而治之，集群處理大任務(wù)拆分為小任務(wù)處理
技術(shù)棧：hadoop、hive、spark、flink、java、kafka、flume、數(shù)倉(cāng)模型設(shè)計(jì)等等五花八門，框架多，每一個(gè)技術(shù)棧下都對(duì)應(yīng)有很多要掌握深入的
工作方向：大數(shù)據(jù)數(shù)據(jù)開(kāi)發(fā)、大數(shù)據(jù)平臺(tái)開(kāi)發(fā)、大數(shù)據(jù)數(shù)據(jù)產(chǎn)品、大數(shù)據(jù)數(shù)據(jù)架構(gòu)、大數(shù)據(jù)數(shù)據(jù)治理


Part.03
大數(shù)據(jù)領(lǐng)域細(xì)分方向
數(shù)據(jù)產(chǎn)品方向
這里的數(shù)據(jù)產(chǎn)品主要指的是大數(shù)據(jù)產(chǎn)品經(jīng)理崗位，一般需要會(huì)懂點(diǎn)數(shù)倉(cāng)理論，還需要有大數(shù)據(jù)平臺(tái)產(chǎn)品思維。有了數(shù)倉(cāng)理論就能幫助數(shù)倉(cāng)開(kāi)發(fā)梳理業(yè)務(wù)口徑轉(zhuǎn)化為數(shù)據(jù)口徑，有大數(shù)據(jù)平臺(tái)產(chǎn)品思維就能更好地推進(jìn)平臺(tái)的升級(jí)迭代來(lái)提升效率
數(shù)據(jù)開(kāi)發(fā)方向
這里的數(shù)據(jù)開(kāi)發(fā)主要指的是大數(shù)據(jù)開(kāi)發(fā)工程師的一類，面向數(shù)據(jù)開(kāi)發(fā)，一般分為離線和實(shí)時(shí)，對(duì)應(yīng)崗位主要是數(shù)據(jù)倉(cāng)庫(kù)工程師（離線or實(shí)時(shí)方向），離線方向的日常主要是Hive，實(shí)時(shí)方向的日常主要是Flink，但不管哪個(gè)方向，作為數(shù)倉(cāng)工程師，都要會(huì)數(shù)倉(cāng)建設(shè)，數(shù)據(jù)治理，數(shù)據(jù)管理，數(shù)據(jù)架構(gòu) 等等，說(shuō)白了這個(gè)方向就是圍繞著數(shù)據(jù)走，緊貼著業(yè)務(wù)，所以業(yè)務(wù)理解也要具備，當(dāng)出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題才能緊隨著了解數(shù)據(jù)場(chǎng)景
平臺(tái)開(kāi)發(fā)方向
這里的平臺(tái)開(kāi)發(fā)主要指的是大數(shù)據(jù)開(kāi)發(fā)工程師的另一類，面向平臺(tái)開(kāi)發(fā)，一般需要Java功底，常見(jiàn)是java后端工程師的進(jìn)階轉(zhuǎn)型吧，日常主要是開(kāi)發(fā)大數(shù)據(jù)相關(guān)的平臺(tái)，與數(shù)倉(cāng)工程師配合一同建設(shè)落地大數(shù)據(jù)產(chǎn)品，開(kāi)發(fā)提供高效的數(shù)據(jù)平臺(tái)，比如任務(wù)調(diào)度平臺(tái)，元數(shù)據(jù)管理平臺(tái) 等等大數(shù)據(jù)平臺(tái)的開(kāi)發(fā)工作

Part.04
個(gè)人經(jīng)驗(yàn)分享
1.關(guān)于大數(shù)據(jù)領(lǐng)域各崗位哪個(gè)前景發(fā)展好的話，這個(gè)我不便答疑，估摸著也不會(huì)有人專門答疑這塊，我只能說(shuō)，當(dāng)你學(xué)得好了了解得深了，你就會(huì)發(fā)現(xiàn)，這些大數(shù)據(jù)細(xì)分方向其實(shí)都會(huì)有關(guān)聯(lián)，不是說(shuō)你從事了數(shù)據(jù)產(chǎn)品你就不需要懂?dāng)?shù)倉(cāng)開(kāi)發(fā)，也不是說(shuō)你從事了數(shù)倉(cāng)開(kāi)發(fā)就不需要懂大數(shù)據(jù)平臺(tái)架構(gòu)，這些崗位雖說(shuō)在大廠里分得很細(xì)，但實(shí)際上又會(huì)息息相關(guān)的，面試的時(shí)候大數(shù)據(jù)面試官也不會(huì)說(shuō)只揪著你一個(gè)方向問(wèn)。
2.大數(shù)據(jù)這個(gè)領(lǐng)域，建議是往越大的平臺(tái)努力靠，小公司數(shù)據(jù)量不大所以大數(shù)據(jù)崗不太重要甚至沒(méi)有，只有大廠會(huì)重視大數(shù)據(jù)帶來(lái)的價(jià)值決策，而且大廠的數(shù)據(jù)管理體系也有所規(guī)范。同時(shí)歡迎大家????關(guān)注我的個(gè)人微信公眾號(hào)《大數(shù)據(jù)階梯之路》，未來(lái)大數(shù)據(jù)道路我們一同前行，有何問(wèn)題都可與我交流，閑時(shí)我都會(huì)幫助答疑的。
3.我計(jì)劃建立一個(gè)大數(shù)據(jù)技術(shù)交流微信群，主要面向高校學(xué)生和應(yīng)屆生，也面向其他行業(yè)轉(zhuǎn)行or其他編程方向的朋友們，以及正在從事大數(shù)據(jù)的朋友們，只要有興趣學(xué)習(xí)了解大數(shù)據(jù)的朋友們都可入群，我會(huì)在群內(nèi)分享關(guān)于我的原創(chuàng)技術(shù)博文，同時(shí)也提供一個(gè)技術(shù)交流氛圍互相討論，共享大數(shù)據(jù)學(xué)習(xí)資料，給大家簡(jiǎn)單答疑大數(shù)據(jù)職場(chǎng)方向的規(guī)劃。
4.一切的入口都可通過(guò)《大數(shù)據(jù)階梯之路》微信公眾號(hào)進(jìn)入，所以務(wù)必先關(guān)注公眾號(hào)再按指引獲取所需。




作者：大數(shù)據(jù)小江 Akin


歡迎關(guān)注微信公眾號(hào) ：大數(shù)據(jù)階梯之路