大數(shù)據(jù)工程師的工作就是挖掘、分析、處理數(shù)據(jù),挖掘客戶、提供各種各樣的數(shù)據(jù)服務,優(yōu)化公司的數(shù)據(jù)產(chǎn)品體驗,等等,通過各種分析手段對公司的數(shù)據(jù)進行分析,對公司的各項數(shù)據(jù)進行分析,發(fā)現(xiàn)公司的一些問題和優(yōu)化計劃,制定公司網(wǎng)絡的網(wǎng)絡標準化。
 

　　1.大數(shù)據(jù)工程師工作內(nèi)容

　　1、負責公司大數(shù)據(jù)接入平臺,例如管理ZooKeeper、ETL組件等,Kafka、Redis、HDFS、MapReduce、Hive等,協(xié)助維護、開發(fā)能夠持續(xù)的工具和技術人員實現(xiàn)持續(xù)的自動化運維。2、熟悉機器學習算法的原理和設計原理,熟悉高可用、高性能、可擴展的資源配置,如文本挖掘、圖像識別、特征提取、情感分析、信用評估等。3、負責對業(yè)務系統(tǒng)的整體規(guī)劃、設計和維護;以及制定高級報表的實施,架設和性能優(yōu)化,以指導公司的整體解決方案。4、負責整個組織的技術架構(gòu),如Flume、Kafka、Spark、ElasticSearch,或iBFT等。5、在公司的工作職責:獨立完成對業(yè)務系統(tǒng)的整體架構(gòu)設計,如ElasticSearch,或iSearch、BASE,OSS企業(yè)級或DB2/Python,CI/Scala,Python,Erlang,Kotlinux等;熟悉消息中間件,如Activry,RabbitMQ/Kafka等;數(shù)據(jù)庫系統(tǒng),需要關注,開源非關系數(shù)據(jù)庫,如MongoDB,PostgreSQL,Python等;分析平臺的設計,需要重點關注，有Maven和Kafka,消息中間件,需要重點關注;高可用性,平臺模塊,如Activiti,FastDFS等;以上均會中涉及到的點;圖形庫,圖形庫,AI等;人工智能,AI,AI,ROML,ECMA,CrPP, WEB,AI等

 

　　2.大數(shù)據(jù)工程師掌握內(nèi)容

　　有了錦上添花的經(jīng)驗,如數(shù)據(jù)模型,流型計算,TimeIQ,Tiny 等;更多是一些高級開發(fā),建筑類開發(fā),可謂是高級開發(fā),持續(xù)集成,敏捷開發(fā),質(zhì)量管理,成本管理等。這些都是高級開發(fā),目前在國內(nèi)開發(fā)也都是在標配了解的。學習數(shù)據(jù)分析和人工智能之后,要具備使用數(shù)據(jù)可視化工具,如Pytorch,Spark,MLlib等;數(shù)據(jù)庫原理,SQL語言,SQL語言,還有很多深度學習的東西。如T-SQL,NoSQL,PostgreSQL,DB2等;分析,建模語言,Python實現(xiàn),Spark,Ruby,JavaSpark,Python,MlibMeans等。