職位描述
主要職責(zé):
1、負(fù)責(zé)設(shè)計(jì)、開發(fā)和維護(hù)公司的大數(shù)據(jù)架構(gòu),包括數(shù)據(jù)倉庫、大數(shù)據(jù)處理平臺(如Hadoop、Flink、Kafka、Kettle、DataX等)的部署與優(yōu)化。
2、使用SQL、Hive等工具對海量數(shù)據(jù)進(jìn)行ETL處理,確保數(shù)據(jù)質(zhì)量及準(zhǔn)確性,參與數(shù)據(jù)分析模型的構(gòu)建與優(yōu)化,支持業(yè)務(wù)團(tuán)隊(duì)的數(shù)據(jù)需求。
3、利用FineBI、ECharts等工具開發(fā)數(shù)據(jù)可視化產(chǎn)品,為用戶提供直觀的數(shù)據(jù)洞察和決策支持。
4、大數(shù)據(jù)處理流程進(jìn)行性能調(diào)優(yōu),解決系統(tǒng)瓶頸;監(jiān)控大數(shù)據(jù)平臺的運(yùn)行狀態(tài),及時(shí)排查并解決故障,確保系統(tǒng)穩(wěn)定運(yùn)行。
5、關(guān)注大數(shù)據(jù)領(lǐng)域的新技術(shù)、新工具,如流處理框架、機(jī)器學(xué)習(xí)平臺等,評估并推動其在公司內(nèi)部的應(yīng)用落地。
6、負(fù)責(zé)開發(fā)、運(yùn)維工作過程中相關(guān)文檔的編寫工作;
任職要求:
1、本科及以上學(xué)歷;
2、3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn);
3、掌握常見分布式解決方案及原理,具有扎實(shí)的編程基礎(chǔ),熟練掌握J(rèn)ava、Python、Scala至少一門開發(fā)語言編程;熟悉常用的數(shù)據(jù)結(jié)構(gòu)與算法;
4、掌握基于Hadoop生態(tài)圈開源組件(Hadoop/Hive/Zookeeper/Flink/Kafka等)獨(dú)立完成實(shí)時(shí)及離線任務(wù)開發(fā),對各組件的底層原理有一定理解,掌握大數(shù)據(jù)組件的開發(fā),構(gòu)建,維護(hù)和性能的優(yōu)化,具備快速定位、解決疑難問題的能力;
5、掌握常用的關(guān)系型數(shù)據(jù)庫、開源數(shù)據(jù)倉庫架構(gòu)(Clickhouse,presto、impala)和數(shù)倉模型設(shè)計(jì),掌握SQL開發(fā)及SQL性能調(diào)優(yōu);
6、對數(shù)據(jù)業(yè)務(wù)場景非常敏感,掌握數(shù)據(jù)倉庫、數(shù)據(jù)中臺領(lǐng)域知識和管理技能,包括但不局限于:元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、性能調(diào)優(yōu)等;
7、掌握Linux命令行操作、shell腳本編寫;
8、熟練掌握使用GIT、Gitlab等代碼管理工具;
9、具備良好的團(tuán)隊(duì)合作精神和溝通能力,能夠清晰表達(dá)技術(shù)觀點(diǎn)和方案。
公司簡介
廣西交科集團(tuán)有限公司(廣西交通科學(xué)研究院)是一家在廣西乃至全國交通運(yùn)輸系統(tǒng)中具有重要影響力的高新技術(shù)企業(yè),作為交通基礎(chǔ)設(shè)施領(lǐng)域綜合解決方案供應(yīng)商,始終致力于“為建設(shè)交通強(qiáng)國貢獻(xiàn)智慧解決方案”,被認(rèn)定為“國家企業(yè)技術(shù)中心”,獲評“廣西高新技術(shù)百強(qiáng)企業(yè)”第二名、“廣西創(chuàng)新活力十強(qiáng)企業(yè)”榜首、“廣西創(chuàng)新能力十強(qiáng)企業(yè)”排名第二、“2020年度全區(qū)數(shù)字廣西建設(shè)突出貢獻(xiàn)獎(jiǎng)先進(jìn)集體”等稱號。目前現(xiàn)有員工1600余人,其中博士40余人、碩士800余人,教授級高級工程師30余人、高級職稱300余人,享受政府特殊津貼專家2人、自治區(qū)優(yōu)秀專家2人、第一批廣西高層次人才1人,交通運(yùn)輸部與廣西“新世紀(jì)十百千人才工程”第二層次人選2人,是廣西交通建設(shè)行業(yè)人才小高地。
上班地點(diǎn)
工作地址:
南寧市西鄉(xiāng)塘區(qū)廣西交科集團(tuán)有限公司 查看上班路線
-
可能感興趣的職位
-
大數(shù)據(jù)開發(fā)工程師(J11579)8000-12000元南寧-青秀區(qū)-塞納維拉花園廣西交通設(shè)計(jì)集團(tuán)有限公司交通/運(yùn)輸/物流工作職責(zé): 1、負(fù)責(zé)大數(shù)據(jù)平臺(Hadoop,HBase,Spark、MPP等)集群環(huán)境的性能調(diào)優(yōu)和日常維護(hù); 2、負(fù)責(zé)數(shù)據(jù)架構(gòu)設(shè)計(jì)和優(yōu)化,數(shù)據(jù)的開發(fā)與維護(hù),確保數(shù)據(jù)存儲和處理的穩(wěn)定和效率; 3、熟悉數(shù)據(jù)倉庫建模、ETL設(shè)計(jì)開發(fā),有數(shù)據(jù)質(zhì)量與數(shù)據(jù)治理相關(guān)經(jīng)驗(yàn); 4、理解業(yè)務(wù)需求并提供相應(yīng)的數(shù)據(jù)解決方案。 任職資格: 1、本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、信息技術(shù)或相關(guān)領(lǐng)域?qū)I(yè); 2、至少3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),并具備一定的運(yùn)維經(jīng)驗(yàn); 3、熟練掌握Linux操作系統(tǒng),熟練掌握J(rèn)ava,并熟悉Shell,Python等一種以上的腳本語言,并靈活運(yùn)用到實(shí)際工作中及解決技術(shù)問題; 4、熟練使用SQL,熟練掌握數(shù)倉建模,掌握常用的數(shù)據(jù)建模方法,有實(shí)時(shí)flink相關(guān)開發(fā)經(jīng)驗(yàn)優(yōu)先; 5、熟練掌握flume、DataX或者flink,kafka,hdfs等技術(shù),能夠獨(dú)立完成實(shí)時(shí)、離線數(shù)據(jù)接入工作; 6、熟練掌握Hadoop,Spark,Hbase, Hive, Flink、 ZK、Kafka、Flume、DataX等一種以上的大數(shù)據(jù)處理工具和技術(shù),有實(shí)際大數(shù)據(jù)處理經(jīng)驗(yàn); 7、有大規(guī)模數(shù)據(jù)處理項(xiàng)目的成功經(jīng)驗(yàn)者優(yōu)先; 8、有良好的團(tuán)隊(duì)精神和溝通能力,積極主動、熱愛技術(shù)并善于鉆研,責(zé)任心強(qiáng)、能夠承受一定工作壓力。22小時(shí)前陳先生
-
數(shù)據(jù)開發(fā)工程師10000-15000元南寧深圳思特順科技有限公司計(jì)算機(jī)硬件崗位職責(zé): 1、熟悉大數(shù)據(jù)數(shù)倉建設(shè)相關(guān)的平臺工具,為數(shù)據(jù)項(xiàng)目提供對外技術(shù)支持; 2、根據(jù)實(shí)際數(shù)據(jù)項(xiàng)目需求,參與數(shù)據(jù)項(xiàng)目建設(shè),負(fù)責(zé)數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)產(chǎn)品使用、數(shù)據(jù)質(zhì)量、數(shù)據(jù)共享交換相關(guān)工作; 3、完成數(shù)據(jù)類項(xiàng)目的實(shí)施交付,進(jìn)行數(shù)據(jù)倉庫主專題庫的設(shè)計(jì)、建設(shè)及維護(hù); 4、監(jiān)控?cái)?shù)據(jù)平臺以及相關(guān)服務(wù)器的運(yùn)行情況,排查并解決平臺與服務(wù)器運(yùn)行中出現(xiàn)的問題; 5、與業(yè)務(wù)部門保持良好溝通,理解需求并提供技術(shù)支持。 任職資格:能力要求: 1、計(jì)算機(jī)相關(guān)專業(yè),本科學(xué)歷,2年以上數(shù)據(jù)開發(fā)相關(guān)經(jīng)驗(yàn); 2、2年以上數(shù)倉開發(fā)經(jīng)驗(yàn),精通數(shù)倉分層建設(shè)方法; 3、熟練使用Hive/SparkSQL,理解底層原理,熟悉常用優(yōu)化技巧;至少能使用一種Python、Scala、Java、Shell等腳本語言; 4、具備SQL調(diào)優(yōu),熟練/精通兩種或兩種以上關(guān)系型數(shù)據(jù)庫的開發(fā)、運(yùn)維操作; 5、熟練掌握主流數(shù)倉工具; 6、有政企行業(yè)(大數(shù)據(jù)局)數(shù)據(jù)中臺實(shí)施或運(yùn)維的經(jīng)驗(yàn)優(yōu)先; 7、熟悉linux操作,熟悉k8s、docker運(yùn)行原理及常用命令。2025-08-22Dillon
-
大數(shù)據(jù)開發(fā)工程師14000-15000元南寧-良慶區(qū)廣西桂盛金融信息科技服務(wù)有限公司計(jì)算機(jī)硬件負(fù)責(zé)大數(shù)據(jù)相關(guān)系統(tǒng)項(xiàng)目管理、技術(shù)方案設(shè)計(jì)、功能開發(fā)和產(chǎn)品交付;負(fù)責(zé)項(xiàng)目開發(fā)需求分析與評估;負(fù)責(zé)軟件質(zhì)量控制,保證系統(tǒng)開發(fā)質(zhì)量;負(fù)責(zé)銀行大數(shù)據(jù)相關(guān)系統(tǒng)的生產(chǎn)運(yùn)維支持;負(fù)責(zé)相關(guān)技術(shù)管理和協(xié)調(diào)工作。 全日制本科及以上學(xué)歷,原則上以計(jì)算機(jī)類、電子類、數(shù)學(xué)類相關(guān)專業(yè)為主。 1.原則上年齡在32周歲以下; 2.具有3年及以上大數(shù)據(jù)系統(tǒng)開發(fā)相關(guān)崗位從業(yè)經(jīng)歷; 3.具有數(shù)據(jù)倉庫建設(shè)經(jīng)驗(yàn),熟悉數(shù)據(jù)統(tǒng)計(jì),數(shù)據(jù)挖掘,算法,對數(shù)據(jù)具有良好的敏感度,有數(shù)據(jù)清洗、分析、挖掘和建模經(jīng)驗(yàn); 4.具備豐富的IT行業(yè)知識,了解各種技術(shù)架構(gòu),熟悉大數(shù)據(jù)架構(gòu)及原理,熟練使用Hadoop體系的常用組件:Hive、HBase、Spark、Elasticsearch、Kafka、Flink等; 5.思維清晰敏捷,邏輯分析能力強(qiáng),有獨(dú)立進(jìn)行軟件設(shè)計(jì)和解決問題的能力; 6.具有較好的文字表達(dá)能力、溝通協(xié)調(diào)能力和抗壓能力; 7.參與過銀行大型項(xiàng)目建設(shè)或具有中級及以上專業(yè)技術(shù)職稱/相關(guān)資格證書的,同等條件下優(yōu)先考慮。2025-08-18黃勇民
-
數(shù)據(jù)庫工程師【廣西移動項(xiàng)目】6000-10000元南寧-青秀區(qū)崗位職責(zé): 1.參與電信行業(yè)運(yùn)營商O域數(shù)據(jù)倉庫的設(shè)計(jì)與建設(shè)。 2. 設(shè)計(jì)用戶畫像、用戶細(xì)分等相關(guān)的模型與算法。 3. 構(gòu)建用戶上網(wǎng)行為標(biāo)簽化體系,分析用戶的地理位置信息。 4. 分析用戶行為和個(gè)性化需求,發(fā)現(xiàn)潛在商業(yè)價(jià)值,提供人群精細(xì)化分析和個(gè)性化服務(wù)。 崗位要求: 1.本科及以上計(jì)算機(jī)、數(shù)學(xué)或統(tǒng)計(jì)專業(yè),三年或以上相關(guān)工作經(jīng)驗(yàn)。 2.有兩年以上運(yùn)營商etl開發(fā)經(jīng)驗(yàn)。 3.熟練使用sql,熟練使用pl/sql工具 。 4.熟悉hadoop生態(tài)系統(tǒng),熟悉HDFS、Hive和HBase等相關(guān)組件的功能、性能和擴(kuò)展,解決并實(shí)現(xiàn)業(yè)務(wù)需求。 5.同時(shí)熟悉Hadoop、HBase、Storm、Spark等開源分布式系統(tǒng)者優(yōu)先。 6.熟悉掌握運(yùn)營商O域大數(shù)據(jù)數(shù)據(jù)處理經(jīng)驗(yàn)、信令數(shù)據(jù)者優(yōu)先。2025-08-18吳偉
-
數(shù)據(jù)開發(fā)工程師6000-10000元南寧-良慶區(qū)廣西數(shù)字能源科技有限公司計(jì)算機(jī)軟件不在南寧勿投簡歷!?。⌒枰薪?jīng)驗(yàn)的?。?! 崗位描述: 1.根據(jù)需求規(guī)劃,輸出數(shù)據(jù)產(chǎn)品方案; 2.開展數(shù)據(jù)調(diào)研,建立數(shù)據(jù)體系、加工流程與方案; 3.梳理、維護(hù)數(shù)據(jù)指標(biāo)定義,搭建指標(biāo)體系,保證指標(biāo)口徑統(tǒng)一和數(shù)據(jù)準(zhǔn)確; 4.開展數(shù)據(jù)治理、開發(fā)等工作。 職位要求: 1.本科及以上學(xué)歷,統(tǒng)計(jì)學(xué)、數(shù)學(xué)、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、計(jì)算機(jī)科學(xué)與技術(shù)等專業(yè),熟悉 MySQL、PostgreSQL等主流數(shù)據(jù)庫。 2.良好的數(shù)據(jù)分析、獨(dú)立思考和邏輯思維能力,可熟練使用 sql 進(jìn)行基本的數(shù)據(jù)分析; 3.2年以上數(shù)據(jù)產(chǎn)品、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理等經(jīng)驗(yàn); 4.極強(qiáng)的數(shù)據(jù)敏感性、邏輯思維能力與理解能力,有一定的數(shù)據(jù)分析和需求管理能力; 5.能夠獨(dú)立編寫文檔。2025-08-13梁女士
南寧相關(guān)熱門崗位
大數(shù)據(jù)開發(fā)大數(shù)據(jù)數(shù)據(jù)庫數(shù)據(jù)庫開發(fā)sqlsql開發(fā)oracle數(shù)據(jù)庫開發(fā)大數(shù)據(jù)工程師大數(shù)據(jù)應(yīng)用工程師數(shù)據(jù)庫工程師大數(shù)據(jù)建模sqlserverbi大數(shù)據(jù)專家大數(shù)據(jù)高級開發(fā)大數(shù)據(jù)技術(shù)工程師spark開發(fā)大數(shù)據(jù)講師數(shù)據(jù)庫實(shí)習(xí)生sql工程師中級數(shù)據(jù)庫開發(fā)數(shù)據(jù)開發(fā)數(shù)據(jù)庫工程師(dba)數(shù)據(jù)庫開發(fā)實(shí)習(xí)生數(shù)據(jù)庫開發(fā)工程師大數(shù)據(jù)平臺工程師初級數(shù)據(jù)庫開發(fā)初級數(shù)據(jù)庫工程師oracle開發(fā)工程師oracle數(shù)據(jù)庫開發(fā)工程師高級數(shù)據(jù)庫開發(fā)數(shù)據(jù)庫開發(fā)人員bi數(shù)據(jù)庫開發(fā)大數(shù)據(jù)交付工程師sql開發(fā)工程師中級大數(shù)據(jù)工程師大數(shù)據(jù)中級工程師高級大數(shù)據(jù)工程師大數(shù)據(jù)研發(fā)專家大數(shù)據(jù)高級工程師

- 廣西交科集團(tuán)有限公司
- 所在行業(yè) 交通/運(yùn)輸
- 成立時(shí)間 25年(2000年4月7日)
- 企業(yè)性質(zhì) 國有企業(yè)
- 公司規(guī)模 1000-9999人
-
該公司其他職位
-
環(huán)保工程技術(shù)帶頭人
¥25000-40000元
南寧-西鄉(xiāng)塘區(qū) -
物流發(fā)展規(guī)劃崗
¥12000-20000元
南寧-西鄉(xiāng)塘區(qū) -
路線設(shè)計(jì)
¥10000-15000元
南寧-西鄉(xiāng)塘區(qū)