国产精品国产亚洲精品看不卡,亚洲成av人影院,久久99亚洲综合精品首页,国产一级理论免费版,欧美色婷婷,久久综合一个色综合网,欧美性色黄在线视

職責(zé)描述 1、參與數(shù)據(jù)采集系統(tǒng)的開發(fā) 2、負(fù)責(zé)網(wǎng)頁信息和APP數(shù)據(jù)抽取、清洗、消重等工作，提升平臺(tái)的抓取效率和質(zhì)量； 3、公司大數(shù)據(jù)平臺(tái)算法編碼和spark優(yōu)化 4、大數(shù)據(jù)平臺(tái)維護(hù) 5、與產(chǎn)品部門和上級(jí)溝通確保數(shù)據(jù)的準(zhǔn)確性及時(shí)性 6、參與公司教學(xué)任務(wù)（Python Java）。 任職要求： 1. 大學(xué)本科及以上學(xué)歷 2. 至少1-3年以上數(shù)據(jù)采集和數(shù)據(jù)分析經(jīng)驗(yàn)； 3. 掌握Spark，有scala或python開發(fā)spark分析程序的經(jīng)驗(yàn)； 4. 熟練掌握html、css、xpath、正則表達(dá)式、scrapy、selenium、playwright、requests、pandas； 5. 熟悉scala、python等編程語言。 6. 熟悉常見的反爬策略（驗(yàn)證碼識(shí)別，IP代理池、應(yīng)用Ip池、headers認(rèn)證和cookie等），有一定的研究和解決問題的能力，有一定的逆向能力。 7. 了解大數(shù)據(jù)生態(tài)體系，熟悉hadoop和spark。 8. 熟練使用Python pandas等類庫進(jìn)行數(shù)據(jù)清洗和分析； 9. 熟悉MongoDB, Redis, MySQL等工具的基本操作。 10. 熟練使用Python，Shell，Git、SVN版本控制，熟悉Linux開發(fā)環(huán)境。 11.會(huì)Java技術(shù)優(yōu)先。