職位描述
該職位還未進行加V認證,請仔細了解后再進行投遞!
熟悉Flask、Django等主流web開發(fā)框架
熟練掌握mysql數(shù)據(jù)庫,熟練運用es數(shù)據(jù)庫
能夠應用進程,協(xié)程技術(shù)加快采集速度,能夠使用爬蟲框架更好
爬蟲基礎(chǔ)能力扎實,熟練掌握requests 使用,能夠處理常見的反爬措施,簡單的js加密,驗證碼處理
使用代理ip,修改UA頭,分析請求參數(shù),模擬請求,各種容錯機制
能夠熟練使用xpath,正則提取html中數(shù)據(jù),
熟練使用Selenium技術(shù)采集數(shù)據(jù) (用于難度較大網(wǎng)站,并且數(shù)據(jù)總量不多的網(wǎng)站進行模擬翻頁采集)
熟練掌握mysql數(shù)據(jù)庫,熟練運用es數(shù)據(jù)庫
能夠應用進程,協(xié)程技術(shù)加快采集速度,能夠使用爬蟲框架更好
爬蟲基礎(chǔ)能力扎實,熟練掌握requests 使用,能夠處理常見的反爬措施,簡單的js加密,驗證碼處理
使用代理ip,修改UA頭,分析請求參數(shù),模擬請求,各種容錯機制
能夠熟練使用xpath,正則提取html中數(shù)據(jù),
熟練使用Selenium技術(shù)采集數(shù)據(jù) (用于難度較大網(wǎng)站,并且數(shù)據(jù)總量不多的網(wǎng)站進行模擬翻頁采集)
工作地點
地址:北京海淀區(qū)金地華著中知大廈1
