爬虫

岗位职责1、参与分布式爬虫和数据采集系统的架构设计和开发；2、定期爬取*网站的数据，为业务部门提供数据支持；任职要求1、计算机相关专业，熟悉多种网站请求方式，有搜索或爬虫技术。2、计算机相关专业。具有以下经验者优先（1）了解搜索和爬虫开源软件(python，lucene，solr，mathout，firtex，lemur，indri，nutch，haddopmlar*n，QTwebkit)的一种或多种，以及相关原理；（2）精通网页抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息；（3）具备信息检索、web挖掘等搜索引擎相关知识，有从事网络爬虫、网页去重、网页信息抓取、网页分类中任一种程序开发经验；（4）熟悉NoSql（MongoDB，Redis，Hbase等），了解大数据，有一定的Hadoop使用经验；
联系我时，请说是在58同城上看到的，谢谢！