工作职责:
1、开发和维护高质量的Python爬虫程序,从各种网站和API中收集所需数据;
2、分析并解决网站反爬虫措施,确保稳定持续的数据获取;
3、设计合适的数据存储方案,确保数据的完整性和安全性;
4、与数据团队合作,进行数据清洗、转换和整合,以支持数据分析和挖掘工作;
5、监测爬虫系统性能,进行优化和调整,以确保高效率和低延迟。
职位要求:
1、扎实的Python编程能力,熟悉异步编程和多线程/多进程技术;
2、深入了解HTTP协议和网页结构,能够进行网页内容解析和数据提取;
3、熟悉常见的爬虫框架,如Scrapy、Beautiful Soup等,并能根据需要进行定制开发;
4、具备网络安全和隐私意识,能够合规地进行数据收集和存储;
5、对于反爬虫机制有深刻的理解,能够应对常见的反爬虫手段;
6、熟悉常见的数据库系统,如MySQL、MongoDB等,能够设计和优化数据存储方案;
7、具备基本的数据处理和清洗能力,了解数据分析的基本流程和方法;
8、良好的沟通能力和团队协作能力,能够与数据团队紧密合作,理解需求并提供支持。
石桥铺 (重庆九龙坡区渝州路4号26-11号4号26-1…) 查看地图