数据采集工程师

职位概述我们正在招聘一名情报数据采集工程师，负责从多类数据源持续采集、解析并结构化区块链领域的风控相关情报，包括但不限于：区块链浏览器标签、政府/监管机构发布的制裁与公告、法庭/检察/执法法律⽂书等。您将把分散、异构的RawData转化为可⽤的业务数据，并完成⼊库、更新与质量控制。主要职责负责多源情报数据采集体系的建设与迭代：网页抓取、公开接口/API对接、⽂件型数据（PDF/HTML/图片等）下载与归档。开发与维护高性能、高稳定性的爬虫与采集任务：支持增量更新、断点续跑、异常恢复、任务调度与监控告警。面向区块链浏览器等站点采集地址标签、实体信息及关联证据，处理反爬策略并保证采集效率与合规性。面向政府/监管/执法渠道采集制裁信息、公告、法庭文书等内容，建立统一的元数据（来源、发布时间、采集时间、版本等）与存证机制（快照/原文留存）。任职要求熟悉主流爬虫与解析技术：Requests/HTTP、Scrapy、Playwright/Selenium（至少一种），掌握HTML/DOM解析与常见反爬应对（限速、代理、验证码、动态渲染等）。具备扎实的数据处理能力：熟悉JSON/CSV/HTML/PDF等数据格式，能从非结构化文本中进行信息抽取（正则、规则抽取、必要时的NLP/LLM辅助流程），并实现较高自动化率。熟悉数据库与存储：至少熟练使用一种关系型数据库（PostgreSQL/MySQL）并掌握索引/事务；了解NoSQL/搜索（MongoDB/Redis/Elasticsearch）者加分。具备良好的数据严谨性与合规意识：尊重数据源条款，能进行来源标注、版本管理与可追溯记录。具备Golang、Python编程经验，能够阅读英文文档（使用翻译软件也行），能够使用常见的AI工具提高办公效率。对区块链基础概念有理解（地址、交易、区块、合约、链浏览器等），能从链上相关公开数据源提取信息者加分。
联系我时，请说是在58同城上看到的，谢谢！