【产品介绍】

Crawler.sh 是一款基于 Rust 构建的快速、本地优先的网页爬虫及 AEO/SEO 分析工具。

它提供命令行（CLI）和原生桌面应用版本，所有数据处理均在用户本地机器完成，确保了数据隐私与处理速度。

该工具旨在替代臃肿的企业级软件与缓慢的云服务，帮助用户高效完成网站审计、链接检查及数据抓取工作。

【产品功能】

极速站点爬取：支持自定义并发与深度，可在数秒内完成数千页面的爬取与状态码检测。

Markdown 内容提取：自动将网页正文转换为干净的 Markdown 格式，便于归档或作为 AI Agent 的上下文数据。

SEO 自动化分析：内置 16 项自动检查，快速识别标题缺失、元描述重复及死链等技术性 SEO 问题。

灵活数据导出：支持实时流式输出，可将结果导出为 JSON、CSV、TXT 或标准 Sitemap XML。