产品
logo

Firecrawl

待猹分
@Firecrawl
为 AI 提供数据服务的爬虫。

【产品介绍】

Firecrawl 是一个数据爬虫,它接收一个 URL,对其进行抓取,并将其转换为干净的 Markdown 格式,并提供 API 服务。

我们会抓取所有可访问的子页面,并为每个页面提供干净的 Markdown。无需提供站点地图。

【产品功能】
抓取 : 抓取一个 URL 并获取其内容,格式为 LLM 可用格式(markdown、摘要、通过 json 模式的结构化数据、截图、html)

爬取 : 抓取网页上的所有 URL 并返回 LLM 可用格式的内容

映射 : 输入一个网站并获取该网站的所有 URL - 非常快速

搜索 : 搜索网络并从结果中获取完整内容

提取 : 使用 AI 从单页、多页或整个网站中获取结构化数据。

开源地址:https://github.com/firecrawl/firecrawl

gallery
gallery
gallery