Arch1Panel/apps/firecrawl/README.md

# Firecrawl

将任意网站转换为适合大语言模型（LLM）的结构化数据。强大的网页抓取、爬取、搜索和数据提取平台。

## 功能特点

- **单页抓取**：将任意 URL 转换为 Markdown、HTML、截图或结构化 JSON
- **全站爬取**：递归抓取整个网站，智能过滤链接
- **URL 发现**：通过站点地图、索引查询或搜索快速发现网站所有 URL
- **网络搜索**：搜索网络并一次性获取结果的完整页面内容
- **AI 提取**：基于 LLM 的结构化数据提取，支持 Schema 验证
- **智能代理**：自主研究代理，自动导航并提取数据
- **远程浏览器**：支持远程浏览器会话，提供 CDP 访问和代码执行能力
- **批量操作**：异步批量抓取多个 URL
- **自托管支持**：完全开源，支持本地部署，数据掌握在自己手中

## 使用说明

### 默认端口

- API服务: 3002
- 队列管理界面: http://your-ip:3002/admin/YOUR_BULL_AUTH_KEY/queues

### API 访问

部署后可以通过 `http://your-ip:3002` 访问 API 服务。

测试爬取端点：
```bash
curl -X POST http://localhost:3002/v1/crawl \
    -H 'Content-Type: application/json' \
    -d '{
      "url": "https://firecrawl.dev"
    }'
```

### 数据目录

应用数据存储在以下目录：
- `./data/api` - API 服务数据
- `./data/postgres` - PostgreSQL 数据库数据
- `./data/redis` - Redis 缓存数据
- `./data/playwright` - Playwright 浏览器缓存

### 环境变量

- `POSTGRES_USER` / `POSTGRES_PASSWORD`：PostgreSQL 数据库凭据
- `BULL_AUTH_KEY`：队列管理界面的访问密钥
- `OPENAI_API_KEY`：OpenAI API 密钥（用于 AI 相关功能，可选）

### 架构说明

Firecrawl 自托管版本包含以下服务组件：
- **API 服务**：主 API 服务器，处理所有请求（4核CPU，8GB内存限制）
- **Playwright 服务**：浏览器自动化服务（2核CPU，4GB内存限制）
- **Redis**：任务队列和缓存后端
- **RabbitMQ**：NuQ 消息代理
- **PostgreSQL**：任务状态管理数据库

## 相关链接

- 官方网站: https://www.firecrawl.dev
- GitHub: https://github.com/firecrawl/firecrawl
- 文档: https://docs.firecrawl.dev
- Discord社区: https://discord.gg/firecrawl