網上資料很多
AI爬蟲黑科技 firecrawl本地部署-CSDN博客
源碼部署
前提條件本地安裝py,node.js環境,嫌棄麻煩直接使用第二種
使用git或下載壓縮包
git clone https://github.com/mendableai/firecrawl.git
設置環境參數
cd /firecrawl/apps/api
復制環境參數
copy ?.env.example .env
修改配置
redis本地需要安裝7.0以上的版本,不然最新函數不支持
下載地址
Release Redis 7.0.8 for Windows · redis-windows/redis-windows · GitHub
先啟動工作進程
pnpm run workers
后啟動主進程
pnpm run start
寫了一建啟動的腳本
寫了兩個啟動bat,
@echo off
setlocal enabledelayedexpansion
:: 正確傳遞環境變量到子進程
cmd /c "set HOST=0.0.0.0&&set USE_DB_AUTHENTICATION=false&&powershell -NoExit -Command ^& { [Console]::OutputEncoding = [System.Text.Encoding]::UTF8; Set-Location 'F:\Firecrawl\firecrawl\apps\api'; Write-Host 'HOST=' $env:HOST; pnpm run workers }"
@echo off
setlocal enabledelayedexpansion
:: 正確傳遞環境變量到子進程
cmd /c "set HOST=0.0.0.0&&set USE_DB_AUTHENTICATION=false&&powershell -NoExit -Command ^& { [Console]::OutputEncoding = [System.Text.Encoding]::UTF8; Set-Location 'F:\Firecrawl\firecrawl\apps\api'; Write-Host 'HOST=' $env:HOST; Write-Host 'USE_DB_AUTHENTICATION=' $env:USE_DB_AUTHENTICATION; pnpm run start }"
訪問本地ip或者localhost/127.0.0.1都可以。我接入dify,就用ip,不然接入不了
http://192.168.15.23:3002/
訪問本地部署的dify接入firecrawl
輸入之前的key和firecrawl的訪問路徑接入成功
測試爬鏈接
本地源碼部署有個問題,鏈接不是每次都成功,會報SUPABASE客戶端沒有初始化,去githup搜索了問題,表示目前起步階段,無解,使用第二種方式安裝就沒問題
第二種自托管
全部交由docker管理,這種就不截圖了,網址資料很多,注意自托盤要占用c盤10多個G的存儲,另外下載相關依賴包需要時間很長,有個代理的包,需要修改docker的地址,安裝教程來就是