探索Trae:使用Trae CN爬取 Gitbook 電子書

請添加圖片描述
在以前使用過Cursor,但是后期由于試用資源很少,免費資源用完我就卸載掉啦,最近又需要開展相關工作,因此下載了最新版的Trae。Trae 2.0最近很火,我正好想要爬取某一個Gitbook 電子書,因此嘗試使用Trae和Python進行爬取,在嘗試完成后,大感AI代碼編輯器真好!!!盡管我沒啥爬蟲基礎,但是也完成了目標。

我使用Kimi-K2模型,第一次代碼基本是成功運行,但是存在幾個小的問題:重新爬取,總體上爬取成功,但是我有三個新的要求:(1)要把圖片也保存下來,目前圖片沒有成功保存,例如是這樣的內容:(assets/WebGIS.png) ;(2)每一個md文檔末尾都有# results matching “”# No results matching ""這樣的內容,請刪除;(3)將所有的文件合并成一個md文檔,并且按照情況調整大綱級別。

第二次也是運行成功,但是出現了新的小問題:(1)圖片保存在assets文件夾內,在md文檔中 圖片使用相對路徑 assets/xxx.png這樣的路徑;(2)很多圖片沒有下載成功,需要重新下載,打開后顯示圖片損壞;(3)刪除原文鏈接相關的內容。因此,第三次運行腳本。

此次修改后仍舊有問題,再次提示:我在先前已經執行過了3次命令,并且已經生成了第三版的代碼。我的目的是將目標網站的章節爬取下來,保存為md文檔。第三版已經基本成功,但是出現了兩個補充修改:(1)二級標題很多是重復出現了3次,并且部分標題的大綱級別不對,要按照科學的情況組織大綱級別;(2)把所有的代碼塊的代碼語言設置成JS。

這樣處理完后:

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/92465.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/92465.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/92465.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

嵌入式知識日常問題記錄及用法總結(一)

文章目錄摘要問題一、內核啟動流程1.1 ARM內核上電復位與BootROM執行?啟動代碼(Startup Code)執行跳轉到用戶程序1.2 內存管理問題二、C語言基礎2.1 常量指針和指針常量區別2.2.函數指針和指針函數區別2.3 關鍵字Volatile2.4 隊列結構體數據摘要 嵌入式…

使用Navicat備份數據庫MySQL、PostGreSQL等

Navicat 支持多種數據庫系統,可通過手動或自動方式進行數據備份,整個過程還是相對簡單且直觀,比自己敲命令行方便多了。一、備份步驟1.1、手動備份1、打開Navicat并連接數據庫:首先,啟動Navicat并連接到您的MySQL數據庫…

Web3: 用ERC-1400革新公司股權激勵

大家好!今天,我們來聊一個非常酷的話PEG話題:如何利用Web3技術,特別是ERC-1400證券型代幣標準,來革新傳統的公司股權激勵模式。 大家是否想過,派發給員工的期權或限制性股票(RSU)可以…

【Python 高頻 API 速學 ④】

一、為什么是這 4 個? 列表(list)是 Python 最常用的可變序列, 90 % 的操作可以濃縮成 「增、并、刪、排」 四個字, 而這四個字正好對應 append / extend / pop / sort。二、四劍客一覽方法作用原地?返回值…

K8S的POD數量限制

#k8s-v1.11.11.查詢當前節點的最大pod數kubectl describe nodes | grep pods2.編輯配置文件把單臺的pod數量調到150個vim /etc/systemd/system/kubelet.service #添加最大數量--maxPods: 1503.加載配置重啟服務systemctl daemon-reload systemctl restart kubelet#k8s-v1.21.41…

OpenAI開源大模型 GPT-OSS 開放權重語言模型解析:技術特性、部署應用及產業影響

注:此文章內容均節選自充電了么創始人,CEO兼CTO陳敬雷老師的新書《GPT多模態大模型與AI Agent智能體》(跟我一起學人工智能)【陳敬雷編著】【清華大學出版社】 清華《GPT多模態大模型與AI Agent智能體》書籍配套視頻課程【陳敬雷…

CSS--后端也有自己的CSS要學

CSS,即Cascading Style Sheets,它描述了網頁的表現與展示效果 為了演示CSS,我寫了一個簡單的index.html 為了使用控制變量法,一開始我先不寫style.css文件的內容 右鍵在默認瀏覽器里查看頁面,看看效果 1-選擇器 根據標簽名進行匹配,所以也叫元素選擇器 頁面效果: 根據…

Docker swarm 常用的命令集合

#docker swarm## 初始化單節點Swarm docker swarm init# 部署測試服務 docker service create --name web --publish 8080:80 --replicas 3 nginx:alpine# Manager節點初始化(指定IP) docker swarm init --advertise-addr 192.168.1.100# 獲取加入令牌 M…

231. 2 的冪

Problem: 231. 2 的冪 文章目錄思路解題過程復雜度Code思路 2的冪 n 的二進制只有一個1,而 n - 1的二進制則是把 n 的二進制1變0, 0變1。 例:2^24100,34-1011. 解題過程 n & n - 1 0 復雜度 時間復雜度: O(1)O(1)O(1)空間復雜度: O(1)O(1)O(1) Co…

淺嘗AI輔助C轉Verilog方法

一、常規算法模塊的開發流程日常芯片開發工作中,挺多看工作是把C語言轉verilog。例如ISP的代碼,都很先由算法進行C model的開發,驗證完性能后,輸出算法原理文檔和c代碼;數字設計接手,把C語言轉換為verilog代…

Redis分布式鎖詳解:原理、實現與實戰案例

目錄 1. 什么是分布式鎖? 分布式鎖的核心要求 2. 基于Redis的分布式鎖實現方案 (1)基礎方案:SETNX EXPIRE (2)優化方案:SET NX PX(原子性加鎖) (3&…

【能碳建設1】用AI+開源打造物聯網+能碳管理+交易SaaS系統的最短路徑實施指南

摘要 本指南為技術小白設計,目標是在最短時間內利用AI工具與開源系統,獨立完成一套物聯網平臺 + 能碳管理平臺 + 碳交易系統的SaaS最小可用版本(MVP),并可后續擴展。流程分為目標定義、技術選型、環境搭建、核心功能開發、SaaS化、多租戶、上線運維等環節,按天推進,每步…

CVPR中深度學習新范式:通用性、魯棒性與多模態的創新突破

來gongzhonghao【圖靈學術計算機論文輔導】,快速拿捏更多計算機SCI/CCF發文資訊~分享一個深度學習領域正在迅速升溫的前沿方向:通用性與魯棒性的深度神經網絡架構創新。隨著大模型在視覺、文本乃至多模態任務中的廣泛應用,體現出深…

Vue3 學習教程,從入門到精通,Vue 3 + Tailwind CSS 全面知識點與案例詳解(31)

Vue 3 Tailwind CSS 全面知識點與案例詳解一、Vue 3 核心語法知識點 1. Vue 3 基礎 創建 Vue 3 項目 使用 Vite 創建項目:npm create vuelatest # 選擇需要的特性(如 TypeScript、Vue Router)響應式數據 使用 ref 和 reactive:im…

Android中RecyclerView基本使用

一、RecyclerView 核心概念1. 基本組件關系2. 核心組件作用Adapter:數據與視圖的橋梁LayoutManager:控制布局方式(線性/網格/瀑布流)ViewHolder:緩存視圖組件ItemDecoration:添加分割線等裝飾ItemAnimator&…

A100用transformers推理gpt-oss

A100本地用transformers推理gpt-oss GPT-oss試用 gpt-oss有兩個原生配置是目前(2025-8-8)Ampere系列顯卡不支持的,分別是默認的MXFP4量化,以及Flash-attn V3。tranformers推理是比較慢的,可以用于研究模型本身&#x…

虛擬手機號工具使用

背景:注冊部分國外應用時需要國外手機號驗證,例如在注冊cursor時需要國外手機號 解決:使用虛擬手機號網頁進行驗證 https://temp-number.com/ 選擇自己需要的國家 選擇一個手機號 復制手機號到自己的app注冊頁面 并發送消息,然后…

【線程池】壓測確定線程池合適的參數

【線程池】壓測確定線程池合適的參數【一】案例說明【二】明確線程池核心參數及優化目標【1】線程池核心參數(需壓測驗證的關鍵參數)【2】優化目標【三】壓測前準備【1】環境搭建【2】線程池初始配置(基于經驗值)【3】壓測工具與監…

GPT OSS 雙模型上線,百度百舸全面支持快速部署

GPT OSS 是 OpenAI 推出的重量級開放模型,專為強推理能力、智能體任務及多樣化開發場景設計,標志著大模型在開放性與實用性上的重要突破。該系列包含兩款高性能模型:參數規模為 117B 的 GPT?OSS?120B 和 21B 的 GPT?OSS?20B。二者皆采用 …

C++高頻知識點(十七)

文章目錄81. 你對智能指針的了解82. 一元、二元仿函數的區別和使用背景一元仿函數二元仿函數83. 描述Linux下文件刪除的原理84. 什么是菱形繼承?有什么問題,怎么解決?解決菱形繼承問題85. IO多路復用是什么?selectpollepollselect…