Py之llama-parse:llama-parse(高效解析和表示文件)的簡介、安裝和使用方法、案例應用之詳細攻略
目錄
llama-parse的簡介
llama-parse的安裝和使用方法
1、安裝
2、使用方法
第一步,獲取API 密鑰
第二步,安裝LlamaIndex、LlamaParse
LLM之RAG之LlaMAIndex:llama-index(一塊輕快構建索引來查詢本地文檔的數據框架神器)的簡介、安裝、使用方法之詳細攻略
第三步,解析第一個 PDF 文件
第四步,將解析器集成為 SimpleDirectoryReader 中的默認 PDF 加載器:
llama-parse的案例應用
llama-parse的簡介
2024年4月15日正式發布,LlamaParse 是由 LlamaIndex 創建的一個 API,用于高效解析和表示文件,以便使用 LlamaIndex 框架進行高效檢索和上下文增強。
LlamaParse 可以直接與 LlamaIndex 集成。免費計劃每天最多處理 1000 頁。付費計劃每周免費處理 7000 頁,超過部分每頁收費 0.3 美分。
llama-parse的安裝和使用方法
1、安裝
pip install -i https://mirrors.aliyun.com/pypi/simple?llama-parsepip install -i https://mirrors.aliyun.com/pypi/simple -qU?llama-parse
# -q:這個參數表示安靜模式(quiet),它會減少輸出的信息,只顯示錯誤信息。
-U:這個參數表示升級模式(upgrade),它會升級指定的軟件包到最新版本。
2、使用方法
第一步,獲取API 密鑰
首先,登錄并從 LlamaCloud?獲取一個 API 密鑰。
第二步,安裝LlamaIndex、LlamaParse
然后,確保你安裝了最新版本的 LlamaIndex。
注意:如果你是從 v0.9.X 升級,我們建議你遵循我們的遷移指南,并且先卸載之前的版本。
pip uninstall llama-index ?# 如果從 v0.9.x 或更早版本升級,請運行此命令
pip install -U llama-index --upgrade --no-cache-dir --force-reinstall最后,安裝 LlamaParse 包:
pip install llama-parse
LLM之RAG之LlaMAIndex:llama-index(一塊輕快構建索引來查詢本地文檔的數據框架神器)的簡介、安裝、使用方法之詳細攻略
LLM之RAG之LlaMAIndex:llama-index(一塊輕快構建索引來查詢本地文檔的數據框架神器)的簡介、安裝、使用方法之詳細攻略_llamaindex原理-CSDN博客
第三步,解析第一個 PDF 文件
現在你可以運行以下代碼來解析你的第一個 PDF 文件:
現在你可以運行以下代碼來解析你的第一個 PDF 文件:
import nest_asyncio
nest_asyncio.apply()
from llama_parse import LlamaParseparser = LlamaParse(api_key="llx-...", # 也可以在環境變量中設置為 LLAMA_CLOUD_API_KEYresult_type="markdown", # 可以選擇 "markdown" 或 "text"num_workers=4, # 如果傳遞多個文件,則在 `num_workers` 個 API 調用中拆分verbose=True,language="en", # 可以選擇定義語言,默認=en
)# 同步解析單個文件
documents = parser.load_data("./my_file.pdf")
# 同步解析多個文件
documents = parser.load_data(["./my_file1.pdf", "./my_file2.pdf"])
# 異步解析單個文件
documents = await parser.aload_data("./my_file.pdf")
# 異步解析多個文件
documents = await parser.aload_data(["./my_file1.pdf", "./my_file2.pdf"])
與 SimpleDirectoryReader 一起使用
第四步,將解析器集成為 SimpleDirectoryReader 中的默認 PDF 加載器:
第四步,將解析器集成為 SimpleDirectoryReader 中的默認 PDF 加載器:
import nest_asyncio
nest_asyncio.apply()from llama_parse import LlamaParse
from llama_index.core import SimpleDirectoryReaderparser = LlamaParse(api_key="llx-...", # 也可以在環境變量中設置為 LLAMA_CLOUD_API_KEYresult_type="markdown", # 可以選擇 "markdown" 或 "text"verbose=True,
)file_extractor = {".pdf": parser}
documents = SimpleDirectoryReader("./data", file_extractor=file_extractor
).load_data()
SimpleDirectoryReader 的完整文檔可以在 LlamaIndex 文檔中找到。
llama-parse的案例應用
持續更新中……