目錄
- 引言
- 公式識別任務是什么?
- 公式識別任務解決方案初探
- 使用建議
- 寫在最后
引言
隨著LaTeX-OCR模型轉換問題的解決,公式識別任務中各個鏈條已經全部打通。小伙伴們可以放開膀子干了。
解決業界問題的方案,并不是單獨訓練一個模型就完事了,而是有著上下游的依賴。這就像工廠中流水線作業一樣,一個小東西的生產是依賴無數個中間階段才完成的。
一個模型應用到產品中,也是有著類似的流水線的。相比于工廠中流水線,這里的鏈條只是更加隱蔽一些而已。
公式識別任務是什么?
公式識別任務:指的是將圖像中公式識別為對應的LaTeX寫法,便于后續加工處理。
公式識別任務距離我們最近的應用場景便是論文寫作。在我上大學寫畢業論文時,由于當時并不知道LaTeX這種東西可以用來寫公式,整個畢業論文公式都是在Word上用鼠標點出來的,好不痛苦。
比較推薦大家學一學LaTeX排版,絕對是提效利器,用過的人都說好。
動圖來自LaTeX-OCR
公式識別任務解決方案初探
解決公式識別任務,我這里姑且粗略地分為四個部分:公式識別數據集處理、訓練識別模型、轉換識別模型和部署使用。
取之開源,回饋開源,一直是我們的準則。以上四部分具體地址如下,除訓練識別模型為lukas-blecher外,其余均經由我整理。歡迎大家多多使用和提建議。
預處理公式庫ProcessLaTeXFormulaTools: https://github.com/SWHL/ProcessLaTeXFormulaTools
訓練識別模型庫LaTeX-OCR: https://github.com/lukas-blecher/LaTeX-OCR
轉換模型為ONNX格式庫ConvertLaTeXOCRToONNX: https://github.com/SWHL/ConvertLaTeXOCRToONNX
部署使用庫RapidLaTeXOCR: https://github.com/RapidAI/RapidLaTeXOCR
使用建議
先嘗試RapidLaTeXOCR中識別模型識別效果,是否滿足場景需求。
如果不滿足,再考慮結合自身場景,將上述四部分走一遍,定制化自己的公式識別模型。
寫在最后
本篇文章只是簡單介紹,具體請移步文中各個部分的倉庫下查看。
如有具體微調,部署等需求,歡迎后臺詳細咨詢。