本專欄內容

OpenVINO 是一款開源工具包，用于在云端、本地和邊緣部署高性能 AI 解決方案。我們可以使用來自最熱門模型框架的生成式和傳統 AI 模型來開發應用程序。充分利用英特爾? 硬件的潛力，使用openvino來做轉換、優化和運行推理。OpenVINO 包含三個主要工具，可滿足你的所有部署需求：

1. OpenVINO GenAI
2. OpenVINO Base Package
3. OpenVINO Model Server

支持平臺

??OpenVINO對主流框架模型文件格式基本上都支持，從上圖可以看到，包括pytorch，tensorflow， paddlepaddle(百度飛漿)，onnx，這些框架訓練得到的模型文件格式各不相同，OpenVINO通過內部工具將其統一轉成IR和XML模型(或者使用onnx格式)。
??OpenVINO推理加速依賴于加速設備，目前主要還是intel的加速設備，主要包括intel CPU，intel GPU，intel NPU，intel CPU我們基本上都知道是什么，intel GPU很少被提到，但是他有另一個名字–集顯，通過intel提供的顯卡驅動以及opencl相關的依賴包，我們可以調用intel GPU完成模型的加速推理，但是相比較于NPU和Nvidia GPU還是有一定的差距的，加速效果：Nv GPU > intel NPU > intel GPU > intel CPU。關于intel NPU和GPU的環境配置和使用方法，我會在接下來的章節中做詳細的介紹，本節還是主要以概念介紹為主。
??OpenVINO支持不同的系統平臺，包括常用Win11、Linux和macOS，但是考慮到這些系統使用的并不一定都是intel CPU，所以加速效果也會有很大的差距（比如最新macOS已經不適用intel CPU了）。另外OpenVINO主要支持c/c++和python兩種開發語言，基本滿足大部分使用場景。
詳細的介紹當然最好是去OpenVINO官網，官網有詳細的使用教程，不過都是英文，并且有些地方說明的不是很清楚，所以我才想在這里寫點東西分享一下我使用OpenVINO的踩的一些坑，當然有一些坑現在還沒有填上，太苦澀啦！

章節計劃

1. 環境配置
2. 傳統模型推理加速
3. 生成式AI模型推理加速

??雖然是專欄內容大概的結構是這樣，但是也會在不斷地使用過程中發現問題、解決問題，并且將所學所悟都及時更新到專欄里，希望能夠有更多的人更從中收獲到些東西。