DolphinDB 的高性能行情回放與模擬撮合引擎插件,為量化交易者提供了低延遲、高吞吐量的策略驗證解決方案。對于已構建 C++ 回測框架的機構而言,直接在現有系統中集成撮合引擎,既能復用既有基礎設施,又能獲得 DolphinDB 的極速計算優勢,是高頻策略仿真的優選方案。
本文面向熟悉 C++ 開發、具備 DolphinDB 基礎知識的量化工程師,重點講解如何通過 Swordfish 計算庫或 C++ API,將 DolphinDB 撮合引擎插件無縫集成到獨立 C++ 交易系統中。相較于 DolphinDB 腳本回測,本方案可實現低延遲高并發的回測流程,特別適用于算法交易、做市策略等對時效性敏感的仿真場景。
1. 背景介紹
回測是量化交易投研的一個重要環節。量化策略上線之前,必須通過回測評估策略在歷史數據上的表現。在中高頻策略回測中,并不能簡單的假設每個訂單以當前價格或日終價格全部成交,需要一個模擬撮合引擎來模擬實際的交易過程,例如考慮訂單能否成交、成交價格、成交量以及市場沖擊等因素。DolhpinDB 提供了模擬撮合引擎插件,支持滬深交易所 Level-2 逐筆行情和快照行情,實現了與交易所一致的?“價格優先,時間優先”?高精度撮合、支持基于多種行情數據的撮合模式、并提供豐富的撮合配置,模擬真實的實盤交易環境;支持通過 DolphinDB 腳本語言、Python 或 C++語言完成中高頻策略的研發和測試,提供了一個性能優異且易擴展的中高頻量化交易策略回測解決方案。
Swordfish 是一個專為金融行業設計的高性能數據分析計算函數庫,具備卓越的內存處理能力和優化的計算性能。它不僅提供多種通用計算功能,還支持實時流數據處理和用戶自定義函數,滿足復雜數據分析和低延遲流數據計算的需求。Swordfish 能夠在任何支持 C++ 的平臺上運行,用戶可以通過 C++ 腳本直接調用其接口,實現高效計算。
DolphinDB C++ API 用于連接 DolphinDB 服務端和 C++客戶端,從而實現數據的雙向傳輸和腳本的調用執行。 它可以方便您在 C++ 程序中使用 DolphinDB 進行數據的處理、分析和建模等操作,利用其優秀的計算性能和強大的存儲能力來幫助您加速數據的處理和分析。
本文依照《DolphinDB 策略回測白皮書》的系統設計,介紹如何在 C++ 中封裝模擬撮合引擎插件,實現一個簡單易拓展高精度撮合的回測框架,從而可以方便地集成到已有的 C++ 回測或者仿真系統中。本文設計了統一的事件型接口,并提供 Swordfish 和 C++ API 兩種實現。2 種方式的適用場景如下:
表 1-1 Swordfish 和 C++ API 實現回測框架場景對比
2. 系統設計
在《DolphinDB 策略回測白皮書》中,介紹了中高頻量化交易策略回測平臺的實現,主要包括三個重要環節:
- 行情數據回放
- 委托訂單模擬撮合
- 策略開發與策略回測績效評估
以此為依據可以設計出以 DolphinDB 為數據源在 C++ 進行回測的整體流程:
- 創建遠程行情流表,并對其進行訂閱;
- 回放行情數據到流表;
- 在訂閱回調中遍歷和解析數據,將解析后的行情數據寫入到模擬撮合引擎;
- 觸發行情回調,在回調內實現策略邏輯,執行下單等操作;
- 模擬撮合引擎輸出成交明細等信息,并觸發相關業務回調,在回調內實現策略邏輯。
- 回測結束后輸出績效指標。
使用 Swordfish 實現自定義回測的系統架構圖如下:
圖 1-1 Swordfish 自定義回測實現架構圖
使用 C++ API 實現自定義回測的系統架構圖如下:
圖 1-2 C++ API 自定義回測實現架構圖
3. 接口設計
本教程根據 DolphinDB 的模擬撮合接口所具備的功能,設計出了行情和交易接口。主要包括如下功能模塊:
- 配置項模塊:負責回測框架實例的相關配置,包括遠程連接配置、行情類別配置、并發相關配置等。
- 主動調用接口模塊:提供可在代碼中主動調用的接口,包括創建模擬撮合引擎實例、回放數據下單、撤單等接口。
- 回調接口模塊:以回調函數的形式提供接口,包含行情回調、報單應答、成交通知等接口。
本節所介紹的配置項和接口,除非特別聲明,在 Swordfish 和 C++ API 均可調用。
3.1 配置項
回測框架實例的配置項如下表所示。每個實例可獨立配置,從而可以使用多個實例做并發回測。
3.2 相關接口說明
本教程設計的回測框架提供創建模擬撮合引擎實例、回放數據、下單、撤單等主動調用接口,以及行情回調、報單應答、成交通知等回調接口。下面將介紹核心的接口的設計和使用說明,其他更具體的接口說明詳見附件源碼內注釋。
3.2.1 創建模擬撮合引擎
首先,創建模擬撮合引擎實例的接口為?createMatchEngine
,提供兩種接口實現:
dolphindb::SmartPointer<MatchingEngineSimulatorWrapper> createMatchEngine(dolphindb::ConstantSP name, dolphindb::ConstantSP exchange, dolphindb::DictionarySP config,dolphindb::TableSP dummyQuoteTable, dolphindb::DictionarySP quoteColMap, dolphindb::TableSP dummyUserOrderTable,dolphindb::DictionarySP userOrderColMap, dolphindb::TableSP dummyOrderDetailsOutput,dolphindb::ConstantSP orderDetailsOutputStreamTableName=nullptr)dolphindb::SmartPointer<MatchingEngineSimulatorWrapper> createMatchEngine(std::vector<dolphindb::ConstantSP> args)
第一種實現為展開的參數列表,第二種實現將第一種實現的所有參數放在一個數組里。該接口的參數要求與模擬撮合引擎插件的 createMatchEngine 接口基本相同,這里只介紹有區別的參數:
- dummyOrderDetailsOutput:Table 類指針,成交明細輸出表的實際結構,用于給 Swordfish/DolphinDB 創建輸出流表提供參考結構。
- orderDetailsOutputStreamTableName:String 類指針,成交明細輸出表的流表名稱,默認為 “orderDetailsOutputStream”,用于給 DolphinDB 創建流表指定名稱。C++ API 特有參數。
返回值為 MatchingEngineSimulatorWrapper 對象指針,引擎實例,可用來做寫入行情、下單、獲取成交明細等操作。
注意:在 C++ API 實現時,由于模擬撮合引擎實例存在于 DolphinDB,每次調用?createMatchEngine
?都會新建一個 DolphinDB 遠程連接以綁定,故建議不要頻繁調用,而應該將接口返回的實例保存下來重復使用。
3.2.2 回放行情數據
創建好模擬撮合引擎后,使用?replayQuoteToMatchEngine
?接口回放指定股票代碼和天數的行情數據到指定引擎,可以指定回放速率。
void Interface::replayQuoteToMatchEngine(VectorSP codes, ConstantSP startDate, ConstantSP endDate,SmartPointer<MatchingEngineSimulatorWrapper> engine, int replayRate)
注意:本教程僅提供回放 Level2 股票快照行情的示例。用戶可參考代碼實現其他類型的行情回放。
3.2.3 行情回調
行情開始寫入引擎后,會觸發?onQuote
?行情回調,參數為一條行情的字典,可通過 getMember(“key“) 讀取字段,例如讀取股票代碼:
virtual void onQuote(const ConstantSP "e){string symbol = quote->getMember("symbol")->getString();
}
3.2.4 策略實現
在實現策略時,可以使用?getMatchEngine
?接口來獲取指定名稱的模擬撮合引擎,用來下單或撤單等。
SmartPointer<MatchingEngineSimulatorWrapper> Interface::getMatchEngine(ConstantSP name)
報單請求接口為?submitOrder
,撤單請求接口為?cancelOrder
,參數為引擎實例和訂單數據。訂單數據類型為?OrderField
,是一個 struct,與模擬撮合引擎插件的用戶訂單表字段格式相同,字段說明:
- symbol:字符串,標的代碼。
- timestamp:long long,下單時間戳,非必填,不填時即時撮合。
- orderType:int,訂單類型。
- price:double,訂單委托價格。
- orderQty:long long,委托數量。
- direction:int,買賣方向,1(買 ),2(賣)。
- orderId:int,用戶訂單 ID,非必填,僅撤單時需要。
- userOrderId:int,用戶自定義訂單 ID,非必填,不填時自動填一個遞增的 ID。需要保證每次報單時對一個引擎填寫的 userOrderId 是唯一的。
返回值為一個 long long,下單或撤單成功時返回用戶訂單 ID,失敗時返回 -1。
long long Interface::submitOrder(SmartPointer<MatchingEngineSimulatorWrapper> engine, const OrderField &order)
long long Interface::cancelOrder(SmartPointer<MatchingEngineSimulatorWrapper> engine, const OrderField &order
3.2.5 報單/撤單應答和通知
報單或撤單后,將觸發應答和通知。報單應答的回調接口為?onOrderSubmit
,撤單應答的回調接口為?onOrderCancel
,包含訂單數據和錯誤碼。委托通知的回調接口為?onOrder
,成交通知的回調接口為?onMatch
,參數為一條委托或成交明細的字典,字段格式與模擬撮合引擎的成交明細表相同。
virtual void onOrder(dolphindb::DictionarySP orderDetail);
virtual void onMatch(dolphindb::DictionarySP tradeDetail);
4. 回測平臺系統實現
根據系統設計和接口設計,設計如下功能模塊來實現回測和仿真交易系統:
- 遠程連接:遠程連接 DolphinDB 并執行腳本,實現回放數據和清理遠程環境等接口。
- 插件加載和使用:加載模擬撮合插件,封裝模擬撮合插件的相關腳本方法為 C++ 接口,實現下單和撤單等主動調用接口,以及報單委托和成交委托等回調。
- 流數據訂閱、解析和回調:訂閱 DolphinDB 的流表作為數據源,解析流數據并寫入到模擬撮合引擎,實現行情回調。
下面分別介紹使用 Swordfish 和 C++ API 實現的邏輯。
4.1 使用 Swordfish 實現
Swordfish 支持加載插件,支持使用 C++ 函數指針調用插件方法,入參和返回值均為以 Constant 類為基類的 DolphinDB 數據類型。我們可以通過在 Swordfish 本地調用模擬撮合引擎的方法來實現自定義回測邏輯。下面介紹主要邏輯的實現設計。
4.1.1 遠程連接
在 Swordfish 中可以使用?xdb?方法遠程連接 DolphinDB 節點,然后使用?remoteRun?方法執行腳本。為了實現便捷的遠程連接操作,我們封裝了 xdb 和 remoteRun,定義了遠程連接類 DDBConnection。該類專門用于遠程連接指定的 DolphinDB 節點、執行腳本和訂閱流表。參數和返回值參考了 C++ API 遠程連接類的設計,具體說明見源碼注釋。
4.1.2 插件加載和使用
在 Swordfish 中本地加載和使用模擬撮合引擎插件,可以通過?loadPlugin?方法加載并獲得其接口的函數指針。為了實現便捷的插件加載和調用相關接口操作,我們封裝了 loadPlugin 方法,定義了插件類 DDBPlugin,用于加載指定的插件和調用插件的接口。繼承插件類實現模擬撮合引擎插件類 MatchingEngineSimulatorWrapper,調用模擬撮合引擎的相關接口實現下單和撤單等主動調用接口。具體使用說明見源碼注釋。
4.1.3 流數據訂閱、解析和回調
在 Swordfish 中可以使用?subscribeTable?方法訂閱遠程 DolphinDB 的流表,該方法的一個關鍵參數是 handler, 用于處理訂閱數據的函數指針。我們封裝?Swordfish 函數定義類 SwordfishFunctionDef,用于將 C++ 函數指針方便地轉換為 Swordfish 函數指針,從而可以在 C++ 的自定義方法內解析流數據并調用相關業務回調。具體使用說明見源碼注釋。
4.2 使用 C++ API 實現
在 DolphinDB 加載模擬撮合插件后,可以使用 C++ API 遠程連接 DolphinDB,上傳參數并調用相關腳本方法來實現自定義回測邏輯。下面介紹主要邏輯的實現設計。
4.2.1 遠程連接
在 C++ API 可以使用?DBConnection?類遠程連接 DolphinDB 和執行腳本。具體接口使用說明請參考 C++ API 官方文檔。
4.2.2 插件加載和使用
在 C++ API 實現時,模擬撮合引擎插件在 DolphinDB 遠程加載和使用,可以遠程執行?loadPlugin?方法加載插件到 DolphinDB,然后封裝遠程連接類的?run?接口執行模擬撮合引擎的接口腳本,實現模擬撮合引擎插件類 MatchingEngineSimulatorWrapper,實現下單和撤單等主動調用接口。具體接口使用說明請參考 C++ API 官方文檔。
4.2.3 流數據訂閱、解析和回調
在 C++ API 可以使用?ThreadedClient?類訂閱遠程 DolphinDB 的流表,該類提供的?subscribe?方法可以直接以 C++ 的函數指針作為訂閱回調,從而可以在 C++ 的自定義方法內解析流數據并調用相關業務回調。具體接口使用說明請參考 C++ API 官方文檔。
5. 回測案例
基于前述設計與實現方案,本節通過核心代碼示例詳細闡述簡易回測策略的實現邏輯,具體策略為在實時處理每筆行情快照數據后自動生成限價委托訂單。完整代碼請查看附件源碼。
1. 定義接口類并實現策略
繼承 Interface 類為?CustomInterface
?類,并重寫?onQuote
?方法,在收到一筆行情時調用?getMatchEngine
?方法獲取引擎實例,然后調用?submitOrder
?下單:
class CustomInterface : public Interface {public:CustomInterface(unordered_map<string, string> config) : Interface(config) {}void onQuote(const ConstantSP "e) override {...engine = getMatchEngine(new String(matchEngineName_));string symbol = quote->getMember("symbol")->getString();OrderField order;order.symbol = symbol;order.orderType = 5;order.price = bidPrice->getLong();order.orderQty = 200;order.direction = 1;submitOrder(engine, order);}
};
2. 創建模擬撮合引擎在 main 函數中,創建?CustomInterface
?類,使用?getExampleMatchEngineArgs
?方法獲取模擬撮合引擎的示例參數,然后使用?createMatchEngine
?方法創建模擬撮合引擎。
interface = new CustomInterface(config);
auto args = interface->getExampleMatchEngineArgs();
engine = interface->createMatchEngine(args);
3. 訂閱行情數據使用?subQuoteTable
?方法訂閱行情數據,從而使行情回調方法生效。
interface->subQuoteTable();
4. 回放行情數據
使用?replayQuoteToMatchEngine
?方法回放指定股票代碼和日期時間范圍的數據到引擎。
interface->replayQuoteToMatchEngine(codes, startDate, endDate, engine, -1);
5. 等待回測結束
使用?isBacktestEnd
?方法等待回測結束。
interface->isBacktestEnd(true);
6. 輸出績效指標
以使用?getPosition
?方法輸出持倉為例。可以在?CustomInterface
?類中實現自定義指標的計算和輸出。
cout << interface->getPosition() << endl;
6. 性能測試
本文使用的測試環境配置為:
- DolphinDB v3.00.2.2 單節點
- Swordfish v3.00.2 ABI0
- CPU:Intel(R) Xeon(R) Silver 4216 CPU @ 2.10GHz 64核
- 內存:400G
- 硬盤:SSD 12 Gbps
統計 Swordfish 實現的回測框架進行多并發全速回放的總耗時。下單策略為對每筆快照行情下 1 單限價單。性能統計如下:
表 6-1 Swordfish 實現的回測框架性能測試統計
可見多線程并行能夠有效提高性能,但并不是線性的提升,因為服務端的數據回放到流表和發送到客戶端需要一定的耗時。
由于 C++ API 實現下模擬撮合引擎位于遠程 DolphinDB,故下單和撤單等操作存在網絡時延,倍速回放時會出現客戶端操作時刻服務端已回放到更后面的時間的情況,故只能原速回放,無法進行倍速回放性能測試。
7. 總結
本文展示了如何通過使用 Swordfish 或 C++ API 在 C++ 環境下調用模擬撮合引擎插件實現自定義的高性能回測,并封裝了統一的接口,從而實現將 DolphinDB 回測邏輯方便地集成到已有的 C++ 回測系統。其中,Swordfish 可以本地運行模擬撮合引擎,具有更高的靈活性,并支持倍速回放,在性能方面表現更優。
8. 附件
CppApiBacktest.zip
SwordfishBacktest.zip