pybind11 導出 C++ map 在 Python 層 get 訪問慢的優化方案

問題描述

通過 pybind11 導出 C++ 的 std::map 或 std::unordered_map，在 Python 代碼中頻繁使用 get 方法訪問 value 時，性能非常低下。其主要原因是：

• pybind11 的 map 綁定會導致每次訪問都跨越 Python/C++ 邊界，開銷很大。
• 如果在 Python 層高頻訪問 C++ map，每次都要進入 C++ 層查找，效率遠低于直接用 Python dict。
• 如果每次都把整個 map 拷貝到 Python（如頻繁調用 get_map_as_dict），則會有更大的性能損耗。

解決方案

1. 批量查找，減少跨界調用

設計 C++ 方法，接收一組 key，批量返回對應的 value，減少 Python/C++ 之間的調用次數。

py::dict batch_get(const std::map<std::string, int>& m, const std::vector<std::string>& keys) {py::dict d;for (const auto& key : keys) {auto it = m.find(key);if (it != m.end()) {d[key.c_str()] = it->second;}}return d;
}

pybind11 綁定：

m.def("batch_get", &batch_get);

Python 調用：

keys = ["a", "b", "c"]
result = mod.batch_get(keys)
# result 是 dict，只包含需要的 key

2. 一次性拷貝 map 到 Python，只在 map 不變時用

如果 map 內容不會頻繁變化，可以只在初始化時拷貝一次，后續都在 Python 層查找。

3. to_dict 緩存優化

如果 map 很大且只讀或低頻變更，可以在 C++ 層實現 to_dict 緩存：

• 第一次調用時將 map 轉為 Python dict 并緩存。
• 后續 map 未變時直接返回緩存，性能極高。
• map 變更時清空緩存，下次再生成。

示例代碼：

#include <pybind11/pybind11.h>
#include <pybind11/stl.h>
#include <optional>namespace py = pybind11;class MapWrapper {
public:std::map<std::string, int> m;std::optional<py::dict> cache;py::dict to_dict() {if (cache.has_value()) {return cache.value();}py::dict d;for (const auto& kv : m) {d[kv.first.c_str()] = kv.second;}cache = d;return d;}void insert(const std::string& key, int value) {m[key] = value;cache.reset(); // 數據變了，清空緩存}
};PYBIND11_MODULE(example, m) {py::class_<MapWrapper>(m, "MapWrapper").def(py::init<>()).def("to_dict", &MapWrapper::to_dict).def("insert", &MapWrapper::insert);
}

Python 用法：

w = example.MapWrapper()
w.insert("a", 1)
d = w.to_dict()  # 第一次生成并緩存
d2 = w.to_dict() # 直接返回緩存，速度極快

總結

• 跨 Python/C++ 邊界的高頻調用是性能瓶頸，需盡量減少。
• 推薦批量查找或一次性拷貝到 Python。
• to_dict 緩存方案適合只讀或低頻變更場景。
• map 頻繁變更時，建議用 batch_get 等批量查找方法。