我將對其進行重新設計以充當流式傳輸，而不是在一個塊上。
一個更簡單的方法是：
std::ifstream ifs("input.txt");
std::vector parsed(std::istream_iterator(ifs), {});
如果您大致知道期望多少個值，那么預先使用std::vector::reserve它可以進一步加快速度。
另外，您可以使用內存映射文件并遍歷字符序列。
更新 我修改了上面的程序以將uint32_ts 解析為向量。
使用4.5GiB [1] 的樣本輸入文件時，程序將在9秒 [2] 內運行：
sehe@desktop:/tmp$ make -B && sudo chrt -f 99 /usr/bin/time -f "%E elapsed, %c context switches" ./test smaller.txt
g++ -std=c++0x -Wall -pedantic -g -O2 -march=native test.cpp -o test -lboost_system -lboost_iostreams -ltcmalloc
parse success
trailing unparsed: '
'
data.size(): 402653184
0:08.96 elapsed, 6 context switches
當然，它至少分配402653184 * 4 字節= 1.5吉字節。因此，當您讀取一個45
GB的文件時，您將需要大約15GiB的RAM來存儲矢量(假設重新分配時沒有碎片)：45GiB解析在45分鐘內完成10分鐘* ：
make && sudo chrt -f 99 /usr/bin/time -f "%E elapsed, %c context switches" ./test 45gib_uint32s.txt
make: Nothing to be done for `all'.
tcmalloc: large alloc 17570324480 bytes == 0x2cb6000 @ 0x7ffe6b81dd9c 0x7ffe6b83dae9 0x401320 0x7ffe6af4cec5 0x40176f (nil)
Parse success
Trailing unparsed: 1 characters
Data.size(): 4026531840
Time taken by parsing: 644.64s
10:45.96 elapsed, 42 context switches
相比之下，僅運行wc -l 45gib_uint32s.txt就花費了大約12分鐘(盡管沒有實時優先級調度)。wc是 極快
完整代碼用于基準測試
#include
#include
#include
namespace qi = boost::spirit::qi;
typedef std::vector data_t;
using hrclock = std::chrono::high_resolution_clock;
int main(int argc, char** argv) {
if (argc<2) return 255;
data_t data;
data.reserve(4392580288); // for the 45 GiB file benchmark
// data.reserve(402653284); // for the 4.5 GiB file benchmark
boost::iostreams::mapped_file mmap(argv[1], boost::iostreams::mapped_file::readonly);
auto f = mmap.const_data();
auto l = f + mmap.size();
using namespace qi;
auto start_parse = hrclock::now();
bool ok = phrase_parse(f,l,int_parser() % eol, blank, data);
auto stop_time = hrclock::now();
if (ok)
std::cout << "Parse success\n";
else
std::cerr << "Parse failed at #" << std::distance(mmap.const_data(), f) << " around '" << std::string(f,f+50) << "'\n";
if (f!=l)
std::cerr << "Trailing unparsed: " << std::distance(f,l) << " characters\n";
std::cout << "Data.size(): " << data.size() << "\n";
std::cout << "Time taken by parsing: " << std::chrono::duration_cast<:chrono::milliseconds>(stop_time-start_parse).count() / 1000.0 << "s\n";
}
[1] 產生od -t u4 /dev/urandom -A none -v -w4 | pv | dd bs=1M
count=$((9*1024/2)) iflag=fullblock > smaller.txt
[2] 顯然，這與在Linux上的緩沖區緩存中緩存的文件有關–大文件沒有此好處
)
