現在大模型場景繁多，項目中涉及nginx轉發大模型的流式數據時，需配置nginx的轉發策略：

location /streaming {proxy_pass http://backend_server;proxy_cache off; # 關閉緩存proxy_buffering off; # 關閉代理緩沖chunked_transfer_encoding on; # 開啟分塊傳輸編碼tcp_nopush on; # 開啟TCP NOPUSH選項，禁止Nagle算法tcp_nodelay on; # 開啟TCP NODELAY選項，禁止延遲ACK算法keepalive_timeout 300; # 設定keep-alive超時時間為300秒
}

原文地址：點擊跳轉