python中生成器

生成器是根據算法生成數據的一種機制,每次調用生成器只生成一個值,可以節省大量內存

生成器推導式

gg = ( i * 2 for i in  range(5))print(gg)print(next(gg)) # 0
print(next(gg)) # 2
print(next(gg)) # 4
print(next(gg)) # 6
print(next(gg)) # 8

yield關鍵字

def generater(num):for i in range(num):print("開始")yield iprint("生成完成")g = generater(2)print( next(g) )
print( next(g) )
print( next(g) )"""
開始
0
生成完成
開始
1
生成完成
Traceback (most recent call last):File "d:\Code\PythonProject\with\Generator2.py", line 11, in <module>print( next(g) )^^^^^^^
StopIteration
"""
def generater(num):for i in range(num):print("開始")yield iprint("生成完成")g = generater(5)for i in g:print(i)
"""
不會報錯
"""

生成器的核心思想是??惰性計算??。它不會一次性把所有數據都計算出來并存儲在內存中,而是“需要的時候才計算,每次只給你一個”。

假設有一個幾十GB的日志文件,你需要逐行處理。

def read_file_to_list(filename):result = [] # 創建一個空列表with open(filename) as f:for line in f:result.append(line) # 將每一行都添加到列表中return result # 返回一個包含所有行的巨大列表data = read_file_to_list('huge_log.log') # 內存爆炸!
for line in data:process(line)

??問題??:result列表會嘗試將所有文件內容加載到內存中,如果文件極大,會消耗巨量內存甚至導致程序崩潰。

def read_file_by_line(filename):with open(filename) as f:for line in f: yield line # 關鍵在這里:使用yielddata_generator = read_file_by_line('huge_log.log') # 幾乎不占內存
for line in data_generator: # 每次循環從文件里讀一行到內存process(line)

1. 調用read_file_by_line時候,函數不會立即執行,而是返回一個生成器對象,此時文件一行都沒讀

2. 在for循環中,每次迭代會從生成器中請求一個值(一行內容)

3. 生成器函數從上次暫停的yield處繼續執行,讀取文件的下一行,yield返回這行數據,然后立即暫停。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/94405.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/94405.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/94405.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

【RAGFlow代碼詳解-28】部署和基礎設施

Docker 部署架構 RAGFlow 使用多階段 Docker 構建過程和 Docker Compose 編排進行部署。該系統支持完整和輕量級部署變體。 多階段 Docker 構建構建過程由 Dockerfile 2-214中定義的三個階段組成&#xff1a; 基礎階段 &#xff1a;使用系統依賴項、ML 模型和運行時環境設置 Ub…

【prism】Prism 彈窗在 ViewModel 中控制大小的實踐總結

好 &#x1f44d; 這個思路非常適合寫成一篇 實用型博客&#xff0c;主題就是 “Prism 彈窗如何在 ViewModel 中控制窗口大小”。我幫你整理了一篇文章草稿&#xff0c;你可以直接拿去修改/發布。Prism 彈窗在 ViewModel 中控制大小的實踐總結 在 WPF 中使用 Prism 的 IDialogS…

項目管理進階——研發項目立項管理制度

為使公司研究開發(以下簡稱研發)項目的管理工作規范化、程序化、充分調度研發人員的積極性,提高研發成果的產出率和成果轉化率,特制定管理辦法。 一、 研發項目的立項: 原則上公司部設立基礎研究項目。研發項目的重點放在符合市場需要。能很快轉化成產品,或對現有生產工…

CMake構建學習筆記20-iconv庫的構建

1. 構建 iconv是一個用于在不同字符編碼&#xff08;如 UTF-8、GBK、ISO-8859-1 等&#xff09;之間進行轉換的開源庫。筆者在《c中utf8字符串和gbk字符串的轉換》這篇文章中介紹過如何在Windows下實現utf8字符串和gbk字符串的轉換&#xff0c;不過該實現是基于Win32 API的&am…

STM32的Sg90舵機

1.舵機到底要的是什么信號&#xff1f;想象舵機就像一個“聽秒表的工人”&#xff1a;這個工人每隔 20ms 就抬頭看看秒表一次。秒表上的 高電平持續多久&#xff0c;他就把這個時間當成“指令角度”。高 1ms → 轉到最左&#xff08;0&#xff09; 高 1.5ms → 轉到中間&#x…

動態帶寬擴展(DBE):下一代Wi-Fi性能提升的關鍵技術

動態帶寬擴展(DBE):下一代Wi-Fi性能提升的關鍵技術 引言 在無線通信技術快速發展的今天,用戶對網絡帶寬和傳輸速率的需求呈指數級增長。為了滿足這種需求,IEEE 802.11標準不斷演進,引入了多項創新技術。其中,動態帶寬擴展(Dynamic Bandwidth Expansion, DBE) 作為80…

Seaborn數據可視化實戰:Seaborn數據可視化基礎-從內置數據集到外部數據集的應用

Seaborn數據集探索與圖表繪制實踐 學習目標 通過本課程&#xff0c;你將學習如何使用Seaborn庫中的內置數據集&#xff0c;了解如何加載這些數據集&#xff0c;并掌握使用這些數據集繪制圖表的基本方法。此外&#xff0c;你還將學習如何導入外部數據集&#xff0c;并在Seaborn中…

漫談《數字圖像處理》之經典空域邊緣檢測Canny與LOG

在《數字圖像處理》的圖像分割領域&#xff0c;Canny 邊緣檢測與 LOG&#xff08;高斯拉普拉斯&#xff09;邊緣檢測是兩款極具代表性的先進空域算法。不同于深度學習驅動的方法&#xff0c;它們通過對圖像像素的直接計算提取邊緣&#xff0c;下面用更貼近日常認知的語言&#…

搶紅包案例加強版

加join的功能是保證線程全部運行完畢&#xff0c;之后好統計構造器剛開始為空列表&#xff0c;利用這個方法返回每個成員列表&#xff08;把每個員工弄成一個列表里面寫他們搶到的紅包大小&#xff0c;索引代表搶到的個數。&#xff09;

曲面方程的三維可視化:從數學解析到Python實現

在三維幾何建模中,我們經常遇到需要將隱式方程可視化的需求。本文將深入探討一個特定的曲面方程: XH?YH2+ZH2tan?(θ)?H2πarcsin?(YHYH2+ZH2)=0 X_H - \frac{\sqrt{Y_H^2 + Z_H^2}}{\tan(\theta)} - \frac{H}{2\pi} \arcsin\left( \frac{Y_H}{\sqrt{Y_H^2 + Z_H^2}} \r…

當GitHub宕機時,我們如何協作

引言簡述GitHub在全球開發協作中的重要性提出假設性問題&#xff1a;當GitHub不可用時&#xff0c;如何確保團隊協作不中斷常見的GitHub宕機場景服務完全不可用&#xff08;如DNS問題、全球性故障&#xff09;部分功能受限&#xff08;如API速率限制、倉庫訪問失敗&#xff09;…

如何確定哪些層應添加適配器(Adapter)?(58)

“它如何確定哪些層應添加適配器(Adapter)?是否只有量化層符合條件?我能否也將適配器添加到常規(非量化)線性層上?” 這個問題提得很好,我會逐一為你解答。首先,先給出簡潔結論: ? 主流模型架構會預配置目標層列表,適配器將應用于這些列表中的層。 ? 無論目標層…

【內網滲透】CVE-2025-21420 利用cleanmgr本地提權

目錄 原理 POC 復現 一個windows本地提權漏洞 這是一個存在于Windows磁盤清理工具&#xff08;cleanmgr.exe&#xff09;中的權限提升漏洞。攻擊者可以利用該系統組件在處理特定目錄時的邏輯缺陷&#xff0c;通過精心構造的符號鏈接&#xff08;Symbolic Link&#xff09;&a…

什么是JSON-RPC 2.0,在項目中應該怎么使用

它是什么 JSON-RPC 2.0 是一種超輕量、與傳輸無關的遠程調用協議&#xff1a;用 JSON 表達“方法名 參數 → 結果/錯誤”。可跑在 HTTP、WebSocket、Unix 管道&#xff0c;甚至 stdio 上&#xff08;很多開發協議如 LSP 就用它&#xff09;。 報文長這樣 ? 請求&#xff1a; …

基于CentOS7:Linux服務器的初始化流程

文章目錄前言一、服務器初始化1.1 配置國內 Yum 源&#xff08;加速軟件安裝&#xff09;1.1.1 使用阿里云源1.1.2 使用清華源&#xff08;可選&#xff09;1.2 更新系統與安裝必備工具1.3 網絡連接驗證1.4 配置主機名1.5 同步時間1.6 配置iptables防火墻1.6.1 手動配置iptable…

如何避免MyBatis二級緩存中的臟讀

避免 MyBatis 二級緩存中的臟讀問題&#xff08;即緩存數據與數據庫實際數據不一致&#xff09;&#xff0c;需要從緩存更新機制、配置策略、業務設計等多維度入手。以下是經過實踐驗證的解決方案&#xff0c;結合底層原理和具體實現&#xff1a;一、理解二級緩存臟讀的根源臟讀…

Python實現RANSAC進行點云直線、平面、曲面、圓、球體和圓柱擬合

本節我們分享使用RANSAC算法進行點云的擬合。RANSAC算法是什么&#xff1f;不知道的同學們前排罰站&#xff01;(前面有)總的來說&#xff0c;RANSAC&#xff08;Random Sample Consensus&#xff09;是一種通用的迭代魯棒估計框架&#xff0c;無論擬合何種幾何模型&#xff0c…

實驗2 天氣預報

實驗1 天氣預報一、實驗目標二、實驗步驟&#xff08;一&#xff09;準備工作&#xff08;二&#xff09;小程序開發項目創建頁面配置視圖設計邏輯實現三、程序運行結果四、問題總結與體會主要問題及解決方案主要收獲chunk的博客地址一、實驗目標 1、掌握服務器域名配置和臨時…

【CVE-2025-5419】(內附EXP) Google Chrome 越界讀寫漏洞【內附EXP】

前言 近日,奇安信CERT監測到Google Chrome中曝出一枚高危安全漏洞(CVE-2025-5419,QVD-2025-21836),該漏洞屬于越界讀寫問題,攻擊者只需通過構造惡意網頁,就可能觸發漏洞,從而繞過Chrome的沙箱防護,直接實現遠程代碼執行,最終完全控制用戶設備。目前,安全社區已確認…

【科研繪圖系列】R語言在海洋生態學中的應用:浮游植物糖類組成與溶解性有機碳的關系

禁止商業或二改轉載,僅供自學使用,侵權必究,如需截取部分內容請后臺聯系作者! 文章目錄 介紹 數據準備 數據處理 糖類組成隨年齡的變化 糖類組成與DOC含量的關系 數據可視化 加載R包 數據下載 導入數據 數據預處理 畫圖 總結 系統信息 介紹 本教材通過R語言及其強大的數據…