python 查詢包_查找Python包的依賴包（語句）

Window 10家庭中文版，Python 3.6.4，

今天看完了urllib3的官文(官方文檔)，因為沒有具體使用過，所以，仍然是一知半解，但是，突然想知道?urllib3以及前面學習過的requests模塊都依賴了什么其它模塊。

于是，就有了一段200來行的程序和本文了。

功能名稱：

查找Python包的依賴包(語句)

功能介紹：

找到Python包(包括子目錄)中所有Python語句中的from、import語句，from語句獲取import前面的部分，import語句獲取整行。

使用方法：

使用包的絕對路徑建立類ModuleYilai(模塊依賴)的實例，然后調用實例方法yilais就可以獲得Python包的依賴包呢，以列表形式返回。

程序介紹：

class ModuleYilai

查找包依賴類；

def ispackage(dirpath)

檢查文件夾是否是Python包，判斷是否含有__init__.py文件；

def get_all_dirs(dirpath, level=True)

獲取給定dirpath目錄及其子目錄的絕對路徑的列表，level為True時包含目錄本身；用到了遞歸，內部使用時，level為False；

def get_all_pyfiles(dirpath)

獲取目錄下的所有Python文件(*.py)；

def get_pyfile_yilais(pyfile)

獲取Python文件中所有的from子句、import子句；

需要說明的是，在建立正則表達時是，會忽略了from子句、import子句位于文件開頭的情況，故程序中對from子句、import子句分別使用了兩次正則匹配；

當然，from子句、import子句的規則還是挺多了，目前程序未能完美(100%)匹配，因此，尚有改進空間，很大；

代碼如下(就不添加行號了，方便大家復制)：

'''獲取一個Python包的依賴包(語句列表)

2018-06-24 1625：第一版，并不完善，短時間內也不準備完善了'''

importosimportloggingimportre

zllog= logging.getLogger("zl.yilai")classModuleYilai:'''找到模塊依賴的模塊：'''

__module_path = ''

__module_name = ''

__yilai_modules =set()def __init__(self, module_path):'''輸入模塊的安裝路徑：絕對路徑，不能為根目路“/”'''zllog.debug('ModuleYilai.__init__')#檢查module_path是否符合要求

if notisinstance(module_path, str):print('moule_path (%s) is not str' %type(module_path))return

if len(module_path) == 1:print('the length of module_path (%s) is 1' %module_path)return

if notos.path.isabs(module_path):print('module_path (%s) is not an absolute path' %module_path)return

if notos.path.isdir(module_path):print('module_path (%s) is not a directory' %module_path)return

if notos.path.exists(module_path):print('module path (%s) does not exist' %module_path)return

if module_path.endswith('//') or module_path.endswith('\\\\'):print('too many forward slashes or back slashes in the end of the module_path (%s)' %module_path)return

#目錄下是否有__init__.py文件

#存在此文件，那么，這是一個package

dl =os.listdir(module_path)try:

dl.index('__init__.py')except:print('module_path (%s) is not a package: there is no __init__.py' %module_path)return

#檢查完畢后，設置內部_module_path

self.__module_path =module_path#找出模塊名稱

temp_path =module_pathif temp_path.endswith('/') or temp_path.endswith('\\'):print('module_path processing...')

temp_path= temp_path[:len(temp_path) - 1]

last_slash_index= temp_path.rfind('/')if last_slash_index <0:

last_slash_index= temp_path.rfind('\\')

self.__module_name = temp_path[last_slash_index + 1:]#尋找模塊依賴，并將找打的依賴模塊存放到_yilai_modules中

self._search_yilais()#尋找模塊依賴

def_search_yilais(self):if self.__module_path == '':return

#1.找到模塊下每一個目錄(包括目錄本身)

dirlist = get_all_dirs(self.__module_path)

zllog.debug('length of dirlist:', len(dirlist))#2.找到模塊下每一個模塊文件(*.py)，將其絕對路徑存入列表中

pyfiles =[]for item indirlist:

pyfiles.extend(get_all_pyfiles(item))

zllog.debug('length of pyfiles:', len(pyfiles))#3.找到每一個模塊文件的依賴模塊

fileyilais =[]for item inpyfiles:

fileyilais.extend(get_pyfile_yilais(item))

zllog.debug('length of fileyilais:', len(fileyilais))#4.將fileyilais轉換為set并將其存入實例的_yilai_modules中

self.__yilai_modules =set(fileyilais)

zllog.debug('length of self.__yilai_modules:', len(self.__yilai_modules))#獲取模塊名稱

defmod_name(self):return self.__module_name

#獲取依賴的包的列表

defyilais(self):return list(self.__yilai_modules)#判斷一個文件夾是否是Python包

defispackage(dirpath):try:

dl=os.listdir(dirpath)

dl.index('__init__.py')returnTrueexcept:returnFalse#找到dirpath下所有目錄(包括目錄本身)，以列表形式返回#遞歸算法#level為True時，添加目錄本身，否則，不添加(查找子目錄下的目錄時不添加)

def get_all_dirs(dirpath, level=True):#統一使用UNIX樣式路徑分隔符(/)

#替換后，Windows下也可以運行

dirpath = dirpath.replace('\\', '/')

dirlist=[]#添加目錄自身

iflevel:

dirlist.append(dirpath)

dl=os.listdir(dirpath)#排除其中的__pycache__和test文件夾

try:

dl.remove('__pycache__')

dl.remove('test')except:pass

for item indl:

itempath= dirpath + '/' +itemifos.path.isdir(itempath):#將目錄添加到返回列表中

dirlist.append(itempath)#執行get_all_dirs獲取其下的目錄并添加到dirlist中！

dirlist.extend(get_all_dirs(itempath, level=False))returndirlist#找到diapath下所有Python模塊(*.py文件)，以列表形式返回#dirpath為絕對路徑

defget_all_pyfiles(dirpath):#統一使用UNIX樣式路徑分隔符(/)

#替換后，Windows下也可以運行

dirpath = dirpath.replace('\\', '/')

rs=[]if notos.path.isdir(dirpath):returndl=os.listdir(dirpath)for item indl:

itempath= dirpath + '/' +item#檢查是否是文件，是否要是py文件

if os.path.isfile(itempath) and item.endswith('.py'):

rs.append(itempath)returnrs#獲取一個Python模塊(.py文件)導入的包#結果以列表形式返回# #可能的形式：#1.import sys#2.from __future__ import absolute_import#3.from socket import error as SocketError, timeout as SocketTimeout#4.#from .connection import (#port_by_scheme,#DummyConnection,#HTTPConnection, HTTPSConnection, VerifiedHTTPSConnection,#HTTPException, BaseSSLError,#)#5.#if six.PY2:## Queue is imported for side effects on MS Windows#import Queue as _unused_module_Queue # noqa: F401#6.import mod1, mod2, mod3#7....

defget_pyfile_yilais(pyfile):'''格式很多，尚未完善！！'''rs=[]if notos.path.isfile(pyfile):print('[get_pyfile_yilais] pyfile (%s) is not a file.' %pyfile)returnrs

with open(pyfile,'r', encoding='utf-8') as f:

content=f.read()#rs1 = re.findall('\n(from\s+.+)\s', content)

#from可以在文件的開頭，或者一行的開頭，或者注釋中，需要前面兩種

rs1 = re.findall('^(from\s+[\_\.0-9a-zA-Z]+)\s', content)

rs2= re.findall('\n(from\s+[\_\.0-9a-zA-Z]+)\s', content)#print('rs1 = ', rs1)

#print('rs2 = ', rs2)

rs3= re.findall('^(import\s+.+)', content)

rs4= re.findall('\n(import\s+.+)', content)#print('rs3 = ', rs3)

#print('rs4 = ', rs4)

rs = rs1 + rs2 + rs3 +rs4returnrsif __name__ == '__main__':#一些測試

#m1 = ModuleYilai('C:\\Python36\\Lib\\sqlite3')

#m2 = ModuleYilai('C:\\Python36\\Lib\\sqlite3\\')

#m3 = ModuleYilai('C:\\Python36\\Lib')

#m4 = ModuleYilai('C:\\Python36\\Lib\\')

#m5 = ModuleYilai('C:/Python36/Lib/sqlite3')

#m6 = ModuleYilai('C:/Python36/Lib/sqlite3/')

#m7 = ModuleYilai('C:/Python36/Lib/sqlite3//')

#m8 = ModuleYilai('C')

#m9 = ModuleYilai('/')

#m10 = ModuleYilai('\\')

#測試get_pyfile_yilais

#get_pyfile_yilais('C:\\Python36\\Lib\\sqlite3\\dbapi2.py')

#print()

#get_pyfile_yilais('C:\\Python36\\Lib\\site-packages\\urllib3\\connectionpool.py')

#測試get_all_dirs

#retlist = get_all_dirs('C:\\Python36\\Lib\\site-packages\\urllib3')

#for item in retlist:

#print(item)

#Test urllib3 module

m1 = ModuleYilai('C:\\Python36\\Lib\\site-packages\\urllib3')print('module name:', m1.mod_name())print('length:', len(m1.yilais()))print(m1.yilais())print()#Test of requests module

m2 = ModuleYilai('C:\\Python36\\Lib\\site-packages\\requests')print('module name:', m2.mod_name())print('length:', len(m2.yilais()))print(m2.yilais())print()#Test of D:\\Users\\log

m3 = ModuleYilai('D:\\Users\\log')print('module name:', m3.mod_name())print('length:', len(m3.yilais()))print(m3.yilais())

mdeps.py

測試結果：

改進方式：

本想在程序中使用logging記錄日志，發現它和print混用時在Console輸出的消息是混亂的；

使用setLevel函數設置了日志優先級，可是，沒能輸出想要的調試信息，還需繼續研究；

程序使用自己的雜亂的方法進行了測試，更高質量的測試工具unittest、pytest沒能用到；

對于from子句、import的抓取，目前只使用了兩個簡單的規則，其它的尚需進一步完善，但孤可能不會繼續了；

對模塊以一個點、兩個點開頭的方式沒有做處理；

代碼中的def ispackage(dirpath)函數沒有用到，本想檢測目錄是否是Python包的，可自行添加；

本次收獲：

寫了一個Python類了，還用到了兩個下劃線開頭的私有變量；

用了一些list、set、str的方法呢；

練習了正則表達式的使用，不過，還是不很熟練，需提高；

輕車熟路地使用了with語句；

今天添加了幾個小時的認真時間；

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/538474.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/538474.shtml
英文地址，請注明出處：http://en.pswp.cn/news/538474.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

618選購手機正當時，好評率高達99%的手機了解一下！

618選購手機正當時，好評率高達99%的手機了解一下！

一年一度的京東618年中購物狂歡節如火如荼的進行中&#xff0c;手機廠商們都使出了渾身解數&#xff0c;對消費者進行爭奪。對于用戶來說&#xff0c;618絕對是更換手機的好時機。不過&#xff0c;小伙伴們面對市場上的眾多機型&#xff0c;也有可能挑花了眼&#xff0c;不知道…
閱讀更多...
IntelliJ IDEA 2017.2 x64 安裝Scala

IntelliJ IDEA 2017.2 x64 安裝Scala

從官網下載好IntelliJ IDEA 和scala IntelliJ IDEA 安裝scala插件 新建scala項目 建好后&#xff0c;發現src右鍵--新建---沒有 .scala選項 解決方法
閱讀更多...
Django-ORM數據庫操作

Django-ORM數據庫操作

背景 Django框架功能齊全自帶數據庫操作功能&#xff0c;由于工作中設計巨量的api接口&#xff0c;需要一個很好的web后端服務框架&#xff0c;Django給了莫大的幫助。本文主要介紹Django的ORM框架我們一般對數據庫的使用的認識是&#xff1a; 創建數據庫&#xff0c;設計表結構…
閱讀更多...
python查詢缺失值所在位置_Python Pandas找到缺失值的位置方法

python查詢缺失值所在位置_Python Pandas找到缺失值的位置方法

問題描述&#xff1a;python pandas判斷缺失值一般采用 isnull()&#xff0c;然而生成的卻是所有數據的true&#xff0f;false矩陣&#xff0c;對于龐大的數據dataframe&#xff0c;很難一眼看出來哪個數據缺失&#xff0c;一共有多少個缺失數據&#xff0c;缺失數據的位置。首…
閱讀更多...
快學Scala習題解答—第二章 控制結構和函數

快學Scala習題解答—第二章 控制結構和函數

原文地址&#xff1a;http://blog.csdn.net/ivan_pig/article/details/8253068 ---------------------------------------------------------------------------------- 3 控制結構和函數 3.1 一個數字如果為正數&#xff0c;則它的signum為1;如果是負數,則signum為-1;如果為0…
閱讀更多...
java barrier_Java - Latch和Barrier的區別

java barrier_Java - Latch和Barrier的區別

之所以把Latch與Barrier放在一起比較是因為他們給人一種相似的感覺。他們都是阻塞一些行為直至某個事件發生&#xff0c;但Latch是等待某個事件發生&#xff0c;而Barrier是等待線程。先比較一下JCIP中對二者的描述&#xff1a;LatchA latch is a synchronizer that can delay …
閱讀更多...
Kingback小組沖刺博客

Kingback小組沖刺博客

一、6月13日 1、今日完成的任務 李可欣 項目首頁的框架設計 項目首頁的導航欄部分 對于項目的配色進行了改進&#xff0c;并且設計了logo 楊帆 今天進行了數據庫的設計&#xff0c;完成了數據庫的增刪改查&#xff0c;并建立了兩個jsp頁面&#xff0c;還學習了一些數據庫設計的…
閱讀更多...
用python前端html后端django_淺談Django前端后端值傳遞問題

用python前端html后端django_淺談Django前端后端值傳遞問題

前端后端傳值問題總結前端傳給后端通過表單傳值1、通過表單get請求傳值在前端當通過get的方式傳值時&#xff0c;表單中的標簽的name值將會被當做action的地址的參數此時&#xff0c;在后端可以通過get請求相應的name值拿到對應的value值例子:html中:{% csrf_token %}類別{% fo…
閱讀更多...
使用Git上傳本地項目到oschina

使用Git上傳本地項目到oschina

原文地址&#xff1a;https://my.oschina.net/158/blog/530112 --------------------------------------------- 1.首先看一下自己是否有公鑰&#xff0c; 在 我的資料-->SSH公鑰 查看&#xff0c;如果沒有&#xff0c;添加自己的SSH 公鑰&#xff1a; SSH key 可以讓你在…
閱讀更多...
手動創建git忽略push清單，node_module以及自身

手動創建git忽略push清單，node_module以及自身

1.文件夾內右鍵git bash&#xff0c;輸 touch .gitignore&#xff0c;注意中間有空格 2.編輯器打開生成的 .gitignore 文件&#xff0c;加入 .gitignore node_modules12 3.保存 4.以后再push到倉庫的就會過濾這倆了&#xff0c;想加啥自己加
閱讀更多...
整數數組按絕對值排序

整數數組按絕對值排序

2019獨角獸企業重金招聘Python工程師標準>>> 題目&#xff1a; 給出一組整數數組&#xff0c;要求按照絕對值從小到大進行排序后輸出。 可以用經典的冒泡排序法來計算此問題&#xff0c;計算過程&#xff1a; 1、比較相鄰兩個元素絕對值&#xff0c;如果第一個比第二…
閱讀更多...
python定時任務是異步的嗎_定時任務、異步任務

python定時任務是異步的嗎_定時任務、異步任務

------------定時任務、異步任務--------pip install celery --targetD:\Users\ex-ouyangl003\PycharmProjects\data_new\dg_meta_system\metadata_system\venv\Lib\site-packages# coding:utf-8from apscheduler.schedulers.blocking import BlockingSchedulerimport datetime…
閱讀更多...
java excel自動保存_java讀取excel的內容（可保存到數據庫中）

java excel自動保存_java讀取excel的內容（可保存到數據庫中）

//**poi jar包//public classReadExcel {SuppressWarnings("static-access")private staticString getValue(HSSFCell hssfCell) {if (hssfCell.getCellType() hssfCell.CELL_TYPE_BOOLEAN) {//返回布爾類型的值returnString.valueOf(hssfCell.getBooleanCellValue()…
閱讀更多...
《快學Scala》勘誤

《快學Scala》勘誤

原文鏈接&#xff1a;http://www.blogjava.net/sean/archive/2012/11/15/391386.html ---------------- 第11頁&#xff08;練習&#xff09;&#xff1a; 在Scala REPL中鍵入3&#xff0c;然后按Tab鍵 應為 在Scala REPL中鍵入3.&#xff0c;然后按Tab鍵 第19頁&#xff0…
閱讀更多...
二分排序java實現

二分排序java實現

1.什么是二分排序&#xff1a; 二分排序是指利用二分法的思想對插入排序進行改進的一種插入排序算法&#xff0c;不同于二叉排序&#xff0c;可以利用數組的特點快速定位指定索引的元素&#xff1b; 算法思想&#xff1a;二分法插入排序是在插入第i個元素時&#xff0c;對前面的…
閱讀更多...
pearson相關系數_pearson相關系數與典型相關性分析（CCA）

pearson相關系數_pearson相關系數與典型相關性分析（CCA）

本文主要介紹相關系數的概念&#xff0c;以及簡單相關系數中的pearson相關系數及其局限性。隨后介紹pearson相關系數無法解決的問題(兩個變量組之間的相關性問題)的解決方案。1、pearson相關系數在日常中&#xff0c;我們經常會遇到一些關于相關性的分析&#xff0c;例如&#…
閱讀更多...
快學Scala習題解答—第三章 數組相關操作

快學Scala習題解答—第三章 數組相關操作

原文鏈接&#xff1a;http://blog.csdn.net/ivan_pig/article/details/8257365 -------------------------------------------------- 4 數組相關操作 4.1 編寫一段代碼&#xff0c;將a設置為一個n個隨機整數的數組&#xff0c;要求隨機數介于0(包含)和n(不包含)之間 random和…
閱讀更多...
seo自動工具_愛站SEO工具包詳細介紹

seo自動工具_愛站SEO工具包詳細介紹

愛站SEO工具-seoer的瑞士軍刀&#xff01;這個工具主要是為了方便SEOer查詢一些網站的問題&#xff0c;監控關鍵詞排名收錄等等&#xff0c;新手老手都可以用的工具&#xff0c;更快的讓SEOer上手。相信有很多SEOer都使用過愛站SEO工具包&#xff0c;也有很多新入行的小伙伴可能…
閱讀更多...
人物三（依芙蒂法）

人物三（依芙蒂法）

轉載于:https://www.cnblogs.com/song1900/p/9189921.html
閱讀更多...
常用Oracle分析函數詳解

常用Oracle分析函數詳解

原文鏈接&#xff1a;http://www.cnblogs.com/benio/archive/2011/06/01/2066106.html --------------------------------------------------------------------------- 學習步驟&#xff1a; 1. 擁有Oracle EBS demo 環境 或者 PROD 環境 2. copy以下代碼進 PL/SQL 3. 配合解…
閱讀更多...
最新文章

Copyright @ 2022~2023