Python 中的可執行對象 eval，exec 和 compile 與其在深度學習訓練中的應用實例

eval

計算指定表達式的值。也就是說它要執行的python代碼只能是單個表達式（注意eval不支持任何形式的賦值操作），而不能是復雜的代碼邏輯。

eval(source, globals=None, locals=None, /)

obj可以是字符串對象或者已經由compile編譯過的代碼對象。globals和locals是可選的，分別代表了全局和局部名稱空間中的對象，其中globals必須是字典，而locals是任意的映射對象。

參數說明：

source：必選參數，可以是字符串，也可以是一個任意的code(代碼)對象實例（可以通過complie函數創建）。如果它是一個字符串，它會被當作一個（使用globals和locals參數作為全局和本地命名空間的）python表達式進行分析和解釋。

globals：可選參數，表示全局命名空間（存放全局變量），如果被提供，則必須是一個字典對象。

locals：可選參數，表示全局命名空間（存放局部變量），如果被提供，可以是任何映射對象。如果參數被忽略，那么它將會取與globals相同的值。

如果globals與locals都被忽略，那么它們將取eval()函數被調用環境下的全局命名空間和局部命名空間。

返回值：

如果source是一個code對象，且創建該code對象時，complie函數的mode參數是‘exec’，那么eval()函數的返回值是None；

否則，如果source是一個輸出語句，如print()，則eval()返回結果為None；

否則，source表達式的結果就是eval()函數的返回值

例：

x = 10
def func():y = 20   #局部變量ya = eval("x+y")print("a:",a)      #x沒有就調用全局變量b = eval("x+y",{"x":1,"y":2})     #定義局部變量，優先調用print("b:",b)c = eval("x+y",{"x":1,"y":2},{"y":3,"z":4})  print("c:",c)  d = eval("print(x,y)")print("d:",d)   #對于變量d，因為print()函數不是一個計算表達式，因此沒有返回值
func()

輸出：

a: 30
b: 3
c: 4
10 20
d: None

注意eval不能用于變量的賦值，例如：

eval('x = 3')
print(x)

輸出：

Traceback (most recent call last):File "111111.py", line 1, in <module>eval('x = 3')File "<string>", line 1x = 3^
SyntaxError: invalid syntax

exec

動態執行python代碼。也就是說exec可以執行復雜的python代碼，而不像eval函數那樣只能計算一個表達式的值。

exec(source, globals=None, locals=None, /)

source：必選參數，表示需要被指定的python代碼。它必須是字符串或code對象。如果source是一個字符串，該字符串會先被解析為一組python語句，然后執行。如果source是一個code對象，那么它只是被簡單的執行。

返回值：

exec函數的返回值永遠為None。

eval()函數和exec()函數的區別：

eval()函數只能計算單個表達式的值，而exec()函數可以動態運行代碼段。

eval()函數可以有返回值，而exec()函數返回值永遠為None。

例：

我們把eval中的例子拿過來執行

x = 10
def func():y = 20a = exec("x+y")print("a:",a)b = exec("x+y",{"x":1,"y":2})print("b:",b)c = exec("x+y",{"x":1,"y":2},{"y":3,"z":4})print("c:",c)d = exec("print(x,y)")print("d:",d)
func()

輸出：

#exec不會有任何返回值
a: None   
b: None
c: None
10 20
d: None

例：

x = 10
expr = """
z = 30
sum = x + y + z   #一大包代碼
print(sum)
"""
def func():y = 20exec(expr)   10+20+30exec(expr,{'x':1,'y':2}) 30+1+2exec(expr,{'x':1,'y':2},{'y':3,'z':4}) #30+1+3，x是定義全局變量1，y是局部變量func()

輸出：

60
33
34

并且exec可用于賦值，例如：

exec('x = 3')
print(x)

輸出：

3

complie

compile(source, filename, mode, flags=0, dont_inherit=False, optimize=-1)

參數說明：

source：字符串或AST對象，表示需要進行編譯的python代碼

filename：指定需要編譯的代碼文件，如果不是文件讀取代碼則傳遞一些可辨認的值。

mode：用于標識必須當做那類代表來編譯；如果source是由一個代碼語句序列組成，則指定mode=‘exec’，如果source由單個表達式組成，則指定mode=‘eval’；如果source是由一個單獨的交互式語句組成，則指定modo=‘single’。必須要指定，不然肯定會報錯。

例：

s = """              #一大段代碼
for x in range(10):print(x, end='')  
print()
"""
code_exec = compile(s, '<string>', 'exec')   #必須要指定mode，指定錯了和不指定就會報錯。
code_eval = compile('10 + 20', '<string>', 'eval')   #單個表達式
code_single = compile('name = input("Input Your Name: ")', '<string>', 'single')   #交互式a = exec(code_exec)   #使用的exec，因此沒有返回值
b = eval(code_eval)  c = exec(code_single)  #交互
d = eval(code_single)print('a: ', a)
print('b: ', b)
print('c: ', c)
print('name: ', name)
print('d: ', d)
print('name; ', name)

輸出：

0123456789  #有print就會打印
Input Your Name: kebi
Input Your Name: kebi
a:  None
b:  30
c:  None
name:  kebi
d:  None
name;  kebi

在深度學習訓練中的應用實例

首先介紹一個比較常用的記錄指標和損失的util。

class AverageMeter(object):'''Computes and stores the average and current value'''def __init__(self):self.reset()def reset(self):self.val = 0self.avg = 0self.sum = 0self.count = 0def update(self, val, n=1):self.val = valself.sum += val * nself.count += nself.avg = self.sum / self.count

使用這個AverageMeter類，在每個step內update以下要記錄的指標或者損失值，在每個epoch最后輸出其avg到tensorboard即可。

配合上面介紹的可執行對象。

def epoch_forward(metrics_list):for metric in metrics_list:exec("{} = AverageMeter()".format(metric))	# 實例化一個對象，注意這里相當于是在賦值，要用exec，不能用evalfor data in loader:'''training loop'''for metric in metrics_list:					# 每個step更新記錄eval("{}.update(_{})".format(metric, metric))			# 這里在訓練時統一用下劃線加指標名命名每個step的值 如：_loss# 簡單表達式 eval，exec都可		metrics_res_list = []						# 每個epoch結束，返回記錄的指標值for metric in metrics_list:metrics_res_list.append(eval("{}.avg".format(metric)))return metrics_res_list			# 返回記錄的指標值def store_curve(writer, metrics_list, metrics_res_list, epoch):for i in range(len(metrics_list)):exec("writer.add_scalar('{}', {}, {})".format(metrics_list[i], metrics_res_list[i], epoch))		# 將記錄的指標值輸出到tensorboardif __name__ == "__main__":'''preparision for training (model, dataset, ...)'''writer = SummaryWriter("runs")for epoch in epochs:metrics_list = ['acc', 'loss']	# 給定要記錄的指標或損失列表metrics_res_list = epoch_forward(metrics_list)store_curve(writer, metrics_list, metrics_res_list, epoch)

主要想法就是在之前保存指標時要寫一大列相似的東西，覺得很繁瑣，就想找到一個比較優雅的解決辦法，以上這個自己設計的用可執行對象做的方法是比較不錯的，每次要記錄的指標有變動時只需在training loop里面計算好，然后改一下metrics_list即可。

注意在賦值時只能用exec。

留存問題

exec為什么不能在函數中用，只能在全局用。

前半部分介紹可執行對象參考博客：https://www.cnblogs.com/yangmingxianshen/p/7810496.html