圖

TensorFlow程序通常被組織成一個構建階段和一個執行階段. 在構建階段, op的執行步驟被描述成一個圖. 在執行階段, 使用會話執行執行圖中的op。我們來構建一個簡單的計算圖。每個節點采用零個或多個張量作為輸入，并產生張量作為輸出。一種類型的節點是一個常數。像所有TensorFlow常數一樣，它不需要任何輸入，它輸出一個內部存儲的值。我們可以創建兩個浮點型常量node1 ，node2如下所示：

node1 = tf.constant(3.0, tf.float32)
node2 = tf.constant(4.0)
print(node1, node2)

最終的打印聲明生成

Tensor("Const:0", shape=(), dtype=float32) Tensor("Const_1:0", shape=(), dtype=float32)

他為什么不是輸出結果，那是因為tensorflow中的圖形節點操作必須在會話中運行，稍后介紹

構建圖

構建圖的第一步, 是創建源 op (source op). 源 op 不需要任何輸入, 例如 常量 (Constant). 源 op 的輸出被傳遞給其它 op 做運算.TensorFlow Python 庫有一個默認圖 (default graph), op 構造器可以為其增加節點. 這個默認圖對 許多程序來說已經足夠用了.，后面我們會接觸多個圖的使用

默認Graph值始終注冊，并可通過調用訪問 tf.get_default_graph()

import tensorflow as tf# 創建一個常量 op, 產生一個 1x2 矩陣. 這個 op 被作為一個節點,加到默認圖中.構造器的返回值代表該常量 op 的返回值.
matrix1 = tf.constant([[3., 3.]])# 創建另外一個常量 op, 產生一個 2x1 矩陣.
matrix2 = tf.constant([[2.],[2.]])# 創建一個矩陣乘法 matmul op , 把 'matrix1' 和 'matrix2' 作為輸入.返回值 'product' 代表矩陣乘法的結果.
product = tf.matmul(matrix1, matrix2)print tf.get_default_graph(),matrix1.graph,matrix2.graph

重要注意事項：此類對于圖形構造不是線程安全的。所有操作都應從單個線程創建，或者必須提供外部同步。除非另有說明，所有方法都不是線程安全的

在會話中啟動圖

構造階段完成后，才能啟動圖。啟動圖的第一步是創建一個Session對象，如果無任何創建參數，會話構造器將啟動默認圖。

調用Session的run()方法來執行矩陣乘法op, 傳入product作為該方法的參數，會話負責傳遞op所需的全部輸入，op通常是并發執行的。

# 啟動默認圖.
sess = tf.Session()# 函數調用 'run(product)' 觸發了圖中三個 op (兩個常量 op 和一個矩陣乘法 op) 的執行.返回值 'result' 是一個 numpy `ndarray` 對象.
result = sess.run(product)
print result# 任務完成, 關閉會話.
sess.close()

Session對象在使用完后需要關閉以釋放資源，當然也可以使用上下文管理器來完成自動關閉動作。

op

計算圖中的每個節點可以有任意多個輸入和任意多個輸出，每個節點描述了一種運算操作（operation, op），節點可以算作運算操作的實例化（instance）。一種運算操作代表了一種類型的抽象運算，比如矩陣乘法、加法。tensorflow內建了很多種運算操作，如下表所示：

類型	示例
標量運算	Add、Sub、Mul、Div、Exp、Log、Greater、Less、Equal
向量運算	Concat、Slice、Splot、Constant、Rank、Shape、Shuffle
矩陣運算	Matmul、MatrixInverse、MatrixDeterminant
帶狀態的運算	Variable、Assign、AssignAdd
神經網絡組件	SoftMax、Sigmoid、ReLU、Convolution2D、MaxPooling
存儲、恢復	Save、Restore
隊列及同步運算	Enqueue、Dequeue、MutexAcquire、MutexRelease
控制流	Merge、Switch、Enter、Leave、NextIteration

feed

TensorFlow還提供了feed機制, 該機制可以臨時替代圖中的任意操作中的tensor可以對圖中任何操作提交補丁,直接插入一個 tensor。feed 使用一個 tensor 值臨時替換一個操作的輸入參數，從而替換原來的輸出結果.

feed 只在調用它的方法內有效, 方法結束,feed就會消失。最常見的用例是將某些特殊的操作指定為"feed"操作, 標記的方法是使用 tf.placeholder() 為這些操作創建占位符.并且在Session.run方法中增加一個feed_dict參數

# 創建兩個個浮點數占位符op
input1 = tf.placeholder(tf.types.float32)
input2 = tf.placeholder(tf.types.float32)#增加一個乘法op
output = tf.mul(input1, input2)with tf.Session() as sess:# 替換input1和input2的值print sess.run([output], feed_dict={input1:[7.], input2:[2.]})

如果沒有正確提供feed, placeholder() 操作將會產生錯誤

張量的階和數據類型

TensorFlow用張量這種數據結構來表示所有的數據.你可以把一個張量想象成一個n維的數組或列表.一個張量有一個靜態類型和動態類型的維數.張量可以在圖中的節點之間流通.其實張量更代表的就是一種多位數組。

變量的的創建、初始化、保存和加載

Variable類

tf.Variable.init(initial_value, trainable=True, collections=None, validate_shape=True, name=None)

創建一個帶值的新變量initial_value

• initial_value:A Tensor或Python對象可轉換為a Tensor.變量的初始值.必須具有指定的形狀,除非 validate_shape設置為False.

• trainable:如果True，默認值也將該變量添加到圖形集合GraphKeys.TRAINABLE_VARIABLES,該集合用作Optimizer類要使用的變量的默認列表

• collections:圖表集合鍵列表,新變量添加到這些集合中.默認為[GraphKeys.VARIABLES]

• validate_shape:如果False允許使用未知形狀的值初始化變量,如果True，默認形狀initial_value必須提供.

• name:變量的可選名稱,默認'Variable'并自動獲取

變量的創建

創建當一個變量時，將你一個張量作為初始值傳入構造函數Variable().TensorFlow提供了一系列操作符來初始化張量，值初始的英文常量或是隨機值。像任何一樣Tensor，創建的變量Variable()可以用作圖中其他操作的輸入。此外，為Tensor該類重載的所有運算符都被轉載到變量中，因此您也可以通過對變量進行算術來將節點添加到圖形中。

x = tf.Variable(5.0,name="x")
weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35),name="weights")
biases = tf.Variable(tf.zeros([200]), name="biases")

調用tf.Variable()向圖中添加了幾個操作：

• 一個variable op保存變量值。
• 初始化器op將變量設置為其初始值。這實際上是一個tf.assign操作。
• 初始值的ops，例如 示例中biases變量的zeros op 也被添加到圖中。

變量的初始化

• 變量的初始化必須在模型的其它操作運行之前先明確地完成。最簡單的方法就是添加一個給所有變量初始化的操作，并在使用模型之前首先運行那個操作。最常見的初始化模式是使用便利函數 initialize_all_variables()將Op添加到初始化所有變量的圖形中。

init_op = tf.global_variables_initializer()with tf.Session() as sess:sess.run(init_op)

• 還可以通過運行其初始化函數op來初始化變量，從保存文件還原變量，或者簡單地運行assign向變量分配值的Op。實際上，變量初始化器op只是一個assignOp，它將變量的初始值賦給變量本身。assign是一個方法，后面方法的時候會提到

with tf.Session() as sess:sess.run(w.initializer)

通過另一個變量賦值

你有時候會需要用另一個變量的初始化值給當前變量初始化，由于tf.global_variables_initializer()初始化所有變量，所以需要注意這個方法的使用。

就是將已初始化的變量的值賦值給另一個新變量！

weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35),name="weights")w2 = tf.Variable(weights.initialized_value(), name="w2")w_twice = tf.Variable(weights.initialized_value() * 0.2, name="w_twice")

所有變量都會自動收集到創建它們的圖形中。默認情況下，構造函數將新變量添加到圖形集合GraphKeys.GLOBAL_VARIABLES。方便函數 global_variables()返回該集合的內容。

屬性

name

返回變量的名字

weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35),name="weights")
print(weights.name)

op

返回op操作

weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35))
print(weights.op)

方法

assign

為變量分配一個新值。

x = tf.Variable(5.0,name="x")
w.assign(w + 1.0)

eval

在會話中，計算并返回此變量的值。這不是一個圖形構造方法，它不會向圖形添加操作。方便打印結果

v = tf.Variable([1, 2])
init = tf.global_variables_initializer()with tf.Session() as sess:sess.run(init)# 指定會話print(v.eval(sess))# 使用默認會話print(v.eval())

變量的靜態形狀與動態形狀

TensorFlow中，張量具有靜態（推測）形狀和動態（真實）形狀

• 靜態形狀：

創建一個張量或者由操作推導出一個張量時,初始狀態的形狀

• tf.Tensor.get_shape:獲取靜態形狀
• tf.Tensor.set_shape():更新Tensor對象的靜態形狀，通常用于在不能直接推斷的情況下

• 動態形狀：

一種描述原始張量在執行過程中的一種形狀

• tf.shape(tf.Tensor):如果在運行的時候想知道None到底是多少,只能通過tf.shape(tensor)[0]這種方式來獲得
• tf.reshape:創建一個具有不同動態形狀的新張量

要點

1、轉換靜態形狀的時候，1-D到1-D，2-D到2-D，不能跨階數改變形狀

2、 對于已經固定或者設置靜態形狀的張量／變量，不能再次設置靜態形狀

3、tf.reshape()動態創建新張量時，元素個數不能不匹配

4、運行時候，動態獲取張量的形狀值，只能通過tf.shape(tensor)[]

管理圖中收集的變量

tf.global_variables()

返回圖中收集的所有變量
?

weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35))print(tf.global_variables())

?