http://www.cda.cn/view/25735.html

通過實例淺析Python對比C語言的編程思想差異

我一直使用 Python，用它處理各種數據科學項目。 Python 以易用聞名。有編碼經驗者學習數天就能上手（或有效使用它）。
聽起來很不錯，不過，如果你既用 Python，同時也是用其他語言，比如說 C 的話，或許會存在一些問題。
給你舉個我自己經歷的例子吧。 我精通命令式語言，如 C 和 C 。對古老經典的語言如 Lisp 和 Prolog 能熟練使用。另外，我也用過 Java，Javascript 和 PHP 一段時間。（那么，學習） Python 對我來講不是很簡單嗎？事實上，只是看起來容易，我給自己挖了個坑：我像用 C 一樣去用 Python。
具體情況，請向下看。
一個最近的項目中，需要處理地理空間數據。給出（任務）是 gps 追蹤 25,000 個左右位置點，需要根據給定的經緯度，重復定位距離最短的點。我第一反應是，翻查（已經實現的）計算已知經緯度兩點間距離的代碼片段。代碼可以在 John D. Cook 寫的這篇 code available in the public domain 中找得到。
萬事俱備! 只要寫一段 Python 函數，返回與輸入坐標距離最短的點索引（25,000 點數組中的索引），就萬事大吉了：?? ?
def closest_distance(lat,lon,trkpts):
? d = 100000.0
? best = -1
? r = trkpts.index
? for i in r:
??? lati = trkpts.ix[i,'Lat']
??? loni = trkpts.ix[i,'Lon']
??? md = distance_on_unit_sphere(lat, lon, lati, loni)
??? if d > md
????? best = i
????? d = md
? return best
其中， distance_on_unit_sphere 是 John D. Cook's 書中的函數，trkpts 是數組，包含 gps 追蹤的點坐標（實際上，是 pandas 中的數據幀，注，pandas 是 python 第三方數據分析擴展包）。
上述函數與我以前用 C 實現的函數基本相同。 它遍歷（迭代）trkpts 數組，將迄今為止（距離給定坐標位置）的距離最短的點索引值，保存到本地變量 best 中。
目前為止，情況還不錯，雖然 Python 語法與 C 有很多差別，但寫這段代碼，并沒有花去我太多時間。
代碼寫起來快，但執行起來卻很慢。例如，我指定428 個點，命名為waypoints（導航點，路點，導航路線中的關鍵點）。導航時，我要為每個導航點 waypoint 找出距離最短的點。為 428 個導航點 waypoint 查找距離最短點的程序，在我的筆記本上運行了 3 分 6 秒。
之后，我改為查詢計算曼哈坦距離，這是近似值。我不再計算兩點間的精確距離，而是計算東西軸距離和南北軸距離。計算曼哈坦距離的函數如下:?? ?
def manhattan_distance(lat1, lon1, lat2, lon2):
? lat = (lat1 lat2)/2.0
? return abs(lat1-lat2) abs(math.cos(math.radians(lat))*(lon1-lon2))

實際上，我用了一個更簡化的函數，忽略一個因素，即維度曲線上 1 度差距比經度曲線上的 1 度差距要大得多。簡化函數如下：?? ?
def manhattan_distance1(lat1, lon1, lat2, lon2):
? return abs(lat1-lat2) abs(lon1-lon2)

closest 函數修改為:?? ?
def closest_manhattan_distance1(lat,lon,trkpts):
? d = 100000.0
? best = -1
? r = trkpts.index
? for i in r:
??? lati = trkpts.ix[i,'Lat']
??? loni = trkpts.ix[i,'Lon']
??? md = manhattan_distance1(lat, lon, lati, loni)
??? if d > md
????? best = i
????? d = md
? return best
如果將 Manhattan_distance 函數體換進來，速度還可以快些：?? ?
def closest_manhattan_distance2(lat,lon,trkpts):
? d = 100000.0
? best = -1
? r = trkpts.index
? for i in r:
??? lati = trkpts.ix[i,'Lat']
??? loni = trkpts.ix[i,'Lon']
??? md = abs(lat-lati) abs(lon-loni)
??? if d > md
????? best = i
????? d = md
? return best
在計算的最短距離點上，用這個函數與用 John's 的函數效果相同。我希望我的直覺是對的。越簡單就越快。現在這個程序用了 2 分 37 秒。提速了 18%。 很好，但還不夠激動人心。
我決定正確使用 Python。這意味著要利用 pandas 支持的數組運算。這些數組運算操作源于 numpy 包。通過調用這些數組操作，代碼實現更簡練：?? ?
def closest(lat,lon,trkpts):
? cl = numpy.abs(trkpts.Lat - lat) numpy.abs(trkpts.Lon - lon)
? return cl.idxmin()
該函數與之前函數的返回結果相同。在我的筆記本上運行時間花費了 0.5 秒。整整快了 300 倍! 300 倍，,也即30,000 %。不可思議。 提速的原因是 numpy 數組操作運算用 C 實現。因此， 我們將最好的兩面結合起來了： 我們得到 C 的速度和 Python 的簡潔性。
教訓很明確：別用 C 的方式寫 Python 代碼。用 numpy 數組運算，不要用數組遍歷。對我來說，這是思維上的轉變。
Update on July 2, 2015。文章討論在Hacker News。一些評論沒有注意到（missed ）我用到了 pandas 數據幀的情況。主要是它在數據分析中很常用。如果我只是要快速的查詢最短距離點，且我時間充分，我可以使用 C 或 C 編寫四叉樹（實現）。
Second update on July 2, 2015。有個評論提到 numba 也能對代碼提速。我就試了一下。
這是我的做法，與你的情況不一定相同。 首先，要說明的是，不同的 python 安裝版，實驗的結果不一定相同。我的實驗環境是 windows 系統上安裝 Anaconda，同時也安裝了一些擴展包。可能這些包和 numba 存在干擾。.
首先，輸入下面的安裝命令，安裝 numba：?? ?
$ conda install numba

這是我命令行界面上的反饋：

之后我發現，numba 在 anaconda 安裝套件中已存在。 也可能安裝指令有變更也說不定。
推薦的 numba 用法：?? ?
@jit
def closest_func(lat,lon,trkpts,func):
? d = 100000.0
? best = -1
? r = trkpts.index
? for i in r:
??? lati = trkpts.ix[i,'Lat']
??? loni = trkpts.ix[i,'Lon']
??? md = abs(lat - lati) abs(lon - loni)
??? if d > md:
????? #print d, dlat, dlon, lati, loni
????? best = i
????? d = md
? return best

我沒有發現運行時間提高。我也嘗試了更積極的編譯參數設置：?? ?
@jit(nopython=True)
def closest_func(lat,lon,trkpts,func):
? d = 100000.0
? best = -1
? r = trkpts.index
? for i in r:
??? lati = trkpts.ix[i,'Lat']
??? loni = trkpts.ix[i,'Lon']
??? md = abs(lat - lati) abs(lon - loni)
??? if d > md:
????? #print d, dlat, dlon, lati, loni
????? best = i
????? d = md
? return best
這次運行代碼時，出現一個錯誤：

看來，pandas 比 numba 處理代碼更智能。
當然，我也能花時間修改數據結構，使 numba 能正確編譯（compile）。可是，我為什么要這么干呢? 用 numpy 寫的代碼運行的足夠快了。反正，我一直在用 numpy 和 pandas 。為什么不繼續用呢?
也有建議我用pypy。這當然有意義，不過…我用的是托管服務器上的 Jupyter notebooks（注，在線瀏覽器的 python 交互式開發環境）。我用的是它提供的 python 內核，也即，官方的（regular）Python 2.7.x 內核。并沒有提供 Pypy 選擇。
也有建議用 Cython。好吧，如果我回頭要編譯代碼 ，那我干脆直接用 C 和 C 就好了。我用 python，是因為，它提供了基于 notebooks（注：網頁版在線開發環境）的交互式特性，可以快速原型實現。這卻不是 Cython 的設計目標。

?