客戶端SDK測試思路

本文來自網易云社區

作者：萬春艷

是什么

客戶端SDK是為第三方開發者提供的軟件開發工具包，包括SDK接口、開發文檔和Demo示例等。SDK和應用之間是什么關系呢？以云信即時消息服務為例，如下圖所示，應用客戶端通過調用云信SDK接口，進行消息等數據查詢存儲等操作，或通過協議與云信服務器間進行通信。

測什么

1. 客戶端SDK測試的對象

客戶端SDK測試，就是對提供給開發者的工具包里面的內容進行測試，因此測試的主要內容有：

• SDK接口和文檔
  SDK接口是測試的主要對象，也是核心的內容。

• SDK日志
  對開發者來說，SDK接口里面的具體實現是透明的，當上層調用時遇到問題，只能依賴SDK打印的日志來定位分析。所以SDK日志是否完備，是否有助于解決問題，對應用開發者和SDK提供方來說都很重要。

• Demo或行業解決方案
  Demo是SDK提供方用來示例如何調用接口實現具體的功能，也可以作為開發者直觀感受SDK接入效果。行業解決方案類似Demo，但是，比Demo更加像一個產品，具有比較完整和典型的行業應用場景。可以讓行業開發者比較明確知道，接入這個SDK做出來的產品效果如何。

• 其他周邊
  比如UIkit等，可能只是在SDK開發中的附帶輸出，但對有的開發者來說能極大降低接入成本。

2. 客戶端SDK接口測試類型

客戶端SDK根據需求和開發平臺不同，可能需要選擇不同的測試類型對SDK接口進行測試，常見的測試類型有：

• 功能測試
  保證SDK接口功能正確性和完備性。客戶端SDK接口測試跟服務端接口測試類似，包括場景覆蓋和接口參數覆蓋。主要測試各種參數組合下的返回值，考慮數據是否緩存與存儲，是否有回調，對于請求成功或失敗都能按預期進行處理。

• 性能測試
  保證SDK接口滿足特定的性能需求，比如資源占用、移動設備耗電量等。在云信IM登錄的場景，登錄時可能收到大量同步數據包和離線消息包，那么對這些數據包的解析以及本地儲存的性能就要進行保證，否則可能出現登錄響應很慢甚至卡住的問題，所以測試時就需要考慮這個場景的性能。

• 兼容性測試
  保證SDK兼容特定的設備平臺，并與其他軟件兼容。兼容設備平臺的工作量通常是比較大的，先根據產品需求和市場現狀對需要適配的設備平臺做分析，再根據需要覆蓋的機型、系統版本、分辨率等進行優先覆蓋排序。移動端SDK兼容性測試需要考慮下對模擬器的支持，因為很多開發者可能就是先在模擬器上開發。客戶端SDK覆蓋多平臺設備的，還要考慮多端消息數據包的互通。

• 穩定性測試
  考察業務場景在一定壓力下，持續運行一段時間，接口功能和設備資源占用有無異常。比如云信實時音視頻通話場景中，要保證多人長時間通話且不斷有人進出時的接口功能和設備資源占用無異常。

• 網絡相關測試
  保證在不同網絡類型，不同網絡環境下，SDK接口都能較好的處理。在涉及到多媒體資源或音視頻通信，弱網下測試的需求較多，并且弱網下的處理通常需要反復優化和對比，不僅是新老版本效果對比，還包括競品的效果對比測試。

• 安全性測試 對隱私數據保護，訪問權限的控制，用戶服務鑒權等，SDK接口的安全性問題也是比較突出。安全性很多是在架構設計和開發設計中就考慮進去，但是最好還是有專門的安全性測試。

功能怎么測

上述諸多測試類型中，功能測試先行。在進行客戶端SDK測試前，需要全面的了解測試對象的細節：

• 了解業務流程，結合API接口文檔和開發指南，理順接口的使用場景和調用關系；

• 了解SDK協議，理解協議中字段的意義以及服務器端的處理邏輯；

• 了解各接口或協議返回碼，分析對應的場景；

• 了解開發實現細節，可以繪制成圖，便于測試分析和分層驗證。

對客戶端SDK進行測試，可以采用的分層測試方式由上至下依次有：基于Demo和解決方案->基于接口調用->基于代碼。

基于Demo和解決方案的測試

大多客戶端SDK在提測時，都會有對應的Demo或者解決方案提交給測試，因此可以覆蓋到該Demo或解決方案對應的接口或業務場景。而且測試人員可以比較直觀的看到界面表現，上手快，所以在客戶端SDK測試中比較常用，也是比較有效的。
但這種測試方式的缺點也很多，Demo對接口和業務場景覆蓋比較有限，對接口的輸入輸出參數不能全覆蓋，發現問題時定位復雜度增加。精心設計的Demo以及多解決方案的形式或許可以最大程度滿足測試需要，但是需要較大的Demo開發測試投入，也使得問題暴露的時間大大滯后。 基于Demo和解決方案的測試，可以是手工的也可以是UI層自動化測試。

基于接口調用的自動化測試

基于接口調用的測試，包括對單個接口的測試，也包括業務場景的覆蓋。這種測試方式直接有效，需要一定開發基礎，可以參考下KS上之前其他同學關于AOS和iOS SDK接口自動化測試實踐的經驗總結。目前，我所在項目組的同事也有一些實踐，以云信iOS SDK測試為例，最小回歸測試對應接口也已經自動化，測試工程基本結構如下：

基于接口調用的自動化測試，需要有有產品的思路、開發的知識和測試的思維，做起來有難度。但是因為SDK接口通常比較穩定，所以一旦實現并投入使用，測試效率和質量的收益都很大，值得擁有。

基于代碼的單元測試

單元測試是為開發代碼質量保駕護航的一個重要環節，在測試左移推進的道路上，大家越來越意識到單元測試的重要價值。特別是在一些核心業務上，值得開發同學投入精力去做。

其他測試類型的展開，跟應用層測試類似，杭研QA白皮書介紹的方法、工具基本能滿足測試需求，就不再重復了。

網易云大禮包：https://www.163yun.com/gift

本文來自網易云社區，經作者萬春艷授權發布。

相關文章：
【推薦】?網易蜂巢（現已更名為網易云計算基礎服務）用了什么技術？
【推薦】?大數據技術在金融行業的應用前景
【推薦】?微服務化不同階段 Kubernetes 的不同玩法