【作者主頁】Francek Chen
【專欄介紹】$?$智能大數據分析$?$ 智能大數據分析是指利用先進的技術和算法對大規模數據進行深入分析和挖掘，以提取有價值的信息和洞察。它結合了大數據技術、人工智能（AI）、機器學習（ML）和數據挖掘等多種方法，旨在通過自動化的方式分析復雜數據集，發現潛在的價值和關聯性，實現數據的自動化處理和分析，從而支持決策和優化業務流程。與傳統的人工分析相比，智能大數據分析具有自動化、深度挖掘、實時性和可視化等特點。智能大數據分析廣泛應用于各個領域，包括金融服務、醫療健康、零售、市場營銷等，幫助企業做出更為精準的決策，提升競爭力。
【GitCode】專欄資源保存在我的GitCode倉庫：https://gitcode.com/Morse_Chen/Intelligent_bigdata_analysis。

---

前言

大數據和深度學習結合之路——在Hadoop上實現分布式深度學習（本質理解：搭好環境后可運行深度學習程序）

一、Submarine（Hadoop生態系統）

（一）Submarine 介紹

Submarine：在 Apache Hadoop 中運行深度學習框架
參考鏈接：https://hortonworks.com/blog/submarine-running-deep-learning-workloads-apache-hadoop/

Hadoop 是用于大型企業數據集的分布式處理的最流行的開源框架，它在本地和云端環境中都有很多重要用途。

深度學習對于語音識別，圖像分類，AI 聊天機器人，機器翻譯等領域的企業任務非常有用，僅舉幾例。為了訓練深度學習/機器學習模型，可以利用 TensorFlow / MXNet / Pytorch / Caffe / XGBoost 等框架。有時需要將這些框架進行組合使用以用于解決不同的問題。

為了使分布式深度學習/機器學習應用程序易于啟動，管理和監控，Hadoop 社區啟動了 Submarine 項目以及其他改進，例如一流的 GPU 支持，Docker 容器支持，容器 DNS 支持，調度改進等。

這些改進使得在 Apache Hadoop YARN 上運行的分布式深度學習/機器學習應用程序就像在本地運行一樣簡單，這可以讓機器學習工程師專注于算法，而不是擔心底層基礎架構。通過升級到最新的 Hadoop，用戶現在可以在同一群集上運行其他 ETL / streaming 作業來運行深度學習工作負載。這樣可以輕松訪問同一群集上的數據，從而實現更好的資源利用率。

典型的深度學習工作流程：數據從各個終端（或其他來源）匯聚到數據湖中。數據科學家可以使用筆記本進行數據探索，創建 pipelines 來進行特征提取/分割訓練/測試數據集。并開展深度學習和訓練工作。這些過程可以重復進行。因此，在同一個集群上運行深度學習作業可以顯著提高數據 / 計算資源共享的效率。

讓我們仔細看看 Submarine 項目（它是 Apache Hadoop 項目的一部分），請看下如何在 Hadoop 上運行這些深度學習工作。

為什么叫 Submarine 這個名字？ 因為潛艇是唯一可以將人類帶到更深處的裝置設備。

Submarine 項目包括兩個部分：Submarine 計算引擎和一套 Submarine 生態系統集成插件/工具。

Submarine 計算引擎通過命令行向 YARN 提交定制的深度學習應用程序（如Tensorflow， Pytorch等）。這些應用程序與 YARN 上的其他應用程序并排運行，例如 Apache Spark，Hadoop Map/Reduce 等。

最重要的是，有一套海底生態系統集成，目前包括：

• Submarine-Zeppelin integration：允許數據科學家在 Zeppelin notebook 上編碼，并直接從 notebook 上提交/管理培訓工作。
• Submarine-Azkaban integration：允許數據科學家從 notebooks 直接向 Azkaban 提交一組具有依賴關系的任務。
• Submarine-installer：在您的環境中安裝 Submarine 和 YARN，以便更容易地嘗試強大的工具集。

Submarine 示意圖，底部顯示 Submarine 計算引擎，它只是另一個 YARN 應用程序。在計算引擎之上，它集成了其他生態系統，如 notebook (Zeppelin/Jupyter) 和 Azkaban。

（二）中文演講介紹

參考鏈接：https://www.apachecon.com/acasia2022/zh/sessions/ai-1026.html
APACHE SUBMARINE 云原生機器學習平臺
劉勛 KEVIN SU
中文演講 2022-07-29 14:00 GMT+8 #AI

Apache Submarine 是一個可以進行機器學習全流程處理的一站式工作平臺，它以云原生的方式運行在 Kubernetes 和 Cloud 之上。Submarine 提供了完善的平臺部署和 Tensorflow、Pytorch 等機器學習框架的 YAML 文件和 Docker 鏡像，這讓整個系統的部署和使用都變的非常簡單，您只需運行一條 Heml 命令就可以將 Submarine 機器學習平臺運行在 Kubernetes 或 Cloud 之上，Submarine 提供支持多用戶操作的 Workbench，數據科學家和算法工程師通過瀏覽器就可以完成數據加工、算法開發、作業調度、模型訓練以及模型 Serving 的所有工作。Submarine 提供了標準的 Tensorflow、Pytorch、Python 和 XGBoost 等機器學習框架 Docker 鏡像，您還可以自己進行定制和擴展，通過 Docker 為機器學習作業提供了完全隔離的運行環境，借助 Kubernetes 和 Cloud 的資源管控能力，Submarine 支持大量機器學習作業的調度運行。

Speakers：

劉勛：滴滴，高級技術專家，Apache Member、Apache 孵化器導師、Apache Submarine PMC Chair、Apache Hadoop & Zeppelin Committer

kevin Su：Union.ai 軟件研發工程師，Apache Submarine Committer & PMC，LFAI 開源項目 Flyte Maintainer & Committer

（三）Submarine 屬于 Hadoop 生態系統

Apache Hadoop 官網地址：https://hadoop.apache.org/

Submarine: A unified AI platform which allows engineers and data scientists to run Machine Learning and Deep Learning workload in distributed cluster.

Submarine：一個統一的人工智能平臺，允許工程師和數據科學家在分布式集群中運行機器學習和深度學習工作負載。

（四）Submarine 官網版本演進

Submarine 官網地址：https://submarine.apache.org/versions/

1. 最新版 0.8.0

This document gives you a quick view on the basic usage of Submarine platform. You can finish each step of ML model lifecycle on the platform without messing up with the troublesome environment problems.

本文檔讓您快速了解 Submarine 平臺的基本用法。您可以在平臺上完成 ML 模型生命周期的每一步，而不會遇到麻煩的環境問題。

2. 版本 0.6.0

https://submarine.apache.org/docs/0.6.0/userDocs/yarn/YARNRuntimeGuide/

SUBMARINE_VERSION=<REPLACE_VERSION>
SUBMARINE_HADOOP_VERSION=3.1
CLASSPATH=$(hadoop classpath --glob):path-to/submarine-all-${SUBMARINE_VERSION}-hadoop-${SUBMARINE_HADOOP_VERSION}.jar \
java org.apache.submarine.client.cli.Cli job run --name tf-job-001 \--framework tensorflow \--docker_image hadoopsubmarine/tf-1.8.0-cpu:0.0.1 \--input_path hdfs://pi-aw:9000/dataset/cifar-10-data \--worker_resources memory=3G,vcores=2 \--worker_launch_cmd "export CLASSPATH=\$(/hadoop-3.1.0/bin/hadoop classpath --glob) && cd /test/models/tutorials/image/cifar10_estimator && python cifar10_main.py --data-dir=%input_path% --job-dir=%checkpoint_path% --train-steps=10000 --eval-batch-size=16 --train-batch-size=16 --variable-strategy=CPU --num-gpus=0 --sync" \--env JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 \--env DOCKER_HADOOP_HDFS_HOME=/hadoop-3.1.0 \--env DOCKER_JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 \--env HADOOP_HOME=/hadoop-3.1.0 \--env HADOOP_YARN_HOME=/hadoop-3.1.0 \--env HADOOP_COMMON_HOME=/hadoop-3.1.0 \--env HADOOP_HDFS_HOME=/hadoop-3.1.0 \--env HADOOP_CONF_DIR=/hadoop-3.1.0/etc/hadoop \--conf tony.containers.resources=path-to/submarine-all-${SUBMARINE_VERSION}-hadoop-${SUBMARINE_HADOOP_VERSION}.jar

不論是通過 Sumarine 還是通過單獨的 Tony 本身，本質上都是支持兩種模式來支持在 Yarn 上實現分布式深度學習：
（1）無需 Docker 容器，需要帶 TensorFlow 的 Python 虛擬環境等支持；
（2）通過配置 Docker 容器（Docker 鏡像）支持的 Hadoop 集群。

對其中的第（2）種方法，要通過安裝 Docker 并配置鏡像文件等一系列動作來實現。關于 Docker 的相關知識，網上有很多：

• Docker 能從入門到精通的學習指南：https://zhuanlan.zhihu.com/p/460658036

• 如何創建 Docker 鏡像？（上）：https://zhuanlan.zhihu.com/p/585264583?utm_id=0

• Docker6 種網絡配置詳解，網絡模式應該這么選：http://www.ppmy.cn/news/32706.html

• Docker 鏡像配置深度學習環境（Ubuntu 18.04）：https://zhuanlan.zhihu.com/p/562707628
  
  這個寫的特別好，是一個簡單快速的實現路徑！

https://submarine.apache.org/docs/0.6.0/userDocs/yarn/WriteDockerfileTF/

對于所需的基礎鏡像 Ubuntu 18.04， 可以直接從 Docker Hub 下載：https://hub.docker.com/_/ubuntu/tags

二、TonY（LinkedIn）

（一）官網介紹

官網地址：https://github.com/tony-framework/TonY

TonY is a framework to natively run deep learning jobs on Apache Hadoop. It currently supports TensorFlow, PyTorch, MXNet and Horovod. TonY enables running either single node or distributed training as a Hadoop application. This native connector, together with other TonY features, aims to run machine learning jobs reliably and flexibly. For a quick overview of TonY and comparisons to other frameworks, please see this presentation.

TonY 是一個在 Apache Hadoop 上原生運行深度學習作業的框架。目前支持 TensorFlow、PyTorch、MXNet 和 Horovod。TonY 支持將單個節點或分布式訓練作為 Hadoop 應用程序運行。此原生連接器與其他 TonY 功能一起，旨在可靠、靈活地運行機器學習作業。有關 TonY 的快速概述以及與其他框架的比較，請參閱本演示。

（二）新聞報道介紹

翻譯自：https://www.infoworld.com/article/3305590/linkedin-open-sources-a-tool-to-run-tensorflow-on-hadoop.html

LinkedIn 已使用 Hadoop 中的 YARN（Yet Another Resource Negotiator）作業調度系統開源了一個用于擴展和管理 TensorFlow 中的深度學習作業的項目。Tony 項目是在 LinkedIn 嘗試使用兩個現有的開源解決方案在 Hadoop 上運行計劃的 TensorFlow 作業并發現他們都想要的之后才出現的。已經有一些在 Hadoop 上運行 TensorFlow 的項目，但是 LinkedIn 對它們不滿意。其中之一，TensorFlow on Spark 通過 Apache Spark 的作業引擎運行 TensorFlow，但它與 Spark 的聯系太緊密了。另一個 TensorFlow on YARN 提供與 Tony 相同的基本功能，但未維護且不提供容錯功能。

[TensorFlow 機器學習入門。? TensorFlow 評論：最好的深度學習庫變得更好 。?查看最新版本的 TensorFlow 中的新增功能 。| 通過 InfoWorld 的 App Dev Report 新聞通訊了解編程方面的熱門話題。]

TensorFlow 中的深度學習模型需要某種形式的作業管理。訓練模型可能需要數小時或數天，并且訓練過程需要一定的保證才能正確完成。

根據 LinkedIn 的新聞記錄，Tony 使用 YARN 的資源和任務調度系統在整個 Hadoop 集群上設置 TensorFlow 作業。Tony 還可以通過 Hadoop 調度基于 GPU 的 TensorFlow 作業，請求不同類型的資源（GPU 與 CPU）或為 TensorFlow 節點分配不同的內存，并確保作業輸出定期保存到 HDFS 并從它們停止的地方恢復崩潰或被打斷。

Tony 將其工作分為三個內部組件：一個客戶端，一個應用程序主機和一個任務執行器。客戶端接受傳入的 TensorFlow 作業；應用程序主機與YARN 的資源管理器協商以在 YARN 上配置作業；任務執行器實際上是在 YARN 集群上啟動的，用于運行 TensorFlow 作業。

LinkedIn 聲稱使用 Tony 時 TensorFlow 作業沒有明顯的開銷，因為 Tony “位于編排分布式 TensorFlow 的層中，并且不會干擾 TensorFlow作業的實際執行。”

Tony 還可以使用 TensorBoard 應用程序來可視化，優化和調試 TensorFlow 應用程序。

注意：There are two ways to launch your deep learning jobs with TonY:

三、DL4J（deeplearning4j，java 深度學習框架)

（一）DL4J 概述

深度學習 DL4J 進行圖像識別：https://zhuanlan.zhihu.com/p/545442663

DL4J (Deeplearning4j) 是 Skymind 開源并維護的一個基于 JVM 的深度學習框架。也是在 Spark 平臺上可以原生支持分布式模型訓練的為數不多的框架之一。DL4J 還支持多 GPU 集群，可以與高性能異構計算框架無縫銜接，進一步提升運算性能。

DL4J 是用 Java 和 Scala 編寫，通過與 Hadoop 和 Spark 集成來處理大規模數據。其內部采用 Java N 維數組實現的庫即 ND4J (N-Dimensional Arrays For Java)，處理多樣的 n 維數組對象。ND4J 支持 GPU 計算，有助于加快深度學習迭代訓練速度。ND4J 實際就是一個科學計算庫，屬于低階 API，而 DL4J 屬于高階 API，類似 Keras。

DL4J 中除了 ND4J 外，還有 DataVec (用于數據集的加載和轉換)，SameDiff (基于圖的自動微分、深度學習框架)，Arbiter (超參數搜索)，LibND4J (底層 C++庫，調用 cuDNN、OpenBLAS 等庫支持 CPU/GPU 計算)。ND4J 通過這些庫共同支撐基于 JVM 的深度學習應用程序的所有需求。

DL4J 將數據集處理與算法模型訓練分開處理，使用 DataVec 庫加載和轉換數據集，使用張量和 ND4J 庫訓練模型。通過 DataVec 庫的 RecordReaderDataSetIterator 獲取數據，ND4J 庫的 DataSet (存儲數據特征和標簽的容器) 對訓練數據進行封裝，可以封裝單條訓練數據，也可以封裝一個 Mini-batch，每一次迭代用一個 DataSet 更新神經網絡中參數。在 DL4J 中構建訓練數據集，最終就是生成一個 DataSet 迭代器或 DataSet 序列。

（二）官網介紹

https://github.com/deeplearning4j

（三）書籍介紹

《Hadoop 深度學習》是一本關于 Hadoop 在深度學習領域的應用的圖書，由機械工業出版社于 2016 年出版。本書的作者是德國的尼爾斯·貝克和美國的約瑟夫·斯蒂芬·卡恩，兩位作者都是數據科學和計算機科學領域的知名專家。

本書的主要內容是介紹如何使用 Hadoop 進行深度學習計算，以及介紹 Hadoop 在深度學習領域的一些應用案例。書中詳細講解了如何使用 Hadoop 旗下的分布式計算平臺 Apache Hadoop 和分布式深度學習框架 Apache Spark 進行深度學習，并且介紹了如何使用這些工具進行圖像識別、語音識別、自然語言處理等任務。

在結構上，本書共分為 11 章。第一章至第四章介紹了 Hadoop 和深度學習的基本概念和原理，以及使用 Hadoop 進行深度學習計算的方法。第五章至第八章介紹了使用 Apache Hadoop 進行深度學習計算的具體方法和案例，第九章至第十一章介紹了使用 Apache Spark 進行深度學習計算的具體方法和案例。

本書的特點是理論與實踐相結合，書中介紹了很多具體的案例和實踐經驗，讓讀者可以更好地掌握 Hadoop 在深度學習領域的應用。同時，書中還注重了對于原理和技術的講解，讓讀者可以更好地理解深度學習和 Hadoop 的原理和實現方法。

總的來說，本書是一本非常值得閱讀的圖書，它不僅介紹了深度學習和 Hadoop 的基本概念和原理，還介紹了如何使用 Hadoop 進行深度學習計算的具體方法和案例。它適合所有對深度學習和 Hadoop 感興趣的讀者閱讀，能夠幫助他們更好地了解和掌握這些技術的實現方法和原理。

當然，本書也存在一些不足之處。首先，書中的內容可能會讓一些初學者感到有些難以理解，需要具備一定的編程和數據處理基礎。其次，書中介紹的一些案例可能已經過時或者不夠全面，需要讀者自行根據實際情況進行調整和補充。