信息新技術

分布式處理基礎

一、基礎概念

二、通信與網絡

三、分布式協調與一致性

四、分布式存儲與數據庫

五、分布式計算框架

六、容錯與高可用

七、負載均衡與調度

八、安全與監控

九、常見分布式系統設計模式

十、典型系統與工具學習

區塊鏈

區塊鏈的核心技術

物聯網（IoT，Internet of Things）

一、什么是物聯網？

二、物聯網的基本組成

三、核心技術要素

四、物聯網通信協議分類

五、物聯網發展面臨的挑戰

六、物聯網與相關技術關系

大數據

一、什么是大數據？

二、大數據的“5V”特征（核心）

三、大數據的常見類型

四、大數據技術體系（核心架構）

五、大數據生態系統核心組件（Hadoop/Spark生態）

六、大數據與人工智能的關系

七、大數據安全與隱私保護

八、大數據與云計算、物聯網的關系

云計算

一、什么是云計算？

二、云計算的核心特征（5大特點）

三、云計算服務模式（SPI三層模型）

四、云計算的部署模式

五、云計算核心技術

六、主流云服務商及平臺

七、云計算與相關技術的關系

人工智能

一、什么是人工智能？

二、人工智能的核心領域

三、人工智能常用技術

四、人工智能的倫理與挑戰

移動互聯

一、什么是移動互聯？

二、移動互聯的基本組成

三、主要技術基礎

四、移動應用類型

五、移動互聯的主要特點（6C）

互聯網+

一、什么是“互聯網+”？

典型硬件技術基礎

分布式處理基礎

分布式系統：是一個硬件或軟件組件分布在不同的網絡計算機上，彼此之間僅僅通過消息傳遞進行通信和協調的系統。

?分布式：不同的業務模塊部署在不同的服務器上或者同一個業務模塊分拆多個子業務，部署在不同的服務器上，解決高并發的問題。

集群：同一個業務部署在多臺機器上，提高系統可用性。

舉例講解：

?攤煎餅賣煎餅，賣煎餅需要進行三道的工序：準備原料、加工、銷售。主人A發現這樣一天太累了，根本忙不過來，于是乎招人B準備原料，招人C來幫忙加工，這樣主人A就可以之進行銷售，B和C呢相對于A來說就是分布式；后來隨著銷量的增加，B和C忙不過來，又找了B1加入到準備原料，C1加入到加工小組。這樣B和B1之間就是集群關系，C和C1之間也是集群關系。B小組和C小組屬于分布式關系。

一、基礎概念

分布式系統定義與特點：資源共享、無共享內存、透明性（位置、訪問、遷移、復制等）；
集中式 vs 分布式 vs 并行處理；
CAP定理（一致性、可用性、分區容錯性）；
BASE理論（基本可用、軟狀態、最終一致性）；
分布式架構類型：主從結構、P2P、微服務架構、無中心架構等。

二、通信與網絡

進程間通信（IPC）：消息隊列、管道、共享內存；
遠程過程調用（RPC）/ gRPC；
消息中間件：如 Kafka、RabbitMQ、ActiveMQ；
通信協議：TCP/IP、HTTP/REST、WebSocket；

三、分布式協調與一致性

分布式一致性協議：
- Paxos
- Raft
- Viewstamped Replication
分布式鎖
- 基于數據庫、Redis、ZooKeeper 的實現；
分布式事務：
- 兩階段提交（2PC）、三階段提交（3PC）；
- 補償事務（SAGA）、TCC 模型；

四、分布式存儲與數據庫

分布式文件系統：如 HDFS、Ceph；
分布式數據庫：
- NoSQL：MongoDB、Cassandra、HBase；
- NewSQL：CockroachDB、TiDB；
- 分庫分表、中間件（如 ShardingSphere）；
一致性模型：
- 強一致性、最終一致性、讀寫一致性；
- Quorum機制；

五、分布式計算框架

批處理系統：Hadoop、Spark；
流處理系統：Flink、Storm、Kafka Streams；
圖計算：Pregel、GraphX；
MapReduce 編程模型；
并行任務調度與 DAG 執行

六、容錯與高可用

副本機制（Replication）
主備切換（Failover）
心跳檢測與故障檢測機制
熔斷、降級、限流機制
冪等性處理

七、負載均衡與調度

負載均衡策略：輪詢、最少連接、加權、隨機；
服務發現與注冊中心：如 ZooKeeper、Consul、Eureka、Etcd；
調度系統：如 Kubernetes 調度器、YARN、Mesos；

八、安全與監控

分布式系統安全：認證、授權、傳輸加密（SSL/TLS）；
日志與監控：Prometheus、ELK、Grafana；
鏈路追蹤（Tracing）：如 OpenTracing、Jaeger、Zipkin；

九、常見分布式系統設計模式

微服務架構設計模式；
分布式緩存設計（如 Redis Cluster）；
事件驅動架構（EDA）；
數據復制、分片與同步機制；
去中心化系統（如區塊鏈）設計模式

十、典型系統與工具學習

類別	示例工具/框架
文件系統	HDFS, Ceph
消息中間件	Kafka, RabbitMQ
計算框架	Hadoop, Spark, Flink
配置中心	ZooKeeper, Etcd
服務注冊	Eureka, Consul
容器/調度	Docker, Kubernetes

區塊鏈

區塊鏈是一種去中心化的、由多個節點共同維護的分布式賬本技術（DLT）；
本質上是一個按時間順序連接的區塊鏈式數據結構，每個區塊中記錄一組交易或操作數據；
區塊鏈具有：去中心化、開放性，匿名性，信息不可篡改，公開透明，讓每個人均可參與數據庫記錄。

區塊鏈的核心技術

技術名稱	簡要說明
? 區塊結構	區塊由區塊頭（包括前一個區塊哈希、時間戳等）和區塊體（交易數據）組成
🔐 哈希函數	將任意長度輸入映射為固定長度輸出，確保數據完整性（如SHA-256）
📃 數字簽名	通過非對稱加密技術驗證交易身份與合法性
🔁 共識機制	網絡中節點達成一致的規則（如PoW、PoS、PBFT等）
🔒 加密算法	包括對稱加密、非對稱加密，確保隱私性與安全性
🧾 智能合約	部署在鏈上的自動化程序，滿足條件自動執行

類型	特點	舉例

公有鏈

所有人可參與，無需許可

比特幣、以太坊

私有鏈

僅授權節點可訪問和寫入

Hyperledger Fabric

聯盟鏈

多方共同維護，部分開放

金融、供應鏈企業聯合應用

混合鏈/跨鏈

不同鏈間的數據互操作

Cosmos、Polkadot

區塊鏈系統由數據層、網絡層、共識層、激勵層、合約層和應用層組成。其中：

數據層封裝了底層數據區塊以及相關的數據加密和時間戳等基礎數據和基本算法；
網絡層則包括分布式組網機制、數據傳播機制和數據驗證機制等
共識層主要封裝網絡節點的各類共識算法；
激勵層將經濟因素集成到區塊鏈技術體系中來，主要包括經濟激勵的發行機制和分配機制等；
合約層主要封裝各類腳本、算法和智能合約，是區塊鏈可編程特性的基礎；
應用層則封裝了區塊鏈的各種應用場景和案例。

區塊鏈應用：

比特幣
智能合約
證券交易
電子商務
物聯網
社交通訊
文件存儲
存在性證明
身份驗證
股權眾籌

物聯網（IoT，Internet of Things）

一、什么是物聯網？

物聯網(The Internet of Things) 是指通過信息傳感設備，按約定的協議，將任何物品與互聯網相連接，進行信息交換和通信，以實現智能化識別、定位、跟蹤、監控和管理的一種網絡。物聯網主要解決物品與物品(Thing to Thing， T2T) 、人與物品(Human to Thing， H2T) 、人與人(Human to Human， H2H)之間的互連。
兩層意思：
第一，物聯網的核心和基礎仍然是互聯網，是在互聯網基礎上的延伸和擴展的網絡；
第二，物聯網是把用戶端延伸和擴展到了任何物品和物品之間的信息交換的通信。

二、物聯網的基本組成

組成層	功能說明	舉例
感知層（底層）	負責信息采集和識別	傳感器、RFID（射頻識別）、攝像頭、二維碼
網絡層（中間層）	負責信息傳輸和通信	WiFi、4G/5G、NB-IoT、藍牙、ZigBee、LoRa、以太網
應用層（頂層）	負責數據處理、分析和服務應用	智慧城市、智能家居、工業自動化、智慧農業

三、核心技術要素

技術類別	內容
感知技術	RFID、二維碼、傳感器、攝像頭
通信技術	蜂窩通信（4G/5G）、藍牙、WiFi、ZigBee、LoRa、NB-IoT、衛星通信
網絡協議	TCP/IP、MQTT、CoAP、HTTP、ZigBee協議棧
平臺與云計算	阿里云IoT、華為IoT、亞馬遜AWS IoT、邊緣計算平臺
大數據與AI	數據分析、預測、行為識別、智能控制
安全技術	加密認證、訪問控制、隱私保護、邊緣防護

四、物聯網通信協議分類

協議類型	舉例	特點
短距離通信	藍牙、ZigBee、Wi-Fi	適合室內或局部范圍設備連接
低功耗廣域通信（LPWAN）	NB-IoT、LoRa、Sigfox	低速率、長距離、低功耗
蜂窩通信	4G、5G、eMTC	高帶寬、高可靠，適合車聯網等高實時場景
應用層協議	MQTT、CoAP、AMQP、HTTP	設備與平臺通信協議，輕量、高效或通用

五、物聯網發展面臨的挑戰

類型	說明
安全問題	數據泄露、設備劫持、身份認證弱等
互操作性差	不同設備、平臺之間協議和標準不統一
功耗與帶寬限制	遠程或電池供電設備功耗需控制
大規模部署管理難度大	數十億設備運維管理需要高效平臺
隱私保護	需要合法采集和合規使用用戶數據

六、物聯網與相關技術關系

技術	與物聯網的關系
大數據	分析處理物聯網設備產生的海量數據
人工智能	提高自動決策、預測分析能力
邊緣計算	減少延遲，提升本地響應速度
云計算	提供數據存儲、處理與設備管理能力
區塊鏈	提供安全、可信的數據共享與溯源機制
5G	提高連接密度和傳輸速率，支撐大規模設備聯網

大數據

一、什么是大數據？

大數據（Big Data）是指在傳統數據處理工具難以高效處理的數據集合，具有體量大、速度快、多樣性強、價值密度低等特點。

二、大數據的“5V”特征（核心）

特征英文	中文含義	說明
Volume	大體量	數據規模巨大，如TB、PB級別
Velocity	高速度	數據生成與處理速度快，需實時/準實時響應
Variety	多樣性	數據類型多樣：結構化、非結構化、半結構化
Value	價值密度低	數據中隱藏價值，需要深度挖掘
Veracity	真實性	數據質量和可靠性參差不齊，需清洗與驗證

三、大數據的常見類型

數據類型	示例
結構化數據	表格、數據庫（如SQL）
半結構化數據	JSON、XML、日志文件
非結構化數據	圖片、音視頻、社交媒體內容、PDF、郵件

四、大數據技術體系（核心架構）

1. 數據采集（Data Collection）

技術：Flume、Sqoop、Logstash、NiFi
作用：從數據庫、日志、傳感器、網頁等采集原始數據

2. 數據存儲（Data Storage）

分布式文件系統：如 HDFS、Ceph
分布式數據庫：
- NoSQL：HBase、MongoDB、Cassandra
- NewSQL：TiDB、CockroachDB
- 數據湖：Iceberg、Delta Lake、Apache Hudi

3. 數據處理與計算（Data Processing）

批處理：Hadoop MapReduce、Spark
流處理：Flink、Storm、Kafka Streams
內存計算：Apache Spark（核心特征）

4. 數據分析與挖掘（Data Analytics）

技術：Spark SQL、Hive、Presto、Pandas
數據挖掘算法：聚類、分類、關聯規則、預測等

5. 數據可視化（Visualization）

工具：Tableau、Power BI、ECharts、Superset、FineBI

6. 平臺與調度（Data Platform & Orchestration）

大數據平臺：Cloudera CDH、Hortonworks HDP、阿里云MaxCompute
調度系統：Airflow、Oozie、DolphinScheduler