1,Azure 訪問地址

1，國際版

https://portal.azure.com/#homehttps://portal.azure.com/#home2，世紀互聯中國版

Microsoft Azure 由世紀互聯運營https://portal.azure.cn/2,創建資源組并且所有的后續組件都是再此資源下面創建。

3，創建Data Factory 工具

4,核心組件

1. 管道(Pipeline)

• 功能：邏輯工作流容器

• 特點：

  • 由多個活動組成

  • 支持參數化

  • 可調度執行

• 典型使用：定義完整的數據處理流程

2. 活動(Activity)

• 功能：管道中的單個處理步驟

• 類型：

  • 數據移動(如Copy)

  • 數據轉換(如Data Flow)

  • 控制流(如If Condition)

• 示例：從Blob復制數據到SQL DB

3. 數據集(Dataset)

• 功能：輸入/輸出數據的結構定義

• 特點：

  • 指向具體數據存儲

  • 定義數據格式

  • 支持分區定義

• 示例：定義Azure SQL表的結構

4. 鏈接服務(Linked Service)

• 功能：連接外部資源的定義

• 特點：

  • 包含連接信息

  • 支持多種認證方式

  • 可重用

• 示例：連接到Azure SQL Database的服務

5. 集成運行時(Integration Runtime)

• 功能：執行環境基礎設施

• 類型：

  • Azure IR(完全托管)

  • 自托管IR(本地/混合云)

  • Azure-SSIS IR(運行SSIS包)

• 選擇依據：網絡環境與性能需求

6. 觸發器(Trigger)

• 功能：管道執行調度機制

• 類型：

  • 計劃觸發器(定時)

  • 事件觸發器(如Blob上傳)

  • 手動觸發器

• 示例：每天凌晨1點觸發數據加載

5，抽取Demo 

1）創建元數據表以及需要抽取的2個表。

CREATE TABLE [META].[META_SOURCE_OBJECTS]
(
    [SYSTEM_NAME] [nvarchar](100) NULL,--source_system_name  指定系統EBS系統
    [DATABASE_NAME] [nvarchar](100) NULL,--source_DB_NAME  指定數據庫APPS DB
    [SCHEMA_NAME] [nvarchar](100) NULL,--Synapse-schema_name  指定架構ODS
    [OBJECT_NAME] [nvarchar](255) NULL,--Synapse-Object_name      指定表名Customer
    [INGEST_PATTERN] [nvarchar](50) NULL,--Full,Increment,Special    指定抽取模式 increment
    [TRIGGER_TIME] [nvarchar](100) NULL,--0100 start-time at 01:00 AM  指定抽取開始時間
    [ACTIVITY_CONFIG] [nvarchar](4000) NULL,--{"field_name":"CREATED_DATE_TIME"} 指定增量字段
    [ENABLED] [bit] NOT NULL,-- enabled_status Y是啟動,N是不啟動
    [USER_DEFINE_CONFIG] [nvarchar](4000) NULL,--{"target_name":"EKKO"}--用戶自定義例如表，或者需要指定抽取的時間 getdate()-30
    [CREATE_TIME] [datetime] NULL  --指定創建時間
)

 DECLARE @DynamicQuery NVARCHAR(MAX);
SELECT @DynamicQuery = STRING_AGG(CONCAT('SELECT ','''', SYSTEM_NAME, ''' AS SYSTEM_NAME, ','''', DATABASE_NAME, ''' AS DATABASE_NAME, ','''', SCHEMA_NAME, ''' AS SCHEMA_NAME, &#