2016/11/10 kettle概述

??????? ETL(Extract-Transform-Load,即抽取,轉換,加載),數據倉庫技術,是用來處理將數據從來源(以前做的項目)經過抽取,轉換,加載到達目的端(正在做的項目)的過程。也就是新的項目需要使用以前項目數據庫中的數據,ETL就是解決這個問題的。

??????? ETL實現共同注意點:正確性,完整性,一致性,完備性,有效性,時效性,可獲取性等,也就是說無論我們使用什么工具,來實現ETL技術時,達到這幾個方面,才算是質量過關的。

??????? kettle則是其中的一種工具,其它還有:Informatica,Datastage,OWB,微軟的DTS等等。好,下邊簡單說說kettle。

??????? kettle是一款國外開源的ETL工具,純Java編寫,可以在Windows,Linux,Unix上運行,數據抽取高效穩定。kettle中文名俗稱“水壺”,開發目的是將各種數據放到一個壺中,然后經過各種處理加工,以特定的格式流出。

??????? kettle轉換的設計包括幾個方面:資源庫,數據庫連接,作業(job),轉換(trans),步驟(step)。形象的舉一個例子:資源庫相當于我們一個Java項目,數據庫連接相當于我們Java項目中的連接數據庫,Job相當于Java項目中的一條線,而Trans相當于Java中的一個個類,Step則是類中的方法。所以,kettle需要我們做的就是建好資源庫,連接好數據庫,建立轉換,寫好類中的每個步驟,將轉換連接起來組成任務(轉換也可以獨立執行)。

??????? 最后看一下什么時候適合使用kettle。這樣一個項目A,這個項目A需要實施到很多家企業,而項目A需要用到每家企業的數據庫基礎數據,例如員工,組織結構,客戶,供應商等等一些基礎數據,這時候kettle就可以很輕松的完成任務。也就是說,我們的項目需要用到大量的數據庫之間遷移數據。

摘錄自:http://blog.csdn.net/liujiahan629629/article/details/47061727

轉載于:https://www.cnblogs.com/zcr3108346262/p/6049595.html

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/256012.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/256012.shtml
英文地址,請注明出處:http://en.pswp.cn/news/256012.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

【深度學習】——非極大值抑制(nms/soft-nms)

目錄 一、相關概念 1、iou 1)理論計算 2)Python代碼(代碼參考yolov3模型util.py文件) 2、nms 1)基本思路 2)標準nms和soft-nms 3)Python代碼實現(yolov3中util.py文件,增加了…

移動服務安全現狀分析!

2019獨角獸企業重金招聘Python工程師標準>>> 由于Android開源的環境,導致Android的整體環境都存在很多不安全的因素,同時用戶在移動APP客戶端的便捷應用,也給用戶帶來了巨大的安全隱患。未經過移動服務安全加固的APP存在被靜態反編…

封裝不同類模板的隨機數生成器

最近準備刷題,打算簡單封裝下隨機數生成器,方便產生測試數據。C11的STL提供了很多分布類型,我比較常用的是均勻分布,均勻分布的值有兩種類型,一類是整數,另一類是浮點數,STL根據值的類型定義了兩…

Log4j詳細設置說明

1. 動態的改變記錄級別和策略,即修改log4j.properties,不需要重啟Web應用,這需要在web.xml中設置一下。2. 把log文件定在 /WEB-INF/logs/ 而不需要寫絕對路徑。3. 可以把log4j.properties和其他properties一起放在/WEB-INF/ ,而不是Class-Pat…

【機器學習】——卷積神經網絡(Keras)修改學習率(定值+自適應)

目錄 1、直接獲取現有模型的學習率 2、打印顯示學習率 3、調整學習率 1)1.LearningRateScheduler 2)ReduceLROnPlateau 利用tensorflow的Keras模塊我們可以建立我們自己定義的卷積神經網絡模型,但是一般不會觸碰到學習率這個問題&#x…

使用Docker構建你的第一個服務

1. 感受一下Docker的便捷 項目源碼 https://github.com/MoonShining/dockernize-grape-helloworld clone下來以后運行,cd到項目目錄下,運行 docker build -t api-sample . docker run -p 8080:8080 api-sample:latest 復制代碼就可以訪問localhost:8080看到效果了. …

MyEclipse連接MySQL

在官網http://www.mysql.com/downloads/下載數據庫連接驅動 本文中使用驅動版本為mysql-connector-java-5.1.40 一、創建一個java測試項目MySQLConnectorsTest 在項目下穿件一個lib文件夾用來存放MySQL驅動包。 右鍵驅動包build path進行add添加操作,打開Referenced…

在Windows系統中配置Google AddressSanitizer

Google AddressSanitizer簡介 AddressSanitizer (ASan) 是 C 和 C 的內存錯誤檢測軟件,它可以檢測: 釋放指針后繼續使用堆緩沖區溢出棧緩沖區溢出全局緩沖區溢出返回后繼續使用在范圍之外繼續使用初始化順序的bug內存泄漏 在 Windows 系統中&#xff…

【劍指offer】——求出一個正整數的質數因子(Python)

目錄 一、題目描述 二、思路 1、短除法 2、平方根法 一、題目描述 功能:輸入一個正整數,按照從小到大的順序輸出它的所有質因子(重復的也要列舉)(如180的質因子為2 2 3 3 5 ) 最后一個數后面也要有空格 輸入描述…

Python字符串筆錄

python字符串操作實方法,包括了幾乎所有常用的python字符串操作,如字符串的替換、刪除、截取、復制、連接、比較、查找、分割等 1、去空格及特殊符號 >>> s 123 >>> s.strip() # 去除所有空格123 >>> s1 123 >>&…

第九周進度條

第六周學習進度條 星期一 星期二 星期三 星期四 星期五 星期六 星期日 所花時間 (包括上課) 無 上午8:00-9:50 無 無 下午4:00-5:00 下午3:00-5:30 代碼量(行) 0行 260行 0行 0行 0行 0…

C++ STL實現的優先隊列( priority_queue )

本文參考的源碼版本:gcc version 8.1.0 (x86_64-posix-seh-rev0, Built by MinGW-W64 project)。 priority_queue 本質是容器適配器,它對內部容器的元素有自己的管理方式,而 priority_queue 實際維護的是一個二叉堆。STL中 priority_queue 的…

【Python函數】——sort,sorted

1、sorted和sort的常規使用 2、關于自定義比較函數 3、試驗 from functools import cmp_to_key ll [(2,3,10),(1,2,3),(5,6,7),(2,5,10),(2,4,10)]# 根據一個維度進行排序,這里根據第一維排序 ll1 sorted(ll,key lambda x:x[0]) print(根據一個維度進行排序&a…

生成相關矩陣

U是X(差異矩陣)各列向量取方向后形成的矩陣,CU^T * U 即相關矩陣,即各列向量兩兩的夾角,(夾角越小說明關聯度越高) clc avg_e66;avg_m66;avg_s76; x1[61 63 78 65 63] -avg_e; x2[53 73 61 84 5…

Java關于Properties用法的總結(一)

最近項目中有一個這樣的需求,要做一個定時任務功能,定時備份數據庫的操表,將表數據寫入txt文件。因為文件的讀寫路徑可能需要隨時改動,所以寫死或者寫成靜態變量都不方便,就考慮使用配置文件,這里總結些配置…

【tensorflow】——tensorboard可視化計算圖以及參數曲線圖loss圖

參考文獻: https://zhuanlan.zhihu.com/p/71328244 目錄 1.可視化計算圖 2.可視化參數 3. 遠程tensorboard 4、報錯 真是出來混遲早是要還的,之前一直拒絕學習Tensorboard,因為實在是有替代方案,直到發現到了不得不用的地步…

Lab01:Xv6 and Unix utilities

實驗測試方法 實驗的測試方法主要有2個: 進入到Xv6系統中,執行相應的命令使用實驗提供的評分測試 對于單個實驗,可以使用 make GRADEFLAGSapplication grade其中application為要測試的實驗應用,例如sleep實驗對應的評分測試命令…

jQuery學習- 位置選擇器

<!DOCTYPE html> <html><head><meta charset"UTF-8"><title>位置選擇器</title><script src"js/jquery.js"></script><script type"text/javascript">$(function(){//獲取第一個li$(&quo…

數據類型之元組

存多個值&#xff0c;對比列表來說&#xff0c;元組不可變&#xff08;是可以當做字典的key的&#xff09;&#xff0c;主要是用來讀 與列表類型比&#xff0c;只不過[]換成()age(11,22,33,44,55) #本質agetuple((11,22,33,44,55)) print(type(age)) age[0]12 t(1,2,[a,b]) pri…