阿里云大數據計算服務MaxCompute(上篇)

關于阿里云大數據計算服務MaxCompute的詳細內容:

阿里云大數據計算服務MaxCompute使用教程

(MaxCompute(原ODPS)是一項大數據計算服務,它能提供快速、完全托管的PB級數據倉庫解決方案,使您可以經濟并高效的分析處理海量數據。)

大數據計算服務(MaxCompute,原名 ODPS)是一種快速、完全托管的 GB/TB/PB 級數據倉庫解決方案。MaxCompute 為您提供了完善的數據導入方案以及多種經典的分布式計算模型,能夠更快速的解決海量數據計算問題,有效降低企業成本,并保障數據安全。

同時,大數據開發套件和 MaxCompute 關系緊密,大數據開發套件為 MaxCompute 提供了一站式的數據同步,任務開發,數據工作流開發,數據管理和數據運維等功能,詳情請參見大數據開發套件。

MaxCompute 主要服務于批量結構化數據的存儲和計算,可以提供海量數據倉庫的解決方案以及針對大數據的分析建模服務。隨著社會數據收集手段的不斷豐富及完善,越來越多的行業數據被積累下來。數據規模已經增長到了傳統軟件行業無法承載的海量數據(百 GB、TB 乃至 PB)級別。

在分析海量數據場景下,由于單臺服務器的處理能力限制,數據分析者通常采用分布式計算模式。但分布式的計算模型對數據分析人員提出了較高的要求,且不易維護。使用分布式模型,數據分析人員不僅需要了解業務需求,同時還需要熟悉底層計算模型。MaxCompute 的目的是為您提供一種便捷的分析處理海量數據的手段,您可以不必關心分布式計算細節,便可達到分析大數據的目的。

MaxCompute 已經在阿里巴巴集團內部得到大規模應用,例如:大型互聯網企業的數據倉庫和 BI 分析、網站的日志分析、電子商務網站的交易分析、用戶特征和興趣挖掘等。

產品優勢

大規模計算存儲

MaxCompute 適用于 100GB 以上規模的存儲及計算需求,最大可達 EB 級別。

多種計算模型

MaxCompute 支持 SQL、MapReduce、Graph 等計算類型及 MPI 迭代類算法。

強數據安全

MaxCompute 已穩定支撐阿里全部離線分析業務7年以上,提供多層沙箱防護及監控。

低成本

與企業自建私有云相比,MaxCompute 的計算存儲更高效,可以降低 20%-30% 的采購成本。

功能概述

數據通道

支持批量、歷史數據通道 TUNNEL 是 MaxCompute 為您提供的數據傳輸服務,提供高并發的離線數據上傳下載服務。支持每天 TB/PB 級別的數據導入導出,特別適合于全量數據或歷史數據的批量導入。Tunnel 提供 Java 編程接口供您使用,并且在 MaxCompute 的客戶端工具中,有對應的命令實現本地文件與服務數據的互通。

實時、增量數據通道 針對實時數據上傳的場景,MaxCompute 提供了延遲低、使用方便的 DataHub 服務,特別適用于增量數據的導入。Datahub 還支持多種數據傳輸插件,例如:Logstash、Flume、Fluentd、Sqoop 等,同時支持日志服務 Log Service 中的日志數據一鍵投遞至 MaxCompute,進而使用大數據開發套件進行日志分析和挖掘。

計算及分析任務

MaxCompute 支持多種計算模型,詳情如下:

SQL:MaxCompute 只能以表的形式存儲數據,并對外提供了 SQL 查詢功能。您可以將 MaxCompute 作為傳統的數據庫軟件操作,但其卻能處理 TB、PB 級別的海量數據。 注意:

MaxCompute SQL 不支持事務、索引及 Update/Delete 等操作。 MaxCompute 的 SQL 語法與 Oracle,MySQL 有一定差別,您無法將其他數據庫中的 SQL 語句無縫遷移到 MaxCompute 上來。 在使用方式上,MaxCompute SQL 最快可以在分鐘,乃至秒級別完成查詢,無法在毫秒級別返回結果。 MaxCompute SQL 的優點是學習成本低,您不需要了解復雜的分布式計算概念。如果您具備數據庫操作經驗,便可快速熟悉 MaxCompute SQL 的使用。

UDF:即用戶自定義函數。 MaxCompute 提供了很多 內建函數 來滿足您的計算需求,同時您還可以通過創建自定義函數來滿足不同的計算需求。

MapReduce:MaxCompute MapReduce 是 MaxCompute 提供的 Java MapReduce 編程模型,它雖與通用的 MapReduce 有所區別,但可以簡化開發流程,更為高效。您若使用 MaxCompute MapReduce,需要對分布式計算概念有基本了解,并有相對應的編程經驗。MaxCompute MapReduce 為您提供 Java 編程接口。 Graph:MaxCompute 提供的 Graph 功能是一套面向迭代的圖計算處理框架。圖計算作業使用圖進行建模,圖由點 (Vertex)和邊(Edge)組成,點和邊包含權值(Value)。通過迭代對圖進行編輯、演化,最終求解出結果,典型應用:PageRank,單源最短距離算法 ,K-均值聚類算法 等。 SDK

SDK 是 MaxCompute 提供給開發者的工具包,詳情請參見 SDK 介紹。

安全

MaxCompute 提供了功能強大的安全服務,為您的數據安全提供保護,詳情請參見 安全參考手冊。

后續步驟

現在,您已經學習了 MaxCompute 的產品優勢、功能特性等相關簡介,您可以繼續學習下一個教程。在該教程中您將快速了解如何使用 MaxCompute,詳情請參見 快速開始。

發展歷程

更新時間:2017-09-08 08:19:17

從 2009 年 9 月阿里云成立,愿景就是做運算/分享數據的第一平臺。2010 年 4 月,伴隨阿里金融的貸款業務上線,ODPS 正式投入生產運行,2012 年建立統一數據平臺,2013 年具備超大規模海量數據處理能力,2014~2015 年大數據平臺開始日趨成熟,2016 年 MaxCompute 2.0 誕生,成立之初的愿景正在逐步實現。

關鍵性里程碑

2010.04 ODPS 正式投入生產運行。阿里金融的貸款業務上線穩定運行。 2013.05 ODPS 公測。 2013.07 ODPS 正式提供商業化服務,單集群規模 5K 臺服務器多級群能力。 2016.09 ODPS 正式更名為 MaxCompute,并推出 MaxCompute 2.0,實現高性能,新功能,富生態。

阿里云大學官網(阿里云大學 - 官方網站,云生態下的創新人才工場)

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/255990.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/255990.shtml
英文地址,請注明出處:http://en.pswp.cn/news/255990.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Vue3、TypeScript 實現圖片數量及大小隨寬度自適應調整

前言 過了這么久,想起自己還有個博客,更點內容吧! 來,上需求! 最近在做個前端界面,要求在一行中展示一些圖片,展示的圖片數量隨著窗口寬度大小進行變化,除此之外還有以下要求&…

【tensorFlow】——圖像數據增強、讀取圖像、保存圖像

#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2021/4/13 10:54 # @Author : @linlianqin # @Site : # @File : 數據增強(distorted).py # @Software: PyCharm # @description:一些基于TensorFlow的數據處理方法import tensorflow as tf import cv2 im…

數據分析方法有哪些_數據分析方法

數據分析方法有哪些_數據分析方法 隨著大數據的到來,數據分析師成為大數據時代一顆冉冉升起的新星,現在企業越來越重視大數據,數據分析師這個職業也成為企業爭搶的對象。那么數據分析師的分析數據的方法都有哪些呢? 1、數據分析遵…

蘋果Iphone/Ipad--L2T虛擬教程

1 Iphone和Ipad同為IOS,設置方法相同。首先進入IOS系統的“設置”程序。 2 點擊“通用”進入通用設置,點擊“”; 3 選擇"添加設置 "; 4 選擇L2TP方式,填寫必要信息:描述、服務器地址 、您注冊充值的賬號及密…

記憶化搜索的應用

記憶化搜索的應用 一般來說,動態規劃總要遍歷所有的狀態,而搜索可以排除一些無效狀態。更重要的是搜索還可以剪枝,可能剪去大量不必要的狀態,因此在空間開銷上往往比動態規劃要低很多。 如何協調好動態規劃的高效率與高消費之間的…

【深度學習】——DNN后向傳播、CNN后向傳播文章匯總

深度神經網絡(DNN)模型與前向傳播算法 深度神經網絡(DNN)反向傳播算法(BP) 卷積神經網絡CNN的前向和后向傳播(一) 卷積神經網絡CNN的前向和后向傳播(二) 有batch normalization的卷積…

ajaxReturn 之前dump調試,導致$.ajax不能正常運行

ajaxReturn 之前dump調試,導致$.ajax不能正常運行 以后調試的時候,注意下這個情況轉載于:https://www.cnblogs.com/bushe/p/5180317.html

Veebot-自動靜脈抽血機器人

Veebot-自動靜脈抽血機器人 我們可能都有過被抽血的經驗。護士讓你握緊拳頭,用一根橡皮條壓住你上臂的血管,在你的肘部內側尋找你的靜脈,有時還需要拍打幾下,摸到隆起的靜脈血管,一針下去。有時候碰到技術好的護士&…

idea 轉普通項目為maven 項目

1、項目上右鍵 Add Framework Support。 2、選擇maven,點擊OK。 轉載于:https://www.cnblogs.com/mayanze/p/8042489.html

HDOJ5547 SudoKu

題目鏈接&#xff1a;http://acm.hdu.edu.cn/showproblem.php?pid5547 題目大意&#xff1a;填數獨。。。 思路&#xff1a;爆搜 1 #include <stdio.h>2 #include <string.h>3 #include <iostream>4 #include <algorithm>5 using namespace std;6 boo…

【深度學習之ResNet】——深度殘差網絡—ResNet總結

目錄 論文名稱&#xff1a;Deep Residual Learning for Image Recognition 摘要&#xff1a; 1、引言 2、為什么會提出ResNet殘差網絡呢&#xff1f; 3、深度殘差網絡結構學習&#xff08;Deep Residual learning&#xff09; &#xff08;1&#xff09;殘差單元 &#xf…

Atitit.??c#?語法新特性?c#2.0?3.0?4.0?4.5?5.0?6.0???attilax總結

Atitit. c# 語法新特性 c#2.0 3.0 4.0 4.5 5.0 6.0 attilax總結 1.1. C# 1.0-純粹的面向對象 1.2. C# 2.0-泛型編程新概念 1.3. C# 2.0的另一個突出的特性就是匿名方法 1.4. C#3.0 linq 1.5. C# 4.0動態編程 dynamic 1.6. C# 4.5 異步編程 async和await 1.7. C# 5.0 更方便…

關于SafeMove White Paper功能

ABB機器人網站有一個 Safemove 功能的介紹&#xff0c;在Overview頁面右半版有一篇文檔是 SafeMove White Paper &#xff0c;在45頁的 pdf 文檔中&#xff0c;詳細了介紹工業機器人的安全原則&#xff0c;以及ABB工業機器人自身 EPS (Electronic Position Switches) 和 SafeMo…

面試疑難點解析

List,Set,Map,有什么區別&#xff1f; List和Set實際上市實現了Collection接口&#xff0c;那么Collection接口的原理你能簡單描述一下嗎&#xff1f; List接口可以插入多個NULL值&#xff0c;并且重復值&#xff0c;而且LIST是一個有序的集合。 Set是一個不可重復的集合&#…

【深度學習】——日常知識點總結(持續更新)

設計卷積網絡的原則&#xff1a; 1、最后轉為一維有兩種方式&#xff1a;1&#xff09;全局平均池化&#xff1b;2&#xff09;扁平化直接轉化為一維的 2、在卷積層的大小變化時盡量保證特征圖大小減小n倍時&#xff0c;特征圖的個數也增加n倍&#xff0c;維持網絡的復雜度&a…

主機無法訪問虛擬機的httpd服務

癥狀&#xff1a;虛擬機裝的centos6.3 通過橋接的方式與主機連接 虛擬機通過yum安裝httpd服務 在主機瀏覽器中輸入 虛擬機ip 無法訪問虛擬機Apache 虛擬機和主機可以相互ping通 解決&#xff1a;關掉虛擬機的防火墻就可以了 命令setup進入防火墻管理 按空格鍵取消防火墻啟用 轉…

越獄Season 1- Episode 22: Flight

Season 1, Episode 22: Flight -Franklin: You know you got a couple of foxes in your henhouse, right? fox: 狐貍 henhouse: 雞舍 你的隊伍里都是一群狐貍 -Michael: They both want out of here. both: 兩者都 他們都想出去 Theyll behave until then. behave: 舉止端…

巴科斯范式BNF: Backus-Naur Form介紹

巴科斯范式(BNF: Backus-Naur Form. 的縮寫)是由 John Backus 和 Peter Naur 首次引入一種形式化符號來描述給定語言的語法&#xff08;最早用于描述ALGOL 60 編程語言&#xff09;。 現在&#xff0c;幾乎每一位新編程語言書籍的作者都使用巴科斯范式來定義編程語言的語法規則…

2017-2018-1 20155229 《信息安全系統設計基礎》第十三周學習總結

2017-2018-1 20155229 《信息安全系統設計基礎》第十三周學習總結 對“第二章 信息的表示和處理”的深入學習 這周的任務是選一章認為最重要的進行學習&#xff0c;我選擇了第二章。當今的計算機存儲和處理信息基本上是由二進制&#xff08;位&#xff09;組成&#xff0c;二進…

【VOC格式xml文件解析】——Python

#!/usr/bin/env python # -*- coding: utf-8 -*- # Time : 2021/4/26 12:49 # Author : linlianqin # Site : # File : test1.py # Software: PyCharm # description: import xml.etree.ElementTree as ETdef xmli(xmlpath):xmlTree ET.parse(xmlpath) # 解析xml文…