Hive筆記之嚴格模式(strict mode)

?

Hive有一個嚴格模式,在嚴格模式下會對可能產生較大查詢結果的語句做限制,禁止其提交執行。

?

一、切換嚴格模式

查看當前的模式:

hive> set hive.mapred.mode;
hive.mapred.mode is undefined

未定義即為false,即no-strict模式。

開啟嚴格模式:

set hive.mapred.mode=strict; 

關閉嚴格模式:

set hive.mapred.mode=undefined;

?

二、嚴格模式嚴格在哪里

1. 對分區表的查詢必須使用到分區相關的字段

分區表的數據量通常都比較大,對分區表的查詢必須使用到分區相關的字段,不允許掃描所有分區,想想也是如果掃描所有分區的話那么對表進行分區還有什么意義呢。

當然某些特殊情況可能還是需要掃描所有分區,這個時候就需要記得確保嚴格模式被關閉。

image

?

2. order by必須帶limit

因為要保證全局有序需要將所有的數據拉到一個Reducer上,當數據集比較大時速度會很慢。個人猜測可能是設置了limit N之后就會有一個很簡單的優化算法:每個Reducer排序取N然后再合并排序取N即可,可大大減少數據傳輸量。

image

?

3. 禁止笛卡爾積查詢(join必須有on連接條件)

hive不會對where中的連接條件優化為on,所以join必須帶有on連接條件,不允許兩個表直接相乘。

image

?

.

轉載于:https://www.cnblogs.com/cc11001100/p/9434120.html

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/451739.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/451739.shtml
英文地址,請注明出處:http://en.pswp.cn/news/451739.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Notepad++ 6.0 發布,優化了大文件加載性能

開源編輯器Notepad今天發布了最新的6.0版本。 Notepad 是一款免費的開源跨平臺代碼編輯器。它支持包括中文在內的多國語言,功能強大,除了可以用來制作一般的純文字說明文件外,也可以作為代碼編輯器。Notepad不僅可以實現語法高亮顯示&#x…

31-- 二叉搜索樹的范圍和

文章目錄1.問題描述2.代碼詳情1.問題描述 給定二叉搜索樹的根結點 root,返回 L 和 R(含)之間的所有結點的值的和。 二叉搜索樹保證具有唯一的值。 示例 1: 輸入:root [10,5,15,3,7,null,18], L 7, R 15 輸出&…

java中 flush()方法

一般主要用在IO中,即清空緩沖區數據,就是說你用讀寫流的時候,其實數據是先被讀到了內存中,然后用數據寫到文件中,當你數據讀完的時候不代表你的數據已經寫完了,因為還有一部分有可能會留在內存這個緩沖區中…

JDK下載地址、SecureCRT中JDK安裝和環境配置、SecureCRT窗口編程、linux下命令運行小程序

前些天發現了一個巨牛的人工智能學習網站,通俗易懂,風趣幽默,忍不住分享一下給大家。點擊跳轉到教程。 1. 下載linux版本的JDK。java SE、java EE JDK是通用的, 32位系統選Linux x86, 64位系統選Linux x64&#xff…

HTMLTestRunner 漢化版---來源一個大神的源碼(加了失敗截圖,用例失敗重新執行 功能)...

HTMLTestRunner 漢化版 20170925 測試報告完全漢化,包括錯誤日志的中文處理針對selenium UI測試增加失敗自動截圖功能增加失敗自動重試功能增加餅圖統計同時兼容python2.x 和3.x20180402 表格樣式優化修復部分bug增加截圖組,可展示多張截圖,首…

PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilder

一.問題描述&#xff1a;pom.xml導入依賴時報錯 PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilder 二.解決方法&#xff1a; 1.加入ali鏡像源 <repositories><repository><id>maven-ali</id><url>https://mave…

你很棒的---自我管理方法,一生受用!!!

激勵自己--自我暗示 每天寫下五件幸福的事 &#xff1a;&#xff08;例12月2日周日&#xff09;1、給爸媽各買了一件衣服 2、出門曬了一下太陽 3、認識了一個新朋友&#xff0c;去了青年湖公園&#xff0c;人生就是一種經歷&#xff01;4、看了場電影《命運呼叫轉移》悟人生真…

持續集成與自動化部署 - jenkins sonar代碼質量管理平臺 部署和基礎使用(五)...

1 jenkins 安裝參考鏈接 1.1 安裝jenkins [roottest-node3 ~]# yum install -y java-1.8.0 [roottest-node3 ~]# cd /etc/yum.repos.d/ [roottest-node3 yum.repos.d]# wget http://pkg.jenkins.io/redhat/jenkins.repo [roottest-node3 yum.repos.d]# rpm --import http://pkg…

【轉】數學與編程——求余、取模運算及其性質

一、求余運算&#xff08;Remainder&#xff09; &#xff08;參考維基百科&#xff1a; http://zh.wikipedia.org/wiki/余數 http://en.wikipedia.org/wiki/Remainder http://en.wikipedia.org/wiki/Euclidean_divisionhttp://zh.wikipedia.org/wiki/同余&#xff09; Euclid…

javax.net.ssl.SSLException MESSAGE: closing inbound before receiving peer‘s close_notify

1. 問題描述&#xff1a; ** BEGIN NESTED EXCEPTION ** javax.net.ssl.SSLException MESSAGE: closing inbound before receiving peers close_notifySTACKTRACE:javax.net.ssl.SSLException: closing inbound before receiving peers close_notifyat sun.security.ssl.Alert.…

提高虛擬機運行速度方法

原網頁 要我注冊才能復制... 所以我只記錄了那個網址&#xff0c;我的情況是啟動很慢&#xff0c;照作后有效果。 該網址&#xff1a;提高虛擬機速度

InputStream 、 InputStreamReader和BufferedReader

InputStream &#xff1a; 是所有字節輸入流的超類&#xff0c;一般使用它的子類&#xff1a;FileInputStream等&#xff0c;它能輸出字節流&#xff1b;InputStreamReader &#xff1a; 是字節流與字符流之間的橋梁&#xff0c;能將字節流輸出為字符流&#xff0c;并且能為字節…

多線程原理分析面試題理解

系列前言 本系列是本人參加微軟亞洲研究院&#xff0c;騰訊研究院&#xff0c;迅雷面試時整理的&#xff0c;另外也加入一些其它IT公司如百度&#xff0c;阿里巴巴的筆試面試題目&#xff0c;因此具有很強的針對性。系列中不但會詳細講解多線程同步互斥的各種“招式”&#xff…

Could not load driverClass “com.mysql.jdbc.Driver“

1. 問題描述 Could not load driverClass “com.mysql.jdbc.Driver” 2. 解決辦法 檢查是否成功導入了mysql的jdbc的jar包 導入后成功解決 參考文獻&#xff1a; https://blog.csdn.net/weixin_43433032/article/details/98494228 感謝作者分享&#xff01;

luogu2034

/** 正難則反* f[i] 表示前 i 個數中被刪除的數的最小和* f[i] min(f[j]) num, i - k 1 < j < i;* 單調隊列維護 */ #include <bits/stdc.h>#define LL long longconst int N 1e5 10;LL tot, d, n, k; LL p[N], head 1, tail 1; LL q[N], f[N], ans;int mai…

Django的models操作

一、先看單表操作 增 方式1&#xff1a; models.book.objects.create(Book_name "aaa",Book_info "bbb",Book_price "ccc",Book_num "ddd")方式2&#xff1a;用2個*號傳遞一個字典進去  book_info {"Book_name":"…

ngingx安裝錯誤 ./configure: error: the HTTP rewrite module requires the PCRE library.

前些天發現了一個巨牛的人工智能學習網站&#xff0c;通俗易懂&#xff0c;風趣幽默&#xff0c;忍不住分享一下給大家。點擊跳轉到教程。 1. ngnix 安裝報錯&#xff1a; 2. 解決&#xff1a; 安裝pcre-devel解決問題&#xff0c;運行命令 yum -y install pcre-devel 3.…

32--數組中重復的數字

1. 問題描述 找出數組中重復的數字。 在一個長度為 n 的數組 nums 里的所有數字都在 0&#xff5e;n-1 的范圍內。數組中某些數字是重復的&#xff0c;但不知道有幾個數字重復了&#xff0c;也不知道每個數字重復了幾次。請找出數組中任意一個重復的數字。 示例 1&#xff1…

實習期間的一些思考整理(3)2018.4.12~4.13

青云訣游戲體驗日報-2018.4.12 今日關鍵點&#xff1a;核心玩法 青云訣的核心玩法是“戰斗”、“成長”、“探索”&#xff08;這三點也是RPG類型的要素&#xff09;&#xff0c;側重于成長。 我是這樣想的&#xff0c;要想找出核心玩法是什么&#xff0c;就要看哪些玩法沒了&a…