?博主專欄 : <mysql高手> <elasticsearch高手> <源碼解讀> <java核心> <面試攻關>
?博主的話 : 搬的每塊磚,皆為峰巒之基;公眾號搜索「碼到三十五」關注這個愛發技術干貨的coder,一起筑基
目錄
- 一、基本概念
- 二、主要功能和優勢
- Elasticsearch SQL特點
- 三、啟用和使用SQL功能
- 四、Elasticsearch SQL的使用
- 4.1 語法
- 4.2 sql查詢
- 4.3 將SQL轉換為DSL
- 4.4 全文檢索
- MATCH函數
- QUERY()
- 4.5 分組統計
- 4.6 DESCRIBE
- 4.7 SHOW TABLES
- 4.8 查詢支持的函數
- 五、適用場景及潛在限制
一、基本概念
Elasticsearch是一個基于Lucene的開源、分布式、RESTful搜索引擎。它提供了全文搜索、結構化搜索、分析以及分布式索引等功能。Elasticsearch SQL是Elasticsearch的擴展功能,允許用戶使用SQL語法查詢Elasticsearch數據。通過SQL接口,開發者可以利用熟悉的SQL語言,編寫更直觀、更易懂的查詢,并且避免對大量復雜的原生REST請求的編寫。
二、主要功能和優勢
- 易用性:使用熟悉的SQL語法,降低了學習成本。
- 靈活性:支持復雜的查詢和聚合操作。
- 性能:Elasticsearch本身的分布式架構和高效查詢引擎保證了查詢性能。
- 集成性:通過JDBC驅動,可以與各種SQL工具和應用程序集成。
Elasticsearch SQL特點
1. 本地集成
Elasticsearch SQL是專門為Elasticsearch構建的。每個SQL查詢都根據底層存儲對相關節點有效執行。
2. 沒有額外的要求
不依賴其他的硬件、進程、運行時庫,Elasticsearch SQL可以直接運行在Elasticsearch集群上
3. 輕量且高效
像SQL那樣簡潔、高效地完成查詢
三、啟用和使用SQL功能
要在Elasticsearch中啟用和使用SQL功能,你需要安裝X-Pack插件。X-Pack插件包含了許多擴展功能,包括SQL接口。安裝完成后,需要在Elasticsearch配置文件中啟用X-Pack插件,并重啟Elasticsearch服務。
# 安裝X-Pack插件
./bin/elasticsearch-plugin install x-pack# 啟用X-Pack插件
# 在elasticsearch.yml配置文件中添加以下配置
xpack.sql.enabled: true
在啟用SQL功能后,你可以通過REST API、命令行工具或JDBC驅動來執行SQL查詢。Elasticsearch SQL的語法與標準的SQL語法非常相似,支持SELECT、FROM、WHERE、GROUP BY、HAVING、ORDER BY等常見SQL語句。
四、Elasticsearch SQL的使用
4.1 語法
SELECT select_expr [, ...]
[ FROM table_name ]
[ WHERE condition ]
[ GROUP BY grouping_element [, ...] ]
[ HAVING condition]
[ ORDER BY expression [ ASC | DESC ] [, ...] ]
[ LIMIT [ count ] ]
[ PIVOT ( aggregation_expr FOR column IN ( value [ [ AS ] alias ] [, ...] ) ) ]
目前FROM只支持單表
4.2 sql查詢
# 使用curl命令查詢
curl -X GET "localhost:9200/_sql?format=txt" -H 'Content-Type: application/json' -d'
{"query": "SELECT * FROM indexName WHERE age > 30"
}'
format=txt 是指查詢返回結果的數據格式
4.3 將SQL轉換為DSL
GET /_sql/translate
{
"query":"SELECT * FROM es_order limit 1"
}
結果如下:
{"size" : 1,"_source" : {"includes" : ["id","orderNo","orderTime"],"excludes" : [ ]},"docvalue_fields" : [{"field" : "id"},{"field" : "orderNo"},{"field" : "orderTime"}],"sort" : [{"_doc" : {"order" : "asc"}}]
}
4.4 全文檢索
當使用MATCH或QUERY函數時,會啟用全文搜索功能,SCORE函數可以用來統計搜索評分。
MATCH函數
MATCH(field_exp, constant_exp [, options])
field_exp:匹配字段
constant_exp:匹配常量表達式
用法:
GET /_sql?format=txt
{
"query":"select * from es_order where MATCH(address, '武漢') or MATCH(productType, '手機') limit 10"
}
QUERY()
使用QUERY函數查詢address中包含Street的記錄。
POST /_sql?format=txt
{
"query":"select id,orderNo,name,address,SCORE() from es_order where QUERY('address: 武漢') limit 10"
}
4.5 分組統計
GET /_sql?format=txt
{
"query":"select city, count(*) as age_cnt from es_order group by city"
}
這種方式要更加直觀、簡潔。
HAVING
我們可以使用HAVING語句對分組數據進行二次篩選,比如篩選分組記錄數量大于1000的信息,查詢語句如下。
POST /_sql?format=txt
{"query":"select city, count(*) as age_cnt from es_order group by city having count(*) > 1000"
}
ORDER BY
使用ORDER BY語句對數據進行排序,比如按照統計字段從高到低排序,查詢語句如下。
POST /_sql?format=txt
{"query":"select city, count(*) cc as age_cnt from es_order group by city having count(*) > 1000 order by cc "
}
注意: 目前Elasticsearch SQL還存在一些限制。例如:不支持JOIN、不支持較復雜的子查詢。所以,有一些相對復雜一些的功能,還得借助于DSL方式來實現
4.6 DESCRIBE
使用DESCRIBE語句查看索引中有哪些字段,比如查看es_order索引的字段,查詢語句如下。
POST /_sql?format=txt
{"query": "DESCRIBE es_order"
}
4.7 SHOW TABLES
使用SHOW TABLES查看所有的索引
POST /_sql?format=txt
{"query": "SHOW TABLES"
}
4.8 查詢支持的函數
使用SQL查詢ES中的數據,不僅可以使用一些SQL中的函數,還可以使用一些ES中特有的函數。SHOW FUNCTIONS語句查看所有支持的函數,比如搜索所有帶有DATE字段的函數可以使用如下語句。
POST /_sql?format=txt
{"query": "SHOW FUNCTIONS LIKE '%DATE%'"
}
五、適用場景及潛在限制
Elasticsearch SQL適用于需要對大量數據進行復雜查詢的場景,如數據分析、報表生成、數據探索等。然而,由于SQL查詢的復雜性,它可能不適用于所有場景。例如,對于需要高并發、低延遲的場景,原生REST查詢可能更合適。
此外,雖然Elasticsearch SQL提供了SQL接口,但它并不是完全兼容SQL。例如,它不支持所有的SQL函數和特性。因此,在使用Elasticsearch SQL時,需要了解它的限制,并根據實際情況選擇使用。
總結來說,Elasticsearch SQL提供了一種直觀、易用的方式查詢Elasticsearch數據。它允許開發者利用熟悉的SQL語言,編寫更直觀、更易懂的查詢,并避免對大量復雜的原生REST請求的編寫。然而,它的適用場景和性能特點需要在實際使用中仔細考慮。