文章目錄
- 一、環境準備
- 1、 docker安裝ES
- 2、啟動容器
- 3、圖像化客戶端工具ElasticSearch-Head
- 二、Go ES連接與認證
- 1、 連接ES
- 2、配置ES認證
- 三、索引的增刪改查
- 四、文檔的增刪改
- 創建單個文檔
- 根據文檔id刪除文檔
- 批量刪除文檔
- 批量創建文檔
- 五、文檔查詢
- 列表查詢
- 精確匹配
- 模糊匹配
- 嵌套字段的搜索
- 六、 更新文檔
代碼地址: https://gitee.com/lymgoforIT/golang-trick/tree/master/34-go-es
一、環境準備
1、 docker安裝ES
首先需要先安裝docker
,這個網上教程很多,這里就默認docker
已經安裝好了。當然如果不想用docker
的話,也可以和redis、kafka
等組件一樣,下載后加壓、配置環境變量便可以開始使用了。
拉取elasticsearch的鏡像
docker pull elasticsearch:7.12.0
創建docker容器掛載的目錄
之所以在容器啟動的時候要配置掛載的宿主機目錄,是因為想要在宿主機(本機)上記錄下來當前ES容器
的配置信息,數據以及插件等,這樣即使到時候我們把容器刪了,重新用鏡像生成容器時,只要掛載的還是這三個目錄,那么即使鏡像變了,端口變了,但是啟動的容器和之前的會是一樣的。
PS:掛載指是是宿主機(本機)的目錄映射到容器中的某個目錄,一方改動,另一方會相應的改動,通過容器啟動時 -v 選項配置。
主要是三個目錄:config 、data 、plugins
,其實我們如果是自己安裝ES
,而不是通過docker
安裝的話,也是可以看到這三個目錄的。
既然我們本次是用docker
演示的,那就手動創建一下這三個目錄吧,如下,放到了自己建的docker-es
目錄下
然后在config
目錄下建立配置文件elasticsearch.yml
并寫入內容 http.host: 0.0.0.0
,表示監聽本機上的所有IP
地址, 也就是接收本機所有網卡發到本進程端口的請求
如果是linux
的話,通過命令就可以完成上述步驟了,當然目錄名字就稍微換了,畢竟linux
沒有盤符的概念
# linux的命令
mkdir -p /opt/es/config & mkdir -p /opt/es/data & mkdir -p /opt/es/pluginschmod 777 /opt/es/dataecho "http.host: 0.0.0.0" > /opt/es/config/elasticsearch.yml
2、啟動容器
linux
docker run --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms84m -Xmx512m" -v /opt/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /opt/es/data:/usr/share/elasticsearch/data -v /opt/es/plugins:/usr/share/elasticsearch/plugins -d elasticsearch:7.12.0
windows
docker run --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms84m -Xmx512m" -v D:\\GoDevKit\\ElasticSearch\\docker-es\\config\\elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v D:\\GoDevKit\\ElasticSearch\\docker-es\\data:/usr/share/elasticsearch/data -v D:\\GoDevKit\\ElasticSearch\\docker-es\\plugins:/usr/share/elasticsearch/plugins -d elasticsearch:7.12.0
解釋:
docker run
:運行容器的命令--name
:啟動后容器的名字-p
:端口映射,表示訪問宿主機的9200
端口,會映射訪問到容器的9200
端口,9200
是外部訪問es
的restful
端口,9300
是es
集群內部節點之間通信的端口。-e
ES_JAVA_OPTS="-Xms84m -Xmx512m"
:es
是Java
寫的,這里是設置Java虛擬機
相關參數-v
:目錄掛載映射,這里也可以看到es
容器是自帶了那三個目錄的,就像我們自己安裝es
一樣,只是現在我們想將宿主機的三個目錄與之映射,這樣即使刪除了容器,之前新建的容器只要還是掛載的宿主機這三個目錄,那就還是會和原來的容器一樣的。-d
:后臺運行- 最后的參數時鏡像名字
啟動成功:
通過docker desktop
可以看到容器正在運行中了
訪問本機的9200
端口
并且可以看到我們創建的data
空目錄中也就有一些數據了
3、圖像化客戶端工具ElasticSearch-Head
ElasticSearch-Head
的安裝和使用可以參考:https://www.cnblogs.com/xuwenjin/p/8792919.html
1、elasticsearch-head
是一個基于node.js
的前端工程,所以需要先安裝node.js,下載地址:https://nodejs.org/en/download,下載完成后,基本就是無腦式下一步即可,安裝完成后使用node -v
查看版本判斷是否安裝成功。
2、安裝grunt
為全局命令,grunt
是基于node.js
的項目構建工具
npm install -g grunt-cli
將grunt
需要的一些jar
包也安裝上,需要聯網下載,可能需要一點時間
npm instll
3、下載elasticsearch-head
配置包,下載地址:https://github.com/mobz/elasticsearch-head
下載后,進入到該目錄中,打開cmd
,輸入npm run start
打開瀏覽器連接,綠色表示連接成功了,事實上第一次操作是連接不上的,因為9100
去連接9200
端口,屬于跨域了,是會被拒絕了,所以需要在elasticsearch.yml
配置文件中加上允許跨域連接的配置
http.cors.enabled: true
http.cors.allow-origin: "*"
然后通過docker desktop
重啟重啟容器,就可以看到連接成功啦
二、Go ES連接與認證
安裝依賴包
go get github.com/olivere/elastic/v7
1、 連接ES
對于連接操作,我們一般都是會定義一個包級別的變量,然后提供一個顯示的Init
方法,然后在main
方法中初始化,如下
es_connect.go
package coreimport ("fmt""github.com/olivere/elastic/v7"
)var EsClient *elastic.Clientfunc InitEsConn() {client, err := elastic.NewClient(elastic.SetURL("http://127.0.0.1:9200"), // ES服務器地址// 我們的ES是通過docker啟動的,所以會有docker為其分配的IP地址,但是我們想用本機的,然后通過端口映射訪問到docker中的,所以這里設置false,表示跳過IP檢查elastic.SetSniff(false),elastic.SetBasicAuth("", ""),)if err != nil {panic(any(err))}EsClient = clientfmt.Println(EsClient)
}
main.go
package mainimport "golang-trick/34-go-es/core"func main() {core.InitEsConn()
}
運行后,可以看到連接成功
2、配置ES認證
不需要認證的情況
- 服務器自己使用,
9200
,9300
端口不對外開放 - 本身跑在
127.0.0.1
上
需要認證的情況:
ES
需要對外提供服務的,我們總不能讓外部也能隨意通過ip:端口
的方式隨意的訪問到我們的ES
數據,所以需要配置認證
配置認證的方式參考:https://blog.csdn.net/qq_38669698/article/details/130529829
- 啟用認證,由于我們配置了目錄映射,所以改宿主機的
elasticsearch.yml
文件即可,添加如下內容
#添加如下內容
#http.cors.allow-headers: Authorization #這個配置改為下面的
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
2.保存后,重啟ES
docker restart es
- 設置用戶密碼
a. 上一步重啟ES容器后,進入容器:
docker exec -it es /bin/bash
b. 進入容器后,執行以下命令
./bin/elasticsearch-setup-passwords interactive
出現:Initiating the setup of passwords for reserved users elastic,apm_system,kibana,logstash_system,beats_system,remote_monitoring_user.
You will be prompted to enter passwords as the process progresses.
Please confirm that you would like to continue [y/N]
上邊英文大概的意思是:你如果確定開啟密碼的話,需要設置以下六種賬戶的密碼(建議設置成一樣的)
Please confirm that you would like to continue [y/N]yEnter password for [elastic]:
Reenter password for [elastic]:
Enter password for [apm_system]:
Reenter password for [apm_system]:
Enter password for [kibana]:
Reenter password for [kibana]:
Enter password for [logstash_system]:
Reenter password for [logstash_system]:
Enter password for [beats_system]:Reenter password for [beats_system]:
Enter password for [remote_monitoring_user]:
Reenter password for [remote_monitoring_user]:
Changed password for user [apm_system]
Changed password for user [kibana]
Changed password for user [logstash_system]
Changed password for user [beats_system]
Changed password for user [remote_monitoring_user]
Changed password for user [elastic]
c.完成以上的設置后,需要再次重啟ES
容器
d. 驗證
http://127.0.0.1:9200/
可以看到再次訪問,就需要我們輸入用戶名和密碼了,用戶名是固定的elastic
,密碼則是我們自己設置的
現在執行我們開始的連接代碼,也會報錯了,因為沒有給用戶名和密碼
此外,使用ES-Head
連接時,也需要改為http://localhost:9100/?auth_user=elastic&auth_password=123456
,即需要帶上用戶名和密碼了
三、索引的增刪改查
首先我們創建一個結構體User
,用于后續封裝從ES
中查詢的出來的數據,并設置一個mapping
(定義索引下的字段約束,其中properties
表示的就是索引下文檔的各字段)
user.go :類似MySQL中的Model,定義結構體,表名等。這里就是ES的Model,定義索引名和mapping等。
package modelimport "time"type User struct {Id uint `json:"id"`UserName string `json:"user_name"`NickName string `json:"nick_name"`//Age int `json:"age"`CreateAt string `json:"create_at"`Title string `json:"title"`
}func (u *User) Index() string{return "user_index"
}func (u *User) Mapping() string {return `
{"mappings": {"properties": {"nick_name": { "type": "text"},"user_name": { "type": "keyword" // 完整匹配},"age": { "type": "integer" // 完整匹配},"id": {"type": "integer"},"created_at":{"type": "date","null_value": "null","format": "[yyyy-MM-dd HH:mm:ss]"}}}
}
`
}
index.go :索引的創建、刪除、判斷索引是否已經存在
package indexsimport ("context""fmt""golang-trick/34-go-es/core""golang-trick/34-go-es/model"
)func CreateIndex(indexName string) error {// 索引不存在時,我們才創建,否則請求創建已經存在的索引會報錯的if ExistsIndex(indexName) {// 刪除已經存在的索引,然后新建索引err := DeleteIndex(indexName)if err != nil {return err}}index, err := core.EsClient.CreateIndex(indexName). // 創建索引BodyString((&model.User{}).Mapping()). // 指定索引的mapping,類似mysql中的表各字段的一個類型和其他約束Do(context.Background()) // 執行if err != nil {fmt.Println(err)return err}fmt.Println(fmt.Printf("創建了索引,索引:%v", index))return nil
}func ExistsIndex(indexName string) bool {exists, _ := core.EsClient.IndexExists(indexName).Do(context.Background())return exists
}func DeleteIndex(indexName string) error {_, err := core.EsClient.DeleteIndex(indexName).Do(context.Background())fmt.Println("刪除了索引")return err}
運行:
package mainimport ("golang-trick/34-go-es/core""golang-trick/34-go-es/indexs"
)func main() {core.InitEsConn()indexs.CreateIndex("user_index")
}
從ES-Head
中可以看到索引和相關字段了
再次執行的話,會按我們的代碼定義的方式,先刪除原有的索引,然后創建新的索引
四、文檔的增刪改
創建單個文檔
package docsimport ("context""fmt""golang-trick/34-go-es/core""golang-trick/34-go-es/model""time"
)func CreateDoc() {user := &model.User{Id: 10,UserName: "lym",NickName: "夜空中最亮的星",CreateAt: time.Now().Format("2006-01-02 15:03:04"), // 需要按照mapping中的約束格式傳,否則報錯Title: "學習創建索引",}indexResp, err := core.EsClient.Index(). // 表明是要對索引進行操作Index(user.Index()). // 指定要操作的索引BodyJson(user). // 文檔的內容,會將結構體給我們轉為JSON字符串Do(context.Background()) // 執行if err != nil {fmt.Println(err)return}fmt.Printf("%#v\n", indexResp)
}
運行:
package mainimport ("golang-trick/34-go-es/core""golang-trick/34-go-es/docs"
)func main() {core.InitEsConn()// indexs.CreateIndex("user_index")docs.CreateDoc()
}
要注意的是,這樣查看顯示的數據是不全的,比如上面就沒有顯示title
和create_at
字段,可以點擊文檔,查看JSON
樣式的完整數據
如果是mapping
里面沒有的字段,文檔也是可以創建成功的,并且會加上該字段,如上面的title
字段在mapping
中就是沒有的,但是也保存到文檔中成功了。
根據文檔id刪除文檔
// 注意:這里的id是文檔id,不是文檔內容中的id字段
func DeleteDoc(id string) {deleteResp, err := core.EsClient.Delete(). // 獲取一個DeleteService對象Index((&model.User{}).Index()). // 指明索引Id(id).Refresh("true"). // 刪除后,索引會過一會才刷新,這里傳true,索引會立即刷新,刪除操作我們一般都傳trueDo(context.Background())if err != nil { // 如果文檔不存在,會報404錯誤fmt.Println(err)return}fmt.Printf("%#v\n", deleteResp)}
執行:
package mainimport ("golang-trick/34-go-es/core""golang-trick/34-go-es/docs"
)func main() {core.InitEsConn()// indexs.CreateIndex("user_index")//docs.CreateDoc()docs.DeleteDoc("d6ldWYwBwPESsKz-qasv")
}
批量刪除文檔
批量刪除需要用到Bulk
對象,將要操作的文檔放入Bulk
中,然后一次性提交給ES
服務器執行
執行前我們又插入了兩條數據,用于測試
根據文檔ID
列表批量刪除文檔代碼
// 注意:這里的id是文檔id,不是文檔內容中的id字段
// 傳入文檔id列表
func BatchDeleteDoc(ids []string) {bulkService := core.EsClient.Bulk(). // 獲取BulkService對象Index((&model.User{}).Index()). // 指明要操作的索引Refresh("true")for _, id := range ids {bulk := elastic.NewBulkDeleteRequest().Id(id)bulkService.Add(bulk)}bulkResp, err := bulkService.Do(context.Background())if err != nil {fmt.Println(err)return}// 如果文檔不存在,不會有錯誤,bulkResp.Succeeded()為空,否則就是刪除成功的數量fmt.Printf("%#v\n", bulkResp.Succeeded()) }
執行:
package mainimport ("golang-trick/34-go-es/core""golang-trick/34-go-es/docs"
)func main() {core.InitEsConn()// indexs.CreateIndex("user_index")//docs.CreateDoc()//docs.DeleteDoc("d6ldWYwBwPESsKz-qasv")docs.BatchDeleteDoc([]string{"eKmUWYwBwPESsKz-8qsp", "eamVWYwBwPESsKz-DKve"})
}
批量刪除成功
批量創建文檔
與批量刪除類似,只是添加到BulkService
對象中的對象變為了BulkCreateRequest
func BatchCreateDoc() {userList := []model.User{{Id: 11,UserName: "lym",NickName: "夜空中最亮的星",CreateAt: time.Now().Format("2006-01-02 15:04:05"),},{Id: 12,UserName: "lym",NickName: "夜空中最亮的星",CreateAt: time.Now().Format("2006-01-02 15:04:05"),},}bulkService := core.EsClient.Bulk(). // 獲取BulkService對象Index((&model.User{}).Index()). // 指明要操作的索引Refresh("true")for _, user := range userList {// 與批量刪除主要就是這一行不同bulk := elastic.NewBulkCreateRequest().Doc(user)bulkService.Add(bulk)}bulkResp, err := bulkService.Do(context.Background())if err != nil {fmt.Println(err)return}fmt.Printf("%#v\n", bulkResp)}
執行:
package mainimport ("golang-trick/34-go-es/core""golang-trick/34-go-es/docs"
)func main() {core.InitEsConn()// indexs.CreateIndex("user_index")//docs.CreateDoc()//docs.DeleteDoc("d6ldWYwBwPESsKz-qasv")// docs.BatchDeleteDoc([]string{"eKmUWYwBwPESsKz-8qsp", "eamVWYwBwPESsKz-DKve"})docs.BatchCreateDoc()
}
五、文檔查詢
列表查詢
返回結構如下,主要是res.Hits.Hits
中的一條記錄,是SearchHit
對象,里面的Source
為我們的文檔數據,json.RawMessage
就是[]byte
的別名而已,所以可以直接轉為string
,或者反序列化到我們的結構體對象中
代碼如下:
func FindDoc() {query := elastic.NewBoolQuery()res, err := core.EsClient.Search((&model.User{}).Index()). // 指定索引,且表明是查詢操作Query(query). // 查詢條件From(0). // 分頁操作Size(10).Do(context.Background())if err != nil {fmt.Println(err)return}count := res.Hits.TotalHits.Valuefmt.Println(count)for _, hit := range res.Hits.Hits {fmt.Println(string(hit.Source))}
}
執行:
package mainimport ("golang-trick/34-go-es/core""golang-trick/34-go-es/docs"
)func main() {core.InitEsConn()// indexs.CreateIndex("user_index")//docs.CreateDoc()//docs.DeleteDoc("d6ldWYwBwPESsKz-qasv")// docs.BatchDeleteDoc([]string{"eKmUWYwBwPESsKz-8qsp", "eamVWYwBwPESsKz-DKve"})// docs.BatchCreateDoc()docs.FindDoc()
}
精確匹配
精確匹配只能對mapping
中定義為keyword
的字段生效,比如下面我們只能對user_name
使用精確匹配,對nick_name
字段無法使用,所以在設計索引時,如果已知后面會對某個字段進行精確匹配,應該將其設置為keyword
類型
代碼:
func FindDoc() {limit := 10page := 1from := (page - 1) * limit//query := elastic.NewBoolQuery()query := elastic.NewTermQuery("user_name", "lym")res, err := core.EsClient.Search((&model.User{}).Index()). // 指定索引,且表明是查詢操作Query(query). // 查詢條件From(from). // 分頁操作Size(limit).Do(context.Background())if err != nil {fmt.Println(err)return}count := res.Hits.TotalHits.Valuefmt.Println(count)for _, hit := range res.Hits.Hits {fmt.Println(string(hit.Source))}
}
執行:
如果換成nick_name
,即使寫為了完全正確的夜空中最亮的星,也是匹配不到結果的,因為nick_name
的type
是text
,不是keyword
模糊匹配
-
主要是查
text
,也能查keyword
-
模糊匹配
keyword
字段,是需要查完整的 -
匹配
text
字段則不用,搜完整的也會搜出很多
代碼:
查詢對象換為NewMatchQuery
即可
嵌套字段的搜索
我們在創建索引時,并沒有指定title
字段的mapping
,但是因為在插入文檔時,帶了title
字段,es
會自動幫我們將其加入到mapping
中,且是一個嵌套類型,如下
"title": {"type": "text","fields": {"keyword": {"type": "keyword","ignore_above": 256}}
}
因為title
是tex
t類型,只能模糊匹配,但是需要精確匹配的時候,也能通過title.keyword
的形式進行精確匹配,如下
query := elastic.NewTermQuery("title.keyword", "學習創建索引2") // 精確匹配
//query := elastic.NewMatchQuery("title", "學習") // 模糊匹配
六、 更新文檔
更新文檔,我們一般都是已經知道文檔id
了,所以就是根據文檔id進行更新,傳入map
即可
更新前
代碼:
func UpdateDoc(id string) {res, err := core.EsClient.Update().Index((&model.User{}).Index()).Id(id).Doc(map[string]any{"user_name": "lymUpdate",}).Do(context.Background())if err != nil {fmt.Println(err)return}fmt.Printf("%#v\n", res)
}
執行:
package mainimport ("golang-trick/34-go-es/core""golang-trick/34-go-es/docs"
)func main() {core.InitEsConn()// indexs.CreateIndex("user_index")//docs.CreateDoc()//docs.DeleteDoc("d6ldWYwBwPESsKz-qasv")// docs.BatchDeleteDoc([]string{"eKmUWYwBwPESsKz-8qsp", "eamVWYwBwPESsKz-DKve"})// docs.BatchCreateDoc()// docs.FindDoc()docs.UpdateDoc("eqmeWYwBwPESsKz-nasc")
}
更新后