?
目錄
一、SpringData ElasticSearch
1.1、環境配置
1.2、創建實體類
1.3、ElasticSearchTemplate 的使用
1.3.1、創建索引庫，設置映射
1.3.2、創建索引映射注意事項
1.3.3、簡單的 CRUD
1.3.4、三種構建搜索條件的方式
1.3.5、NativeQuery 搜索實戰
1.3.6、completionSuggestion 自動補全
一、SpringData ElasticSearch
1.1、環境配置
a）依賴如下：
<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-elasticsearch</artifactId></dependency><!--SpringBoot3 之后測試必須引入這個包--><dependency><groupId>org.mockito</groupId><artifactId>mockito-core</artifactId><version>2.23.4</version><scope>test</scope></dependency>
b）配置文件如下：
spring:application:name: eselasticsearch:uris: env-base:9200
1.2、創建實體類
a）簡單結構如下（后續示例，圍繞此結構展開）：
import org.springframework.data.annotation.Id
import org.springframework.data.elasticsearch.annotations.Document
import org.springframework.data.elasticsearch.annotations.Field
import org.springframework.data.elasticsearch.annotations.FieldType@Document(indexName = "album_info", )
data class AlbumInfoDo (/*** @Id: 表示文檔中的主鍵，并且會在保存在 ElasticSearch 數據結構中 {"id": "", "userId": "", "title": ""}*/@Id@Field(type = FieldType.Keyword)val id: Long? = null,/*** @Field: 描述 Java 類型中的屬性映射* - name: 對應 ES 索引中的字段名. 默認和屬性同名* - type: 對應字段類型，默認是 FieldType.Auto (會根據我們數據類型自動進行定義)，但是建議主動定義，避免導致錯誤映射* - index: 是否創建索引. text 類型創建倒排索引，其他類型創建正排索引. 默認是 true* - analyzer: 分詞器名稱. 中文我們一般都使用 ik 分詞器(ik分詞器有 ik_smart 和 ik_max_word)*/@Field(name = "user_id", type = FieldType.Long)val userId: Long,@Field(type = FieldType.Text, analyzer = "ik_max_word")var title: String,@Field(type = FieldType.Text, analyzer = "ik_smart")var content: String,
)
b）復雜嵌套結構如下：
import org.springframework.data.annotation.Id
import org.springframework.data.elasticsearch.annotations.Document
import org.springframework.data.elasticsearch.annotations.Field
import org.springframework.data.elasticsearch.annotations.FieldType@Document(indexName = "album_list")
data class AlbumListDo(@Id@Field(type = FieldType.Keyword)var id: Long,@Field(type = FieldType.Nested) // 表示一個嵌套結構var userinfo: UserInfoSimp,@Field(type = FieldType.Text, analyzer = "ik_max_word")var title: String,@Field(type = FieldType.Text, analyzer = "ik_smart")var content: String,@Field(type = FieldType.Nested) // 表示一個嵌套結構var photos: List<AlbumPhotoSimp>,
)data class UserInfoSimp(@Field(type = FieldType.Long)val userId: Long,@Field(type = FieldType.Text, analyzer = "ik_max_word")val username: String,@Field(type = FieldType.Keyword, index = false)val avatar: String,
)data class AlbumPhotoSimp(@Field(type = FieldType.Integer, index = false)val sort: Int,@Field(type = FieldType.Keyword, index = false)val photo: String,
)
對于一個小型系統來說，一般也不會創建這種復雜程度的文檔，因為會涉及到很多一致性問題，?需要通過大量的 mq 進行同步，給系統帶來一定的開銷.?
因此，一般會將需要進行模糊查詢的字段存 Document 中（es 就擅長這個），而其他數據則可以在 Document 中以 id 的形式進行存儲. ? 這樣就既可以借助 es 高效的模糊查詢能力，也能減少為保證一致性而帶來的系統開銷. ?從 es 中查到數據后，再通過其他表的 id 從數據庫中拿數據即可（這點開銷，相對于從大量數據的數據庫中進行 like 查詢，幾乎可以忽略）.
1.3、ElasticSearchTemplate 的使用
1.3.1、創建索引庫，設置映射
@SpringBootTest
class ElasticSearchIndexTests {@Resourceprivate lateinit var elasticsearchTemplate: ElasticsearchTemplate@Testfun test1() {//存在索引庫就刪除if (elasticsearchTemplate.indexOps(AlbumInfoDo::class.java).exists()) {elasticsearchTemplate.indexOps(AlbumInfoDo::class.java).delete()}//創建索引庫elasticsearchTemplate.indexOps(AlbumInfoDo::class.java).create()//設置映射elasticsearchTemplate.indexOps(AlbumInfoDo::class.java).putMapping(elasticsearchTemplate.indexOps(AlbumInfoDo::class.java).createMapping())}}
效果如下：?
1.3.2、創建索引映射注意事項
a）在沒有創建索引庫和映射的情況下，也可以直接向 es 庫中插入數據，如下代碼：
@Testfun test2() {val obj = AlbumListDo(id = 1,userinfo = UserInfoSimp(userId = 1,username = "cyk",avatar = "env-base:9200"),title = "今天天氣真好",content = "早上起來，我要好好學習，然去公園散步~",photos = listOf(AlbumPhotoSimp(1, "www.photo.com/aaa"),AlbumPhotoSimp(2, "www.photo.com/bbb")))val result = elasticsearchTemplate.save(obj)println(result)}
即使上述代碼中 AlbumListDo 中有各種注解標記，但是不會生效！！！ es 會根據插入的數據，自動轉化數據結構（無視你的注解）.
因此，建議先創建索引庫和映射，再進行數據插入！
1.3.3、簡單的 CRUD
import jakarta.annotation.Resource
import org.cyk.es.model.AlbumInfoDo
import org.junit.jupiter.api.Test
import org.springframework.boot.test.context.SpringBootTest
import org.springframework.data.elasticsearch.client.elc.ElasticsearchTemplate
import org.springframework.data.elasticsearch.core.document.Document
import org.springframework.data.elasticsearch.core.mapping.IndexCoordinates
import org.springframework.data.elasticsearch.core.query.UpdateQuery@SpringBootTest
class ElasticSearchCRUDTests {@Resourceprivate lateinit var elasticsearchTemplate: ElasticsearchTemplate@Testfun testSave() {//保存單條數據val a1 = AlbumInfoDo(id = 1,userId = 10000,title = "今天天氣真好",content = "學習完之后，我要出去好好玩")val result = elasticsearchTemplate.save(a1)println(result)//保存多條數據val list = listOf(AlbumInfoDo(2, 10000, "西安六號線避雷", "前俯后仰。他就一直在那前后動。他背后是我朋友，我讓他不要擠了，他直接就急了，開始故意很大力的擠來擠去。"),AlbumInfoDo(3, 10000, "字節跳動快上車～", "#內推 #字節跳動內推 #互聯網"),AlbumInfoDo(4, 10000, "連王思聰也變得低調老實了", "如今的王思聰，不僅交女友的質量下降，在網上也不再像以前那樣隨意噴這噴那。顯然，資金的緊張讓他低調了許多"))val resultList = elasticsearchTemplate.save(list)resultList.forEach(::println)}@Testfun testDelete() {//根據主鍵刪除，例如刪除主鍵 id = 1 的文檔elasticsearchTemplate.delete("1", AlbumInfoDo::class.java)}@Testfun testGet() {//根據主鍵獲取文檔val result = elasticsearchTemplate.get("1", AlbumInfoDo::class.java)println(result)}@Testfun testUpdate() {//例如，修改 id = 1 的文檔val id = 1val title = "今天天氣不太好"val content = "天氣不好，只能在家里學習了。。。"val uq = UpdateQuery.builder(id.toString()).withDocument(Document.create().append("title", title).append("content", content)).build()val result = elasticsearchTemplate.update(uq, IndexCoordinates.of("album_info")).resultprintln(result.ordinal)println(result.name)}}
1.3.4、三種構建搜索條件的方式
關于搜索條件的構建，Spring 官網上給出了三種構建方式：Elasticsearch Operations :: Spring Data Elasticsearch
a）CriteriaQuery：允許創建查詢來搜索數據，而不需要了解 Elasticsearch 查詢的語法或基礎知識。它們允許用戶通過簡單地鏈接和組合 Criteria 對象來構建查詢，Criteria 對象指定被搜索文檔必須滿足的條件。
Criteria criteria = new Criteria("lastname").is("Miller") .and("firstname").is("James")
Query query = new CriteriaQuery(criteria);b）StringQuery：這個類接受 Elasticsearch 查詢作為 JSON String。下面的代碼顯示了一個搜索名為“ Jack”的人的查詢:
Query query = new StringQuery("{ \"match\": { \"firstname\": { \"query\": \"Jack\" } } } ");
SearchHits<Person> searchHits = operations.search(query, Person.class);c）NativeQuery：當您有一個復雜的查詢或者一個無法使用 Criteria API 表示的查詢時，例如在構建查詢和使用聚合時，可以使用 NativeQuery 類。
d）到底使用哪一種呢？在最新的這一版 SpringDataES 中，NativeQuery 中可以通過大量的 Lambda 來構建條件語句，并且外觀上也很符合 ElasticSearch DSL，那么對于比較熟悉原生的 DSL 語句的就建議使用 NativeQuery 啦.? 我本人也更傾向 NativeQuery，因此后續的案例都會使用它.
1.3.5、NativeQuery 搜索實戰
import co.elastic.clients.elasticsearch._types.SortOrder
import co.elastic.clients.json.JsonData
import jakarta.annotation.Resource
import org.cyk.es.model.AlbumInfoDo
import org.junit.jupiter.api.Test
import org.springframework.boot.test.context.SpringBootTest
import org.springframework.data.domain.PageRequest
import org.springframework.data.elasticsearch.client.elc.ElasticsearchTemplate
import org.springframework.data.elasticsearch.client.elc.NativeQuery
import org.springframework.data.elasticsearch.core.query.HighlightQuery
import org.springframework.data.elasticsearch.core.query.highlight.Highlight
import org.springframework.data.elasticsearch.core.query.highlight.HighlightField
import org.springframework.data.elasticsearch.core.query.highlight.HighlightParameters@SpringBootTest
class SearchTests {@Resourceprivate lateinit var elasticsearchTemplate: ElasticsearchTemplate/*** 全文檢索查詢(match_all)*/@Testfun testMatchAllQuery() {val query = NativeQuery.builder().withQuery { q -> q.matchAll { it }}.build()val hits = elasticsearchTemplate.search(query, AlbumInfoDo::class.java)hits.forEach { println(it.content) }}/*** 精確查詢(match)*/@Testfun testMatchQuery() {val query = NativeQuery.builder().withQuery { q -> q.match {it.field("title").query("天氣")}}.build()val hits = elasticsearchTemplate.search(query, AlbumInfoDo::class.java)hits.forEach { println(it.content) }}/*** 精確查詢(term)*/@Testfun testTerm() {val query = NativeQuery.builder().withQuery { q -> q.term { t -> t.field("id").value("2")}}.build()val hits = elasticsearchTemplate.search(query, AlbumInfoDo::class.java)hits.forEach { println(it.content) }}/*** 范圍搜索*/@Testfun testRangeQuery() {val query = NativeQuery.builder().withQuery { q -> q.range { r -> r.field("id").gte(JsonData.of(1)).lt(JsonData.of(4)) // 大于等于 1，小于 4}}.build()val hits = elasticsearchTemplate.search(query, AlbumInfoDo::class.java)hits.forEach { println(it.content) }}/*** bool 復合搜索*/@Testfun testBoolQuery() {val query = NativeQuery.builder().withQuery { q -> q.bool { b -> b.must { m -> m.range { r -> r.field("id").gte(JsonData.of(1)).lt(JsonData.of(4)) // 大于等于 1，小于 4}}.mustNot { n -> n.match { mc -> mcmc.field("title").query("天氣")}}.should { s -> s.matchAll { it }}}}.build()val hits = elasticsearchTemplate.search(query, AlbumInfoDo::class.java)hits.forEach { println(it.content) }}/*** 排序 + 分頁*/@Testfun testSortAndPage() {//a) 方式一
// val query = NativeQuery.builder()
// .withQuery { q -> q
// .matchAll { it }
// }
// .withPageable(
// PageRequest.of(0, 3) //頁碼(從 0 開始)，非偏移量
// .withSort(Sort.by(Sort.Order.desc("id")))
// ).build()//b) 方式二val query = NativeQuery.builder().withQuery { q -> q.matchAll { it }}.withSort { s -> s.field { f->f.field("id").order(SortOrder.Desc) } }.withPageable(PageRequest.of(0, 3)) //頁碼(從 0 開始)，非偏移量).build()val hits = elasticsearchTemplate.search(query, AlbumInfoDo::class.java)hits.forEach { println(it.content) }}@Testfun testHighLight() {//所有需要高亮的字段val highField = listOf(HighlightField("title"),HighlightField("content"))val query = NativeQuery.builder().withQuery { q ->q.multiMatch { ma -> ma.fields("title", "content").query("天氣")}}.withHighlightQuery(HighlightQuery(Highlight(HighlightParameters.builder().withPreTags("<span style='color:red'>") //前綴標簽.withPostTags("</span>") //后綴標簽.withFragmentSize(10) //高亮的片段長度(多少個幾個字需要高亮，一般會設置的大一些，讓匹配到的字段盡量都高亮).withNumberOfFragments(1) //高亮片段的數量.build(),highField),String::class.java)).build()val hits = elasticsearchTemplate.search(query, AlbumInfoDo::class.java)//hits.content 本身是沒有高亮數據的，因此這里需要手動處理hits.forEach {val result = it.content//根據高亮字段名稱，獲取高亮數據集合val titleList = it.getHighlightField("title")val contentList = it.getHighlightField("content")if (titleList.size > 0) result.title = titleList[0]if (contentList.size > 0) result.content = contentList[0]println(result)}}}
1.3.6、completionSuggestion 自動補全
a）自動補全的字段必須是 completion 類型.?
這里自動補全的字段為 title，通過 copyTo 將其拷貝到 suggestion 字段中，實現自動補全.
import org.springframework.data.annotation.Id
import org.springframework.data.elasticsearch.annotations.CompletionField
import org.springframework.data.elasticsearch.annotations.Document
import org.springframework.data.elasticsearch.annotations.Field
import org.springframework.data.elasticsearch.annotations.FieldType
import org.springframework.data.elasticsearch.core.suggest.Completion@Document(indexName = "album_doc")
data class AlbumSugDo (@Id@Field(type = FieldType.Keyword)val id: Long,@Field(name = "user_id", type = FieldType.Long)val userId: Long,@Field(type = FieldType.Text, analyzer = "ik_max_word", copyTo = ["suggestion"]) //注意，copyTo 的字段一定是 var 類型val title: String,@Field(type = FieldType.Text, analyzer = "ik_smart")val content: String,@CompletionField(maxInputLength = 100, analyzer = "ik_max_word", searchAnalyzer = "ik_max_word")var suggestion: Completion? = null, //注意，被 copyTo 的字段一定要是 var 類型
)
Ps：被 copyTo 的字段一定要是 var 類型
b）需求：在搜索框中輸入 “今天”，對其進行自動補全.
import co.elastic.clients.elasticsearch.core.search.FieldSuggester
import co.elastic.clients.elasticsearch.core.search.FieldSuggesterBuilders
import co.elastic.clients.elasticsearch.core.search.Suggester
import jakarta.annotation.Resource
import org.cyk.es.model.AlbumSugDo
import org.junit.jupiter.api.Test
import org.springframework.boot.test.context.SpringBootTest
import org.springframework.data.elasticsearch.client.elc.ElasticsearchTemplate
import org.springframework.data.elasticsearch.client.elc.NativeQuery
import org.springframework.data.elasticsearch.core.suggest.response.Suggest@SpringBootTest
class SuggestTests {@Resourceprivate lateinit var elasticsearchTemplate: ElasticsearchTemplate@Testfun init() {if(elasticsearchTemplate.indexOps(AlbumSugDo::class.java).exists()) {elasticsearchTemplate.indexOps(AlbumSugDo::class.java).delete()}elasticsearchTemplate.indexOps(AlbumSugDo::class.java).create()elasticsearchTemplate.indexOps(AlbumSugDo::class.java).putMapping(elasticsearchTemplate.indexOps(AlbumSugDo::class.java).createMapping())elasticsearchTemplate.save(listOf(AlbumSugDo(1, 10000, "今天發現西安真美", "西安真美麗啊，來到了鐘樓...."),AlbumSugDo(2, 10000, "今天六號線避雷", "前俯后仰。他就一直在那前后動。他背后是我朋友，我讓他不要擠了，他直接就急了，開始故意很大力的擠來擠去。"),AlbumSugDo(3, 10000, "字節跳動快上車～", "#內推 #字節跳動內推 #互聯網"),AlbumSugDo(4, 10000, "連王思聰也變得低調老實了", "如今的王思聰，不僅交女友的質量下降，在網上也不再像以前那樣隨意噴這噴那。顯然，資金的緊張讓他低調了許多")))}@Testfun suggestTest() {//模擬客戶端輸入的需要自動補全的字段val input = "今天"val limit = 10val fieldSuggester = FieldSuggester.Builder().text(input) //用戶輸入.completion(FieldSuggesterBuilders.completion().field("suggestion") //對哪個字段自動補全.skipDuplicates(true) //如果有重復的詞條，自動跳過.size(limit) //最多顯示 limit 條數據.build()).build()val query = NativeQuery.builder().withSuggester(Suggester.of { s -> s.suggesters("sug1", fieldSuggester) }) //參數一: 自定義自動補全名.build()val hits = elasticsearchTemplate.search(query, AlbumSugDo::class.java)val suggestList = hits.suggest?.getSuggestion("sug1")?.entries?.get(0)?.options?.map(::map) ?: emptyList()println(suggestList)}private fun map(hit: Suggest.Suggestion.Entry.Option): String {return hit.text}}
上述代碼中的 hits 結構如下：
運行結果：
