官網(wǎng):https://www.elastic.co/cn/products/elasticsearch
ElasticSearch
簡介
官網(wǎng):https://www.elastic.co/cn/products/elasticsearch
特點:
高速、擴展性、最相關的搜索結果。分布式 - 節(jié)點對外表現(xiàn)對等,每個節(jié)點都可以作為入門,加入節(jié)點自動負載均衡。JSON - 輸入輸出格式是 JSON。Restful 風格,一切 API 都遵循 Rest 原則,容易上手。近實時搜索,數(shù)據(jù)更新在 Elasticsearch 中幾乎是完全同步的,數(shù)據(jù)檢索近乎實時。安裝方便 - 沒有其它依賴,下載后安裝很方便,簡單修改幾個參數(shù)就可以搭建集群。支持超大數(shù)據(jù):可以擴展到 PB 級別的結構化和非結構化數(shù)據(jù)。■Elasticsearch是一個基于Lucene的搜索服務器。它提供了一個分布式多用戶能力的全文搜索引擎,基于RESTful web接口。
(資料圖)
■Elasticsearch是用Java語言開發(fā)的,并作為Apache許可條款下的開放源碼發(fā)布,是一種流行的企業(yè)級搜索引擎。Elasticsearch用于云計算中,能夠達到實時搜索,穩(wěn)定,可靠,快速,安裝使用方便。
■Elasticsearch 還是高擴展、高實時的搜索與數(shù)據(jù)分析引擎。它能很方便的使大量數(shù)據(jù)具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸縮性,能使數(shù)據(jù)在生產(chǎn)環(huán)境變得更有價值。
ElasticSearch信息概覽
什么是index,type,doc
■index:索引是文檔(Document)的容器,是一類文檔的集合,可以理解成我們常用的mysql中的數(shù)據(jù)庫。
■Type 可以理解成mysql中的表。
■Document Index 里面單條的記錄稱為Document(文檔)。等同于mysql中的一行數(shù)據(jù)。
建庫,建表,建字段
■建庫腳本
PUT http://127.0.0.1:9200/cunw-share-es-index
就這么一個請求就可以建成一個以cunw-share-es-index為庫名的ES數(shù)據(jù)庫索引庫;
■建表腳本,建字段
PUT http://127.0.0.1:9200/cunw-share-es-index/sanbu/1
PUT http://127.0.0.1:9200/cunw-share-es-index/sanbu/1{ "name":"大哥", "sex": "男", "hight":"180", "date":"2022-01-01", "info":"Hello World"}
索引基本創(chuàng)建完成。
什么是mapping
■mapping 是用來定義文檔及其字段的存儲方式、索引方式的手段,例如利用mapping 來定義以下內(nèi)容:哪些字段需要被定義為全文檢索類型;哪些字段包含number、date類型等格式化時間格式;自定義規(guī)則,用于控制動態(tài)添加字段的映射。
■mapping是一種簡單的數(shù)據(jù)類型,例如text、keyword、integer、double、boolean、long、date、ip類型。也可以是一種分層的json對象(支持屬性嵌套)。也可以是一些不常用的特殊類型,例如geo_point、geo_shape、completion。
■針對同一字段支持多種字段類型可以更好地滿足我們的搜索需求,例如一個string類型的字段可以設置為text來支持全文檢索,與此同時也可以讓這個字段擁有keyword類型來做排序和聚合,另外我們也可以為字段單獨配置分詞方式,例如"analyzer": "ik_max_word"。從某種意義上來講,就是表字段類型,int,varchar,date...
為什么要用mapping
提出疑問,修改一個字段的類型:
{ "sanbu": { "properties": { "hight": { "type": "integer" } } }}
為什么不能修改一個字段的type?原因是一個字段的類型修改以后,那么該字段的所有數(shù)據(jù)都需要重新索引。Elasticsearch底層使用的是lucene庫,字段類型修改以后索引和搜索要涉及分詞方式等操作。
ElasticSearch 分片,副本
■數(shù)據(jù)分片:
簡單來講就是咱們在ES中所有數(shù)據(jù)的文件塊,也是數(shù)據(jù)的最小單元塊,整個ES集群的核心就是對所有分片的分布、索引、負載、路由等達到驚人的速度。
實列場景:
假設 IndexA 有2個分片,我們向 IndexA 中插入10條數(shù)據(jù) (10個文檔),那么這10條數(shù)據(jù)會盡可能平均的分為5條存儲在第一個分片,剩下的5條會存儲在另一個分片中。說白了:數(shù)據(jù)分片其實類似主流關系型數(shù)據(jù)庫的表分區(qū)(分表)的概念有點類似。這樣的好處是可以把一個大的索引拆分成多個,分布到不同的節(jié)點上。構成分布式搜索要注意的是分片的數(shù)量只能在索引創(chuàng)建前指定,并且索引創(chuàng)建后不能更改。
分片數(shù)量設置計算公式:
分片個數(shù)是越多越好,還是越少越好了?根據(jù)整個索引的數(shù)據(jù)量來判斷。SN(分片數(shù)) = IS(索引大小) / 30,當然也要根據(jù)能夠給ES分配資源的實際情況而定奪。
■數(shù)據(jù)副本
副本是主分片的拷貝,es可以設置多個索引的副本,副本的作用一是提高系統(tǒng)的容錯性,當某個節(jié)點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率,es會自動對搜索請求進行負載均衡。副本分片數(shù),可以動態(tài)的修改。增加副本數(shù),還可以在一定程度上提高服務的可用性(讀取的吞吐)。
■設置分配,副本腳本代碼
PUT /index { "settings":{ "number_of_shards" : 3, //指 這個index主分片分布在3個節(jié)點上 "number_of_replicas":1 //指 每一個主分片都有一個副本 } }
■查詢寫法
es中的查詢請求有兩種方式,一種是簡易版的查詢,另外一種是使用JSON完整的請求體,叫做結構化查詢(DSL)。由于DSL查詢更為直觀也更為簡易,所以大都使用這種方式。DSL查詢是POST過去一個json,由于post的請求是json格式的,所以存在很多靈活性,也有很多形式。
最基本的查詢語句,查詢所有數(shù)據(jù)值得注意的是,在請求之前一定確保它是正確的Json。
{ "query": { "match_all": {} }}
查詢過濾條件關鍵字
■查詢關鍵字的用法match,term,wildcard,range....
1.match 通過單詞字面意思理解是匹配的意思,顧名思義如果匹配到其中的任意字詞就會命中,其實就是通過ES默認的ik分詞器去做分詞查詢。
{ "query": { "match": { "name":軟" } }}
2.term 如果匹配到其中所有字詞才會命中。
{ "query": { "match": { "name":"軟" } }}
3.wildcard 用法類似mysql的like,注意這里的通配符是*
{ "query": { "match": { "name":"*軟*" } }}
4.range 看到這個詞就會想到區(qū)間,它的用法類似于mysql的between ..and ..
{ "query": { "range": { "height":{ "gt": "150", "lt": "170" } } }}
update,delete語句
■ 根據(jù)ID進行單個更新
POST /index/type/_id/_update{ "doc" : { "publish_date" :"2021-11-10", }}
■ 根據(jù)ID進行單個刪除
DELETE /index/type/_id
Elastic 有一條完整的產(chǎn)品線 ELK - Elasticsearch、Logstash、Kibana,前面說的三個就是常說的 ELK 技術棧(開源實時日志分析平臺)。Logstash 的作用就是一個數(shù)據(jù)收集器,將各種格式各種渠道的數(shù)據(jù)通過它收集解析之后格式化輸出到 Elastic Search ,最后再由 Kibana 提供的比較友好的 Web 界面進行匯總、分析、搜索。ELK 內(nèi)部實際就是個管道結構,數(shù)據(jù)從Logstash 到 Elastic Search 再到 Kibana 做可視化展示。這三個組件各自也可以單獨使用,比如 Logstash 不僅可以將數(shù)據(jù)輸出到 Elastic Search ,也可以到數(shù)據(jù)庫、緩存等。
關于ES的內(nèi)容還有很多東西等著我們,搭建、分詞器、集群、節(jié)點角色分配、冷熱分離、讀寫分離等等,后續(xù)我們再輸出相關詳細內(nèi)容。
Kibana
簡介
Kibana 是 Elastic Stack 成員之一,它是一個基于 Node.js 的 Elasticsearch 索引庫數(shù)據(jù)統(tǒng)計工具,可以利用 Elasticsearch 的聚合功能,生成各種圖表,如柱形圖,線狀圖,餅;而且還提供了操作 Elasticsearch 索引數(shù)據(jù)的控制臺,并且提供了一定的 API 提示。您可以使用 Kibana 對 Elasticsearch 索引中的數(shù)據(jù)進行搜索、查看、交互操作。您可以很方便地利用圖表、表格及地圖對數(shù)據(jù)進行多元化的分析和呈現(xiàn)。
Kibana 可以使大數(shù)據(jù)通俗易懂。它很簡單,基于瀏覽器的界面便于您快速創(chuàng)建和分享動態(tài)數(shù)據(jù)儀表板來追蹤 Elasticsearch 的實時數(shù)據(jù)變化。
搭建
搭建 Kibana 非常簡單。可以分分鐘完成 Kibana 的安裝并開始探索 Elasticsearch 的索引數(shù)據(jù) ——— 沒有代碼、不需要額外的基礎設施。當前我們公司使用的版本是 5.5.1。
常用模塊
■ Discover
Discover 主要是做索引查詢,功能非常強大。從發(fā)現(xiàn)頁可以交互地探索ES的數(shù)據(jù)。可以訪問與所選索引模式相匹配的每一個索引中的每一個文檔。可以提交搜索查詢、篩選搜索結果和查看文檔數(shù)據(jù)。還可以看到匹配搜索查詢和獲取字段值統(tǒng)計的文檔的數(shù)量。如果一個時間字段被配置為所選擇的索引模式,則文檔的分布隨著時間的推移顯示在頁面頂部的直方圖中。
■ Visualize
視圖展示,支持許多風格??梢暬苁鼓銊?chuàng)造你的 Elasticsearch 指標數(shù)據(jù)的可視化。然后你可以建立儀表板顯示相關的可視化。Kibana 的可視化是基于 Elasticsearch 查詢。通過一系列的 Elasticsearch聚合提取和處理您的數(shù)據(jù),您可以創(chuàng)建圖表顯示你需要知道的關于趨勢,峰值和驟降。您可以從搜索保存的搜索中創(chuàng)建可視化或從一個新的搜索查詢開始。
■ Dashboard
圖表展示,一個儀表板顯示Kibana保存的一系列可視化。你可以 根據(jù)需要安排和調(diào)整可視化,并保存儀表盤,可以被加載和共享。
■ Timelion
Timelion 是一個時間序列數(shù)據(jù)的可視化功能,可以結合在一個單一的可視化完全獨立的數(shù)據(jù)源。它是由一個簡單的表達式語言驅動的,你用來檢索時間序列數(shù)據(jù),進行計算,找出復雜的問題的答案,并可視化的結果。這個功能由一系列的功能函數(shù)組成,同樣的查詢的結果,也可以通過 Dashboard 顯示查看。
■ Dev Tools
其實就是一個控制臺,可以直接使用 DSL語法來直接操作es中的數(shù)據(jù),使用戶方便地通過瀏覽器直接與 Elasticsearch 進行交互。
使用
■ 搜索、查看并可視化 Elasticsearch 中所索引的數(shù)據(jù),并通過創(chuàng)建柱狀圖、餅狀圖、表格、直方圖和地圖對數(shù)據(jù)進行分析。儀表板視圖能將這些可視化元素集中到一起,然后通過瀏覽器加以分享,以提供有關海量數(shù)據(jù)的實時分析視圖,為下列用例提供支持:
a:日志處理和分析
b:基礎設施指標和容器監(jiān)測
c:應用程序性能監(jiān)測 (APM)
d:地理空間數(shù)據(jù)分析和可視化
e:安全分析
f:業(yè)務分析
■ 借助網(wǎng)絡界面來監(jiān)測和管理 Elastic Stack 實例并確保實例的安全。
■ 針對基于 Elastic Stack 開發(fā)的內(nèi)置解決方案(面向可觀測性、安全和企業(yè)搜索應用程序),將其訪問權限集中到一起
如何使用
使用 Discover 搜索欄進行搜索。使用 Dev Tools 的 Console 直接與 Elastcsearch 進行交互 。DSL語法
■ 查詢所有
■ 查詢特定的字段,按照指定字段排序
■ 查詢指定字段的日志
■ 分頁查詢所有的日志
本人就職于公司大數(shù)據(jù)組,正好近期我在公司分享了關于ES、Kiban和機器學習的一些知識,總結出本文獻給大家。