您当前的位置:首页 > 电脑百科 > 程序开发 > 编程百科

Elasticsearch索引模板 & 索引别名 & _source字段 & 节点类型

时间:2021-05-27 09:18:10  来源:  作者:FastCoder

环境:elasticsearch7.8.0


索引模板

通过事先定义好的模板,在创建索引时,如果索引名称与模版中定义的索引模式匹配那么就会自动应用模版中的配置信息。如果有多个索引模板被匹配,那么会根据order进行优先级。

  • 语法格式

{
  "order": 0,                                        // 模板优先级,当有多个模板被匹配那么会根据这个order优先级。
  "index_patterns": "xxx_yyy_*",         // 模板匹配的名称方式,可以使用通配符
  "settings": {...},                                 // 索引设置
  "mAppings": {...},                             // 索引中各字段的映射定义
  "aliases": {...}                                   // 索引的别名
}
  • 创建模板

localhost:9200/_template/t-order-tpl

{
    "index_patterns": [
        "t-order-*"
    ],
    "settings": {
        "number_of_shards": 1,
        "number_of_replicas": 0
    },
    "mappings": {
        "_source": {
            "enabled": true
        },
        "properties": {
            "sno": {
                "type": "keyword"
            },
            "name": {
                "type": "text",
                "analyzer": "ik_max_word"
            },
            "price": {
                "type": "double"
            },
            "created": {
                "type": "date"
            }
        }
    }
}
  • 查看模板

http://localhost:9200/_cat/templates?v

 

Elasticsearch索引模板 & 索引别名 & _source字段 & 节点类型

 

默认order为0。

  • 创建索引
Elasticsearch索引模板 & 索引别名 & _source字段 & 节点类型

 

body中什么也没有输入,查看索引创建情况:

Elasticsearch索引模板 & 索引别名 & _source字段 & 节点类型

 

自动应用了上面创建的模版。

模板在很多场景下都非常的有用,比如:我们希望每天对系统的日志信息进行记录,每次都去指定这些通用的信息非常麻烦也可能由于疏忽导致错误等问题。有个模版,每次再创建索引的时候我们只需要指定索引名称即可。

索引别名

索引别名可以很好地解决多个不同索引版本的无缝切换,有点数据库中的视图的意思。操作的时候是使用的索引别名,实际在es内部会自动转换到真实的索引上。

  • 创建索引别名

方式1、如果在创建索引模板的时候指定了别名,那么在创建索引的时候会自动应该索引别名。

方式2、通过如下接口。

我们对上面创建的索引创建别名

接口1:

POST http://localhost:9200/t-order-20210513/_alias/order-01

接口2:

POST http://localhost:9200/_aliases

{
    "actions" : [
        { 
        	"add" : { 
        		"index" : "t-order-20210513", 
        		"alias" : "order-02" 
        	} 
        }
    ]
}

或者

批量操作

POST http://localhost:9200/_aliases

{
    "actions" : [
        { 
        	"add" : { 
        		"index" : "t-order-20210513", 
        		"alias" : "order-03" 
        	}
        },
        { 
        	"add" : { 
        		"index" : "t-order-20210513", 
        		"alias" : "order-04" 
        	}
        }
    ]
}

查看索引:

Elasticsearch索引模板 & 索引别名 & _source字段 & 节点类型

 

  • 索引别名进行操作
Elasticsearch索引模板 & 索引别名 & _source字段 & 节点类型

通过别名创建文档


Elasticsearch索引模板 & 索引别名 & _source字段 & 节点类型

查询文档

  • 修改索引别名的指向

POST http://localhost:9200/_aliases

{
    "actions" : [
        { "remove" : { "index" : "t-order-20210513", "alias" : "order-01" } },
        { "add" : { "index" : "t-order-202105", "alias" : "order-01" } }
    ]
}

这样就会进行了别名与索引的无缝切换。

_source字段

Elasticsearch索引模板 & 索引别名 & _source字段 & 节点类型

 

_source:默认是开启存储的,如上面看到的查询文档时返回的就有_source。在有些实际的业务情况下我们是可以通过关闭_source功能来节省硬盘空间的。比如,我们只需要通过关键词查询出具体文档对应的id即可的时候我们就可以关闭_source功能。

总的来说在默认的情况下,我们添加一份文档的时候会存储一份原始的文档信息和一个倒排索引(倒排索引记录的就是关键字与原始文档之间的一个对应关系,文档的ID)。

默认情况下查询文档:

Elasticsearch索引模板 & 索引别名 & _source字段 & 节点类型

 

关闭_source功能:

"mappings": {
  "_source": { "enabled": false },  // 是否保存字段的原始值
  "properties": {
    "name": {
      "type": "text"
    }
  }
}
Elasticsearch索引模板 & 索引别名 & _source字段 & 节点类型

 

结果中已经没有_source。

节点类型

  • 主节点
#是否能成为主节点(true:表示具有被选举成为主节点的资格)
node.master: true

作用:

  1. 索引的创建或删除
  2. 跟踪哪些节点是集群的一部分
  3. 决定哪些分片分配给相关的节点

说明:

默认情况下任何一个集群中的节点都有可能被选为主节点。索引数据和搜索查询等操作会占用大量的cpu,内存,io资源,为了确保一个集群的稳定,分离主节点和数据节点是一个比较好的选择。虽然主节点也可以协调节点,路由搜索和从客户端新增数据到数据节点,但最好不要使用这些专用的主节点。一个重要的原则是,尽可能做尽量少的工作。
为了防止数据丢失,配置
discovery.zen.minimum_master_nodes设置是至关重要的(默认为1),每个主节点应该知道形成一个集群的最小数量的主资格节点的数量。
解释如下:
假设我们有一个集群。有3个主资格节点,当网络发生故障的时候,有可能其中一个节点不能和其他节点进行通信了。这个时候,当
discovery.zen.minimum_master_nodes设置为1的时候,就会分成两个小的独立集群,当网络好的时候,就会出现数据错误或者丢失数据的情况。当discovery.zen.minimum_master_nodes设置为2的时候,一个网络中有两个主资格节点,可以继续工作,另一部分,由于只有一个主资格节点,则不会形成一个独立的集群,这个时候当网络回复的时候,节点又会从新加入集群。

  • 数据节点
#是否能成为主节点(true:表示具有被选举成为主节点的资格)
node.master: false
#数据节点
node.data: true

作用:

  1. 存储索引数据
  2. 对文档进行增删改查,聚合操作

说明:数据节点对磁盘,内存,要求比较高最好给机器更高的配置。

  • 协调节点
#是否能成为主节点(true:表示具有被选举成为主节点的资格)
node.master: false
#数据节点
node.data: false
node.ingest: false

都设置成false就成为了协调节点。

像搜索请求或批量索引请求这样的请求可能涉及保存在不同数据节点上的数据。例如,搜索请求分两个阶段执行,这两个阶段由接收客户端请求的协调节点。

在分散阶段,协调节点将请求转发给保存数据的数据节点。每个数据节点在本地执行请求,并将其结果返回给协调节点。

在收集阶段,协调节点将每个数据节点的结果缩减为单个全局结果集。

总结:协调节点就是负责接收Client 的请求,包括 REST Client 等。该节点将请求分发到合适的节点,最终把结果汇集到一起。一般来说,每个节点默认起到了 Coordinating Node 的职责。

三种节点类型对机器要求简单说明:
master节点:普通服务器即可(CPU 内存 消耗一般)
data 节点:主要是消耗磁盘,内存
coordinating 节点:需要有足够的内存和CPU来处理聚集阶段。

其它节点类型及相关节点类型说明查看官方文档:

Elasticsearch索引模板 & 索引别名 & _source字段 & 节点类型

 

完毕!!!



Tags:Elasticsearch   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
一、环境准备1.1、环境列表 节点名称 系统 ip地址 es-node1 centos7.6 192.168.10.128 es-node2 centos7.6 ...【详细内容】
2021-07-03  Tags: Elasticsearch  点击:(117)  评论:(0)  加入收藏
Elasticsearch(简称ES) 是一个分布式、高扩展、高实时的搜索与数据分析引擎,它也是一个“存储库”。它能很方便地使大量数据具有搜索、分析和探索的能力。充分利用 ES 的水平伸...【详细内容】
2021-06-22  Tags: Elasticsearch  点击:(89)  评论:(0)  加入收藏
作者:LX 一、 环境搭建 1、 启动Spark集群服务 1)启动Spark集群 2)子节点加入集群 3)查看是否加入成功 2、启动Elasticsearch数据库 1)可以启动自己安装的Elasticsearch数据库...【详细内容】
2021-06-11  Tags: Elasticsearch  点击:(132)  评论:(0)  加入收藏
环境:elasticsearch7.8.0索引模板通过事先定义好的模板,在创建索引时,如果索引名称与模版中定义的索引模式匹配那么就会自动应用模版中的配置信息。如果有多个索引模板被匹配,那...【详细内容】
2021-05-27  Tags: Elasticsearch  点击:(203)  评论:(0)  加入收藏
作者:中华石杉来源:石杉的架构笔记(ID:shishan100)目录:1. 一道面试题的引入:2. 性能优化的杀手锏:Filesystem Cache3. 数据预热4. 冷热分离5. ElasticSearch 中的关联查询6. Docum...【详细内容】
2021-03-04  Tags: Elasticsearch  点击:(133)  评论:(0)  加入收藏
基本概念定义 一个分布式的实时文档存储,每个字段 可以被索引与搜索 一个分布式实时分析搜索引擎 能胜任上百个服务节点的扩展,并支持 PB 级别的结构化或者非结构化数据用途 ...【详细内容】
2020-11-09  Tags: Elasticsearch  点击:(119)  评论:(0)  加入收藏
时下不论是在全文搜索领域还是大数据即时处理领域ELK都一枝独秀,而ELK的核心在于Elasticsearch,ELK很秀源于Elasticsearch很棒。很多可能用过ELK但是对其核心Elasticsearch却...【详细内容】
2020-10-26  Tags: Elasticsearch  点击:(80)  评论:(0)  加入收藏
1. 简述 Elasticsearch 是基于 Lucene 开发的一个分布式全文检索框架,向 Elasticsearch 中存储和从 Elasticsearch 中查询,格式是json。 向 Elasticsearch 中存储数据,其实...【详细内容】
2020-10-12  Tags: Elasticsearch  点击:(58)  评论:(0)  加入收藏
Elasticsearch作为一门全文检索技术,那它是如何使用的呢? 先学习Elasticsearch的一些语法,后续再在项目中实战应用。一、IK分词器这个IK分词器有什么用?为什么要用它?要知道计算...【详细内容】
2020-09-18  Tags: Elasticsearch  点击:(115)  评论:(0)  加入收藏
随着移动互联网、物联网、云计算等信息技术蓬勃发展,数据量呈爆炸式增长。如今我们可以轻易得从海量数据里找到想要的信息,其中离不开搜索引擎技术的帮助。...【详细内容】
2020-09-11  Tags: Elasticsearch  点击:(114)  评论:(0)  加入收藏
▌简易百科推荐
摘 要 (OF作品展示)OF之前介绍了用python实现数据可视化、数据分析及一些小项目,但基本都是后端的知识。想要做一个好看的可视化大屏,我们还要学一些前端的知识(vue),网上有很多比...【详细内容】
2021-12-27  项目与数据管理    Tags:Vue   点击:(1)  评论:(0)  加入收藏
程序是如何被执行的  程序是如何被执行的?许多开发者可能也没法回答这个问题,大多数人更注重的是如何编写程序,却不会太注意编写好的程序是如何被运行,这并不是一个好...【详细内容】
2021-12-23  IT学习日记    Tags:程序   点击:(9)  评论:(0)  加入收藏
阅读收获✔️1. 了解单点登录实现原理✔️2. 掌握快速使用xxl-sso接入单点登录功能一、早期的多系统登录解决方案 单系统登录解决方案的核心是cookie,cookie携带会话id在浏览器...【详细内容】
2021-12-23  程序yuan    Tags:单点登录(   点击:(8)  评论:(0)  加入收藏
下载Eclipse RCP IDE如果你电脑上还没有安装Eclipse,那么请到这里下载对应版本的软件进行安装。具体的安装步骤就不在这赘述了。创建第一个标准Eclipse RCP应用(总共分为六步)1...【详细内容】
2021-12-22  阿福ChrisYuan    Tags:RCP应用   点击:(7)  评论:(0)  加入收藏
今天想简单聊一聊 Token 的 Value Capture,就是币的价值问题。首先说明啊,这个话题包含的内容非常之光,Token 的经济学设计也可以包含诸多问题,所以几乎不可能把这个问题说的清...【详细内容】
2021-12-21  唐少华TSH    Tags:Token   点击:(9)  评论:(0)  加入收藏
实现效果:假如有10条数据,分组展示,默认在当前页面展示4个,点击换一批,从第5个开始继续展示,到最后一组,再重新返回到第一组 data() { return { qList: [], //处理后...【详细内容】
2021-12-17  Mason程    Tags:VUE   点击:(14)  评论:(0)  加入收藏
什么是性能调优?(what) 为什么需要性能调优?(why) 什么时候需要性能调优?(when) 什么地方需要性能调优?(where) 什么时候来进行性能调优?(who) 怎么样进行性能调优?(How) 硬件配...【详细内容】
2021-12-16  软件测试小p    Tags:性能调优   点击:(19)  评论:(0)  加入收藏
Tasker 是一款适用于 Android 设备的高级自动化应用,它可以通过脚本让重复性的操作自动运行,提高效率。 不知道从哪里听说的抖音 app 会导致 OLED 屏幕烧屏。于是就现学现卖,自...【详细内容】
2021-12-15  ITBang    Tags:抖音防烧屏   点击:(23)  评论:(0)  加入收藏
11 月 23 日,Rust Moderation Team(审核团队)在 GitHub 上发布了辞职公告,即刻生效。根据公告,审核团队集体辞职是为了抗议 Rust 核心团队(Core team)在执行社区行为准则和标准上...【详细内容】
2021-12-15  InfoQ    Tags:Rust   点击:(24)  评论:(0)  加入收藏
一个项目的大部分API,测试用例在参数和参数值等信息会有很多相似的地方。我们可以复制API,复制用例来快速生成,然后做细微调整既可以满足我们的测试需求1.复制API:在菜单发布单...【详细内容】
2021-12-14  AutoMeter    Tags:AutoMeter   点击:(20)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条