Elasticsearch 入门#

简介#

什么是 Elasticsearch#

• 基于 Apache Lucene 构建的 开源搜索引擎
• 采用 Java 编写，提供简单易用的 RESTful API
• 轻松的 横向扩展，可支持 PB级 的结构化或非结构化数据处理

应用场景#

• 海量数据分析引擎
• 站内搜索引擎
• 数据仓库

一线公司实际应用场景：

• 维基百科、Github - 站内实时搜索
• 百度 - 实时日志监控平台

简介部分描述摘自：瓦力老师的《ElasticSearch入门》。—— 教程版本为 5.x。本文内容基于 6.4 版本整理。

基础概念#

index#

索引

官方传统的定义倾向数据库中 “库” 的定义，但这种比喻已被官方否定。

type#

索引类型。6.x 版本，一个index 有且只能有一个 type。

官方传统的定义倾向数据库中 “表” 的定义，但这种比喻已被官方否定。

document#

文档数据，类似数据库 “行” 数据。

基本使用#

请求与输出#

请求#

• 接口 API 使用 RESTful 规范，URI格式：http://localhost:9200/index/<type>/<document_id>
• ?pretty=true：JSON 格式化

输出#

数据格式：json（也支持 yaml，接口地址：?format=yaml）

索引#

• 倒排索引

  Elasticsearch 使用一种称为 倒排索引 的结构，它适用于快速的全文搜索。一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，有一个包含它的文档列表。

  例如，假设我们有两个文档，每个文档的 content 域包含如下内容：

  • The quick brown fox jumped over the lazy dog
  • Quick brown foxes leap over lazy dogs in summer

  Term      Doc_1  Doc_2
  -------------------------
  Quick   |       |  X
  The     |   X   |
  brown   |   X   |  X
  dog     |   X   |
  dogs    |       |  X
  fox     |   X   |
  foxes   |       |  X
  in      |       |  X
  jumped  |   X   |
  lazy    |   X   |  X
  leap    |       |  X
  over    |   X   |  X
  quick   |   X   |
  summer  |       |  X
  the     |   X   |
  ------------------------
  

  重要：你只能搜索在索引中出现的词条，所以索引文本和查询字符串必须标准化为相同的格式。

• 创建/设置索引

  PUT /twitter
  

• 删除索引

  DELETE /twitter
  

• 查看索引

  GET /twitter
  

文档#

• 新增文档

  PUT twitter/_doc/1
  {
      "user" : "kimchy",
      "post_date" : "2009-11-15T14:12:12",
      "message" : "trying out Elasticsearch"
  }
  

• 更新文档

  // 指定文档 ID
  PUT twitter/_doc/1
  {
      "counter" : 1,
      "tags" : ["red"]
  }
  
  // 脚本更改（如递增）
  POST twitter/_doc/1/_update
  {
      "script" : {
          "source": "ctx._source.counter += params.count",
          "lang": "painless",
          "params" : {
              "count" : 4
          }
      }
  }
  

• 删除文档

  // 指定文档 ID
  DELETE /twitter/_doc/1
  
  // 指定条件
  POST twitter/_delete_by_query
  {
    "query": { 
      "match": {
        "message": "some message"
      }
    }
  }
  

• 获取文档

  GET twitter/_doc/1
  

• 搜索文档： 传送门、语法

  GET twitter/_search?q=user:kimchy
  

指定字段#

{
    "_source": ["*", "user", "user.age", 'user*']
}

select *, user from table;

From / Size ： 传送门#

{
    "from" : 10,
    "size" : 20
}

select * from table limit 10, 20;

排序#

{
    "sort" : [
        {"post_date" : {"order" : "asc"}},
        "user",
        {"name" : "desc"},
        {"age" : "desc" },
        "_score"
    ]
}

select * from table order by post_date asc, user, name desc, age desc;

不设置 sort, 默认按 _score 从高到低排序

常用 DSL#

Match 全文查询#

match#

默认匹配：传送门

GET /_search
{
    "query": {
        "match" : {
            "message" : "this is a test"
        }
    }
}

select * from table
where message like '%this%'
    or message like '%is%'
    or message like '%a%'
    or message like '%test%';

不等价匹配的示例：如 message 值为 this is a test。去搜索 st，Elasticsearch 无法匹配上；但 SQL 可匹配

match_phrase#

短语匹配：传送门

GET /_search
{
    "query": {
        "match_phrase" : {
            "message" : "this is a test"
        }
    }
}

select * from table where message like '%this is a test%';

不等价匹配的示例：如 message 值为 Mozilla/5.0 Windows。去搜索 Mozilla 5.0，Elasticsearch 能匹配上；但 SQL 无法匹配

match_phrase_prefix#

短语前缀匹配：传送门

一般用于搜索框：建议搜索

GET /_search
{
    "query": {
        "match_phrase_prefix" : {
            "message" : "quick brown f"
            // "max_expansions": 10
        }
    }
}

select * from table where message like '%quick brown f%';

multi_match#

多重匹配：传送门

一般用于关键字搜索

GET /_search
{
    "query": {
        "multi_match" : {
            "query": "this is", 
            "fields": ["subject", "message"]
        }
    }
}

select * from table
where subject like '%this%'
    or subject like '%is%'
    or message like '%this%'
    or message like '%is%';

其他用法

• 模糊字段匹配："fields": ["subject", "*_message"]
• _score 权重调整："fields" : [ "subject^3", "message" ]
• 其他匹配类型，如： best_fields(默认)、 phrase、 phrase_prefix 等

Term 查询#

term#

通过倒排索引查找 确切 的值。 相当于 =，但不只是 =，更像是 PHP 的 in_array 的概念：传送门

POST _search
{
    "query": {
        "term" : { "user" : "Kimchy" } 
    }
}

select * from table where user = 'Kimchy';

terms#

通过倒排索引中查找多个 确切 的值，相当于 in：传送门

GET /_search
{
    "query": {
        "terms" : { "user" : ["kimchy", "elasticsearch"]}
    }
}

select * from table where user in ('Kimchy', 'elasticsearch');

range#

范围区间查询，传送门

GET _search
{
    "query": {
        "range" : {
            "age" : {
                "gte" : 10,
                "lte" : 20
            }
        }
    }
}

select * from table where age >=10 and age <= 20;

参数说明

复合查询#

bool#

与其他查询构建语句进行组合的查询，构建语句包括：

POST _search
{
"query": {
    "bool" : {
    "must" : {
        "term" : { "user" : "kimchy" }
    },
    "filter": {
        "term" : { "tag" : "tech" }
    },
    "must_not" : {
        "range" : {
        "age" : { "gte" : 10, "lte" : 20 }
        }
    },
    "should" : [
        { "term" : { "tag" : "wow" } },
        { "term" : { "tag" : "elasticsearch" } }
    ]
    }
}
}

select * from table
where user = "kimchy"
    and tag = "tech"
    and (age < 10 or age > 20) -- not (age >= 10 and age <= 20)
    and (tag = "wow" or tag = "elasticsearch");

实例讲解#

本段培训使用，非培训人员可无视

GET logstash-nginx_*/_search/
{
  "query": {
    "terms": {
      "status": [301, 302]
    }
  },
  "_source": ["status", "host", "require_uri", "geoip.ip"],
  "size": 20
}

GET build/_search
{
  "query": {
    "bool": {
      "filter": [
        {"term": {"search.room_name.keyword": "三房"}},
        {"term": {"sell_status": 1}},
        {"bool": {
          "should": [
            {"term": {"build_type": 1}},
            {"term": {"build_type": 2}}
          ]
        }}
      ],
      "must_not": [
        {"term": {"closed": 1}}
      ],
      "should": [
        {"match": {"build_name": "大"}},
        {"match": {"build_name": "小"}}
      ]
    }
  },
  "_source": ["id", "build_name", "build_type", "search.room_name", "status", "closed", "sell_status"],
  "sort": [
    {"status": "asc"},
    {"_score": "desc"}
  ]
}