шаблон_определения

нет

—

Карта имен шаблонов и кортежей шаблонов, определяющих пользовательские шаблоны, которые будут использоваться текущим процессором. Шаблоны, соответствующие существующим именам, переопределяют ранее существовавшее определение.

ecs_compatibility

нет

инвалид

Должен быть отключен или v1 . Если v1 , процессор использует шаблоны с именами полей Elastic Common Schema (ECS).

трассировка_матч

нет

ложный

при значении true _ingest. _grok_match_index будет вставлен в метаданные вашего сопоставленного документа с индексом в шаблон, найденный в шаблонах , которые совпали.

ignore_missing

нет

ложный

Если true и поле не существует или равно null , процессор спокойно завершает работу без изменения документа

описание

нет

—

Описание процессора. Полезно для описания назначения процессора или его конфигурации.

если

нет

—

Условно выполнить процессор. См. Условный запуск процессора.

ignore_failure

нет

ложный

Игнорировать отказы процессора. См. раздел Обработка сбоев конвейера.

при сбое

нет

—

Обработка ошибок процессора. См. раздел Обработка сбоев конвейера.

бирка

нет

—

Идентификатор процессора. Полезно для отладки и метрик.

Вот пример использования предоставленных шаблонов для извлечения и именования структурированных полей из строкового поля в документ.

 ответ = client.ingest.simulate(
  тело: {
    трубопровод: {
      описание: '...',
      процессоры: [
        {
          грок: {
            поле: 'сообщение',
            узоры: [
              '%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes:int} %{NUMBER:duration:double}'
            ]
          }
        }
      ]
    },
    документы: [
      {
        _источник: {
          сообщение: «55.3.244.1 ПОЛУЧИТЬ /index.html 15824 0,043»
        }
      }
    ]
  }
)
ставит ответ 

 POST _ingest/pipeline/_simulate
{
  "трубопровод": {
    "описание" : "...",
    "процессоры": [
      {
        "грок": {
          "поле": "сообщение",
          "patterns": ["%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes:int} %{NUMBER:duration:double}"]
        }
      }
    ]
  },
  "документы": [
    {
      "_источник": {
        "сообщение": "55.3.244.1 ПОЛУЧИТЬ /index.html 15824 0,043"
      }
    }
  ]
} 

Этот конвейер будет вставлять эти именованные захваты как новые поля в документе, например:

 {
  "документы": [
    {
      "док": {
        "_индекс": "_индекс",
        "_я сделал",
        "_версия": "-3",
        "_источник" : {
          «длительность»: 0,043,
          "запрос": "/index.  html",
          "метод": "ПОЛУЧИТЬ",
          «байт»: 15824,
          "клиент": "55.3.244.1",
          "сообщение": "55.3.244.1 ПОЛУЧИТЬ /index.html 15824 0,043"
        },
        "_глотать": {
          "отметка времени": "2016-11-08T19:43:03.850+0000"
        }
      }
    }
  ]
} 

Редактирование пользовательских шаблонов

Процессор Grok поставляется с предварительно упакованным базовым набором шаблонов. Эти шаблоны могут не всегда иметь что ты ищешь. Шаблоны имеют очень простой формат. Каждая запись имеет имя и сам шаблон.

Вы можете добавить свои собственные шаблоны в определение процессора с помощью опции pattern_definitions . Вот пример конвейера, определяющего определения пользовательских шаблонов:

 {
  "описание" : "...",
  "процессоры": [
    {
      "грок": {
        "поле": "сообщение",
        "patterns": ["моя %{FAVORITE_DOG:собака} окрашена в %{RGB:color}"],
        "pattern_definitions": {
          "FAVORITE_DOG": "бигль",
          "RGB": "КРАСНЫЙ|ЗЕЛЕНЫЙ|СИНИЙ"
        }
      }
    }
  ]
} 

Предоставление нескольких шаблонов соответствия

Иногда одного шаблона недостаточно, чтобы зафиксировать потенциальную структуру поля. Предположим, мы хотите сопоставить все сообщения, которые содержат ваши любимые породы домашних животных кошек или собак. Один из способов достижения это сделано для того, чтобы предоставить два разных шаблона, которые можно сопоставить, вместо одного действительно сложного захвата выражения. такое же поведение или .

Вот пример такой конфигурации, выполненной для моделирования API:

 ответ = client.ingest.simulate(
  тело: {
    трубопровод: {
      description: 'разбирать несколько шаблонов',
      процессоры: [
        {
          грок: {
            поле: 'сообщение',
            узоры: [
              '%{FAVORITE_DOG:домашнее животное}',
              '%{FAVORITE_CAT:домашнее животное}'
            ],
            pattern_definitions: {
              "FAVORITE_DOG": "бигль",
              «FAVORITE_CAT»: «бирманский»
            }
          }
        }
      ]
    },
    документы: [
      {
        _источник: {
          сообщение: «Я люблю бирманских кошек!»
        }
      }
    ]
  }
)
ставит ответ 

 POST _ingest/pipeline/_simulate
{
  "трубопровод": {
  "description": "разобрать несколько шаблонов",
  "процессоры": [
    {
      "грок": {
        "поле": "сообщение",
        "шаблоны": ["%{FAVORITE_DOG:pet}", "%{FAVORITE_CAT:pet}"],
        "pattern_definitions": {
          "FAVORITE_DOG": "бигль",
          "FAVORITE_CAT": "бирманский"
        }
      }
    }
  ]
},
"документы": [
  {
    "_источник": {
      "message": "Я люблю бурманских кошек!"
    }
  }
  ]
} 

ответ:

 {
  "документы": [
    {
      "док": {
        "_индекс": "_индекс",
        "_я сделал",
        "_версия": "-3",
        "_источник": {
          "message": "Я люблю бурманских кошек!",
          "домашнее животное": "бирманский"
        },
        "_глотать": {
          "отметка времени": "2016-11-08T19:43:03. 850+0000"
        }
      }
    }
  ]
} 

Оба шаблона установят поле pet с соответствующим соответствием, но что, если мы хотим проследить, какой из наших шаблоны соответствовали и заполняли наши поля? Мы можем сделать это с помощью параметра trace_match . Вот результат тот же конвейер, но с "trace_match": true настроено:

 {
  "документы": [
    {
      "док": {
        "_индекс": "_индекс",
        "_я сделал",
        "_версия": "-3",
        "_источник": {
          "message": "Я люблю бурманских кошек!",
          "домашнее животное": "бирманский"
        },
        "_глотать": {
          "_grok_match_index": "1",
          "отметка времени": "2016-11-08T19:43:03.850+0000"
        }
      }
    }
  ]
} 

В приведенном выше ответе вы можете видеть, что индекс совпавшего шаблона был "1" . Это означает, что это был второй (индекс начинается с нуля) шаблон в шаблонов для соответствия.

Эти метаданные трассировки позволяют отладить совпадающие шаблоны. Эта информация хранится в метаданные и не будут индексироваться.

Получение шаблонов из REST endpointedit

Процессор Grok поставляется с собственной конечной точкой REST для извлечения шаблонов, включенных в процессор.

 ответ = client.ingest.processor_grok
puts response 

 GET _ingest/processor/grok 

Приведенный выше запрос вернет тело ответа, содержащее представление ключ-значение встроенного словаря шаблонов.

 {
  "узоры" : {
    "BACULA_CAPACITY": "%{INT}{1,3}(,%{INT}{3})*",
    "ПУТЬ" : "(?:%{UNIXPATH}|%{WINPATH})",
    ...
} 

По умолчанию API возвращает список устаревших шаблонов Grok. Это наследие шаблоны предшествуют Elastic Common Schema (ECS) и не используйте имена полей ECS. Чтобы вернуть шаблоны, извлекающие поле ECS имена, укажите v1 в необязательном параметре запроса ecs_compatibility .

 ответ = client.ingest.processor_grok(
  ecs_compatibility: 'v1'
)
помещает ответ 

 GET _ingest/processor/grok?ecs_compatibility=v1 

По умолчанию API возвращает шаблоны в порядке их чтения с диска. Этот порядок сортировки сохраняет группы связанных шаблонов. Например, все узоры связанные с разбором строк системного журнала Linux, остаются сгруппированными.

Вы можете использовать необязательный логический параметр запроса s для сортировки возвращаемых шаблонов. вместо этого по имени ключа.

 ответ = client.ingest.processor_grok(
  с: правда
)
помещает ответ 

 GET _ingest/processor/grok?s 

API возвращает следующий ответ.

 {
  "узоры" : {
    "BACULA_CAPACITY": "%{INT}{1,3}(,%{INT}{3})*",
    "BACULA_DEVICE": "%{USER}",
    "BACULA_DEVICEPATH": "%{UNIXPATH}",
    ...
} 

Это может быть полезно для ссылки, так как встроенные шаблоны меняются в разных версиях.

Grok watchdogedit

Выражения Grok, выполнение которых занимает слишком много времени, прерываются и затем процессор grok выходит из строя с исключением. грок Процессор имеет сторожевой поток, который определяет, когда оценка выражение grok занимает слишком много времени и контролируется следующим settings:

Таблица 24. Настройки сторожевого таймера Grok

Grok debuggingedit

Для отладки шаблонов grok рекомендуется использовать отладчик Grok.