INT 21h

Hi, I am Vladimir Smagin, SysAdmin and Kaptain. Telegram Email / GIT / RSS / GPG

Filebeat to Opensearch

№ 11882 В разделе Sysadmin от March 7th, 2023,
В подшивках:

Opensearch это форк Elasticsearch, они как бы одно и тоже, но формально не совместимы поэтому напрямую из Filebeat и других подобных переслать данные не получится. Чтобы оно заработало нужна специальная версия Logstash, которая имеет плагин для работы с opensearch.

Настройки Filebeat

Ну все как обычно, поднимается где-нибудь рядом с сервисом, который необходимо отслеживать. Если у вас kubernetes я уверен на 100% вы справитесь с деплоем туда самостоятельно.

version: '3.3'
services:
  filebeat:
    image: elastic/filebeat:7.16.2
    command: ["-e", "--strict.perms=false"]
    environment:
      LOGSTASH_HOST: 10.2.113.39
      LOGSTASH_PORT: "5044"
    user: root
    restart: always
    volumes:
      - /srv/db/mysql-logs:/var/log/mysql:ro
      - /srv/db/filebeat.yml:/usr/share/filebeat/filebeat.yml
      - /srv/db/filebeat-modules.d:/usr/share/filebeat/modules.d

Внутри конфига filebeat.yml указываем output.logstash

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml

output.logstash:
  hosts: ['${LOGSTASH_HOST}:${LOGSTASH_PORT}']
  index: "service-db-test-%{+yyyy.MM.dd}"
setup:
  template:
    name: "service-db-test"
    pattern: "service-db-test"

Настройки Logstash

Вот тут уже начинается магия. Мы видим, что это вообще не самый простой logstash.

version: "3"
services:
  logstash:
    image: opensearchproject/logstash-oss-with-opensearch-output-plugin:7.16.2
    volumes:
      - "./config:/usr/share/logstash/config:ro"
    ports:
      - "5044:5044/tcp"
      - "5044:5044/udp"
    restart: always

Конфиг пайплайна как раз и является ключевым во всей цепочке сбора логов. Обращаем внимание на то, что в output уже opensearch, а не эластик.

input {
  beats {
    host => "0.0.0.0"
    port => "5044"
  }
}

output {
  if [service][type] == "mysql" {
    opensearch
    {
	hosts => ["https://10.3.27.105:9200"]
	index => "service-db-test-filebeat-%{+yyyy.MM.dd}"
	user => "mylogin"
	password => "mypassword"
	ssl => "true"
	ssl_certificate_verification => "false"
    }
    #stdout {}
  } else {
    opensearch
    {
	hosts => ["https://10.3.27.105:9200"]
	index => "stand-test-filebeat-%{+yyyy.MM.dd}"
	user => "mylogin"
	password => "mypassword"
	ssl => "true"
	ssl_certificate_verification => "false"
    }
    #stdout{}
  }
}

Подключаем этот пайплайн в logstash.yml: path.config: "./config/pipeline.conf"

Kibana

Создаем нужные настройки для индексов в кибане и читаем логи.

Готово. Можно идти пить чай.

Нет комментариев »

Konsole: ctrl+s при поиске в mc вызывает ненависть

№ 11868 В разделе Sysadmin от December 11th, 2022,
В подшивках:

Хотим в mc что-нибудь быстренько найти, жмем ctrl+s, а mc просто замирает с таким сообщением.

Идем в настройки профиля -> Advanced и отключаем flow control. Зачем это фуфло держать включенным одним создателям KDE известно.

Нет комментариев »

SSH debug3: set_sock_tos: set socket 3 IP_TOS 0x48

№ 11834 В разделе Sysadmin от October 1st, 2022,
В подшивках: ,

Если вдруг внезапно случилась такая ошибка, то проверьте на сервере fail2ban 😉

Нет комментариев »

Автомаунт smb шар через systemd

№ 11820 В разделе Sysadmin от September 22nd, 2022,
В подшивках: ,

Имя файлов юнитов должно совпадать с путем к директории куда должно произойти монтирование.

Юнит самого маунта /etc/systemd/system/mnt-backups-storage.mount

[Unit]
Description=backup storage

[Mount]
What=//backup-server/sql_backup
Where=/mnt/backups/storage
Options=credentials=/root/.smbclient,rw,file_mode=0700,dir_mode=0700,uid=1000
DirectoryMode=0700
Type=cifs

[Install]
WantedBy=multi-user.target

Файл с автомаунтом /etc/systemd/system/mnt-backups-storage.automount

[Unit]
Description=storage automount

[Install]
WantedBy=multi-user.target

[Automount]
Where=/mnt/backups/storage

Файл с авторизацией /root/.smbclient

username=myusername
pass=supapa$$w0rd

Активируем

systemctl enable mnt-backups-storage.mount
systemctl enable mnt-backups-storage.automount
systemctl start mnt-backups-storage.mount

Нет комментариев »

Облачная платформа

Микроблог перейти

🇷🇺 © Vladimir Smagin, 2005-2023. Копирование материалов без разрешения запрещено. GPG *
Яндекс.Метрика

Fortune cookie: "I am ecstatic that some moron re-invented a 1995 windows fuckup." -- Alan Cox