Der Elastic Stack (ELK): Einrichtung einer zentralen Protokollierung (logging) mit Logstash, Elasticsearch und Kibana

In diesem Beitrag stellen wir den Elastic Stack vor, der auch als ELK-Stack bezeichnet wird – Logstash, Elasticsearch und Kibana. Außerdem erhalten Sie eine detaillierte Schritt-für-Schritt-Anleitung zur Einrichtung der drei Tools, die diesen Stack bilden. So können Sie die Erfassung und Visualisierung von System-logs (-protokollen) in einer DevOps- und Cloud-Native-App-Architektur automatisieren.

Was ist der Elastic Stack (früher bekannt als ELK Stack)?

Der Elastic Stack ist die Weiterführung des ELK Stack, dessen Name eine Abkürzung aus den drei zentralen Open-Source-Tools ist, auf denen der DevOps Stack aufbaut: Elasticsearch, Logstash und Kibana.

Elasticsearch ist eine Such- und Analysemaschine.

Logstash ist eine serverseitige Datenverarbeitungspipeline. Sie sammelt mehrere simultane Datenströme aus verschiedenen Quellen, analysiert jedes Ereignis, identifiziert benannte Felder, um eine Struktur aufzubauen. Anschließend werden die Daten in ein gemeinsames Format umgewandelt, um eine leistungsfähigere Analyse und einen höheren Geschäftswert zu erzielen.

Kibana visualisiert Daten in Elasticsearch durch Diagramme und Tabellen.

Der Elastic Stack ergänzt den ELK Stack um Beats, eine Open-Source-Plattform für leichtgewichtige Daten-Shipper, die es Benutzern ermöglicht, Dateien zu tailen. Alle vier Open-Source-Projekte, aus denen der Elastic Stack besteht – Elasticsearch, Logstash, Kibana und Beats – sind von Elastic selbst entwickelte Produkte.

Elastic beschreibt die Entwicklung von ELK zu Elastic Stack wie folgt:

„…die gleichen Open-Source-Produkte, die sie gewohnt waren, nur besser integriert, leistungsfähiger, benutzerfreundlicher und sehr viel Potenzial.“

Dieses Video von Coding Explained geht näher auf die technischen Details der Elastic Stack-Komponenten ein und zeigt, wie sie so konfiguriert werden können, dass sie als leistungsstarkes und flexibles Log-Management-System zusammenarbeiten.

Elastic Stack Use Cases

Elastic hat eine Reihe von use cases veröffentlicht, die aufzeigen, dass Elastic Stack von unterschiedlichsten bekannten Marken genutzt wurde, um eine Vielzahl von technischen und letztlich auch geschäftlichen Problemen zu lösen. Im folgenden zwei Beispiele:

HappyFresh behebt das Problem der Suchlatenz mit App Search auf Elastic Cloud

Bei HappyFresh, einer marktführenden Plattform für Lebensmitteleinkauf und -lieferung in Indonesien, Malaysia und Thailand, führten Latenzprobleme bei der Produktsuche dazu, dass Kunden aus der App flogen, was viele Kunden verärgerte. Ein Wechsel zu Elastic’s App Search auf der Elastic Cloud halbierte die Suchlatenz auf den Online- und mobilen E-Commerce-Portalen und bewältigte gleichzeitig einen 300%igen Anstieg des Suchverkehrs während der Covid 19-Pandemie.

Das Unternehmen ist davon überzeugt, dass die alte Lösung gescheitert wäre, wenn man sich weiterhin auf diese verlassen hätte. Zu dem Zeitpunkt verzehnfachte sich der Datenverkehr über die Apps und der Suchverkehr stieg um das Dreifache, als die Kunden während der Pandemie ihre Einkäufe online tätigten.

Adobe Bildsuchfunktionen auf Basis des Elastic Stack

Mehrere Produkte von Adobe verfügen über eine Bildsuchfunktion, die von Elastic Stack unterstützt wird, darunter gilt beispielsweise Adobe Stock. Die DevOps-Engineers von Adobe verwalten das folgende Elastic Stack Deployment (Several of Adobe’s products feature image search functionality powered by Elastic Stack, with Adobe Stock a prime example. Adobe’s DevOps engineers manage the following Elastic Stack deployment:

18 Produktionscluster hosten über 10 Milliarden Dokumente, mit einer Live-Ingestion-Rate von etwa 6.000 Dokumenten pro Sekunde. Um die Suche in Adobe Lightroom optimal zu unterstützen, wechselte das Unternehmen beispielsweise von Amazons Elasticsearch Service zu ihren eigenen, selbst verwalteten Clustern – dabei wurden fast 3,5 Milliarden Dokumente übertragen. Ein großer Teil der Inhalte von Adobe ist nicht textbasiert, d. h. Bilder, Videos, Photoshop-Dateien usw., aber auch Standarddokumenttypen für Unternehmen, insbesondere PDFs. Der Elastic Stack trägt zusammen mit den kundenspezifischen Elasticsearch-Plugins zu den folgenden Suchergebnissen bei:

• Suche auf der Grundlage von Computer Vision und Metadaten

• Tiefe textuelle und hybride Inhaltssuche

• Suche in Videos und umfangreichen Formaten

• Unternehmensweite Suche

• Entdeckung und Empfehlungen

Wie man ein zentralisiertes Log-System (Protokollierungssystem) mit dem Elastic Stack aufbaut

Manchmal müssen wir die Logs durchsehen und auf mehreren Servern nach den gewünschten Zeilen suchen; dazu loggen wir uns ein und suchen nach den Logs, in denen dieselben Befehle auf den Servern wiederholt werden.

Angenommen, wir sind ein E-Mail-Hosting-Unternehmen mit 3 MX-Servern. Ein Kunde beschwert sich über eine fehlende Nachricht, die er zu einem bestimmten Zeitpunkt an seine Frau geschickt hat.

Hätten wir ein zentralisiertes Log-System mit dem Elastic Stack eingerichtet, könnten wir diese Nachricht in den Logs mit ein paar Klicks finden. Und es gibt unzählige weitere Gründe, warum Unternehmen ein zentralisiertes Log-System benötigen, um zu verfolgen, was in ihrer IT-Infrastruktur vor sich geht. Obwohl Ausnahmen nicht ungewöhnlich sind, kann man mit Sicherheit sagen, dass wir bei K&C auf den Elastic Stack zurückgreifen, wenn es darum geht, Log-Management-Systeme aufzubauen.

Elastic Stack Alternativen für Log-Management

Natürlich ist der Elastic Stack, obwohl er effektiv und beliebt ist, nicht die einzige Möglichkeit, die ein Softwareentwicklungsteam für die Verwaltung von Logs hat. Datadog, Splunk, Graylog und Papertrail sind die beliebtesten Alternativen und Konkurrenten zu den Bestandteilen des Elastic Stack. Jedes dieser Tools hat seine technischen Stärken und Schwächen sowie unterschiedliche Gebührenmodelle und ist daher unter bestimmten Umständen den herkömmlichen ELK-Tools vorzuziehen.

In den meisten Fällen ist jedoch der Elastic-Stack die erste Wahl für ein Log-Management-System. Im Folgenden beschreiben wir Schritt für Schritt, wie wir ein zentralisiertes Logging-System einrichten würden:

Unser zentraler Logging-System-Stack

Java 8 installieren

cd /opt
sudo wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" 
"https://download.oracle.com/otn-pub/java/jdk/8u40-b25/jre-8u40-linux-x64.tar.gz"

sudo tar xvf jre-8*.tar.gz

sudo chown -R root: jre1.8*

sudo alternatives --install /usr/bin/java java /opt/jre1.8*/bin/java 1

sudo rm /opt/jre-8*.tar.gz

Elasticsearch installieren

sudo rpm --import http://packages.elasticsearch.org/GPG-KEY-elasticsearch

sudo vi /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-1.4]
name=Elasticsearch repository for 1.4.x packages
baseurl=http://packages.elasticsearch.org/elasticsearch/1.4/centos
gpgcheck=1
gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch
enabled=1

sudo yum -y install elasticsearch-1.4.4

sudo vi /etc/elasticsearch/elasticsearch.yml

network.host: localhost

sudo systemctl start elasticsearch.service

sudo systemctl enable elasticsearch.service

Kibana installieren:

cd ~; wget https://download.elasticsearch.org/kibana/kibana/kibana-4.0.1-linux-x64.tar.gz; tar xvf kibana-*.tar.gz

vi ~/kibana-4*/config/kibana.yml

host: "localhost"

sudo mkdir -p /opt/kibana

sudo cp -R ~/kibana-4*/* /opt/kibana/

sudo vi /etc/systemd/system/kibana4.service

[Service]
ExecStart=/opt/kibana/bin/kibana
Restart=always
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=kibana4
User=root
Group=root
Environment=NODE_ENV=production
 
[Install]
WantedBy=multi-user.target

sudo systemctl start kibana4
sudo systemctl enable kibana4

sudo yum -y install epel-release

sudo yum -y install nginx httpd-tools

sudo htpasswd -c /etc/nginx/htpasswd.users kibanaadmin

sudo vi /etc/nginx/nginx.conf

    include /etc/nginx/conf.d/*.conf;
}

server {
    listen 80;
 
    server_name example.com;
 
    auth_basic "Restricted Access";
    auth_basic_user_file /etc/nginx/htpasswd.users;
 
    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;        
    }
}

sudo systemctl start nginx
sudo systemctl enable nginx

Logstash installieren:

sudo vi /etc/yum.repos.d/logstash.repo
 
[logstash-1.5]
name=logstash repository for 1.5.x packages
baseurl=http://packages.elasticsearch.org/logstash/1.5/centos
gpgcheck=1
gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch
enabled=1

sudo yum -y install logstash

SSL-Zertifikate generieren

cd /etc/pki/tls
sudo openssl req -subj '/CN=logstash_server_fqdn/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

Logstash konfigurieren:

sudo vi /etc/logstash/conf.d/01-lumberjack-input.conf
 
input {
  lumberjack {
    port => 5000
    type => "logs"
    ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
    ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }
}

sudo vi /etc/logstash/conf.d/10-syslog.conf
 
filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:[%{POSINT:syslog_pid}])?: %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      add_field => [ "received_from", "%{host}" ]
    }
    syslog_pri { }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
    }
  }
}

sudo vi /etc/logstash/conf.d/30-lumberjack-output.conf
 
output {
  elasticsearch { host => localhost }
  stdout { codec => rubydebug }
}

sudo service logstash restart

Logstash Forwarder einrichten

scp /etc/pki/tls/certs/logstash-forwarder.crt user@server_private_IP:/tmp

sudo rpm --import http://packages.elasticsearch.org/GPG-KEY-elasticsearch

sudo vi /etc/yum.repos.d/logstash-forwarder.repo

[logstash-forwarder]
name=logstash-forwarder repository
baseurl=http://packages.elasticsearch.org/logstashforwarder/centos
gpgcheck=1
gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch
enabled=1

sudo yum -y install logstash-forwarder

sudo cp /tmp/logstash-forwarder.crt /etc/pki/tls/certs/

sudo vi /etc/logstash-forwarder.conf

"servers": [ "logstash_server_private_IP:5000" ],
"timeout": 15,
"ssl ca": "/etc/pki/tls/certs/logstash-forwarder.crt"
 
Между квадратнымы скобками вставляем
 
  {
      "paths": [
        "/var/log/messages",
        "/var/log/secure"
       ],
      "fields": { "type": "syslog" }
    }

sudo service logstash-forwarder restart