Como Instalar o Elastic Stack no Ubuntu 20.04 LTS

Elastic Stack (anteriormente ELK Stack) é um grupo de software de código aberto desenvolvido pela Elastic para coletar dados de várias fontes. Ele permite que você colete, armazene, processe, analise e visualize dados de várias fontes em qualquer formato na plataforma central do Elastic Stack.

O Elastic Stack consiste em vários pacotes de software: “Elasticsearch” para armazenar seus dados, “Kibana” como um painel para acessar e visualizar seus dados, o pipeline dinâmico de coleta de dados “Logstash” com plugins extensíveis para processar qualquer dado, e “Beats” como uma plataforma leve de envio de dados que envia dados de máquinas de borda.

O Elastic Stack pode ser implantado em Promises em seu servidor ou você pode comprar o SaaS (Software como Serviço) oficial Elastic Cloud.

Neste tutorial, mostraremos como instalar o Elastic Stack em um servidor Ubuntu 20.04. Instalaremos o Elasticsearch e o Kibana no mesmo servidor e, em seguida, instalaremos e configuraremos o “Filebeat” em outro servidor para enviar logs diretamente para o servidor Elasticsearch.

Requisitos

Para este tutorial, usaremos dois servidores executando Ubuntu 20.04. O software do Elastic Stack será instalado no servidor com 4 GB de RAM, e usaremos outro servidor com 1 GB como cliente para o Filebeat.

O que faremos?

• Adicionar o Repositório do Elastic Stack
• Instalar e Configurar o Elasticsearch
• Instalar e Configurar o Kibana
• Configurar o Nginx como um Proxy Reverso para o Kibana
• Instalar e Configurar o Filebeat
• Configurar um Novo Papel para o Usuário do Kibana
• Criar um Novo Padrão de Índice para o Filebeat

Passo 1 - Adicionar o Repositório do Elastic Stack

Primeiro, adicionaremos a chave GPG e o repositório do software Elastic Stack a ambos os servidores Ubuntu.

Antes de prosseguir, instale o ‘apt-transport-https’ para garantir a segurança da sua instalação de software através de uma conexão segura HTTPS.

sudo apt install apt-transport-https

Em seguida, adicione a chave GPG e o repositório do Elastic Stack usando o seguinte comando.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -  
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list

Agora atualize todos os repositórios disponíveis no sistema Ubuntu.

sudo apt update

E você está pronto para instalar todo o software do Elastic Stack em ambos os servidores.

Passo 2 - Instalar e Configurar o Elasticsearch

Neste passo, instalaremos e configuraremos o Elasticsearch no servidor de nó único ‘ELK20’ com o endereço IP interno ‘172.16.0.3’.

Antes de instalar o Elasticsearch, edite o arquivo ‘/etc/hosts’ usando o editor vim.

vim /etc/hosts

Agora digite seu nome de host com o endereço IP interno como abaixo.

172.16.0.3    ELK20

Salve e feche.

Em seguida, instale o pacote Elasticsearch usando o comando apt abaixo.

sudo apt install elasticsearch

Uma vez que toda a instalação esteja concluída, vá para o diretório ‘/etc/elasticsearch’ e edite o arquivo de configuração ‘elasticsearch.yml’.

cd /etc/elasticsearch/  
vim elasticsearch.yml

Descomente a linha ‘node.name’ e digite o nome do seu servidor.

node.name: ELK20

Na linha ‘network.host’, digite o endereço IP do servidor em que o serviço Elasticsearch estará em execução, e é recomendado usar apenas o endereço IP interno.

network.host: 172.16.0.3

Descomente a linha ‘http.port’ e deixe como padrão, o serviço Elasticsearch estará em execução na porta padrão ‘9200’.

http.port: 9200

Descomente a linha ‘cluster.initial_master_nodes’ e digite o nome do seu servidor.

cluster.initial_master_nodes: ["ELK20"]

E por último, habilite a segurança do Elasticsearch adicionando a seguinte configuração ao final da linha.

xpack.security.enabled: true

Salve e feche.

Em seguida, recarregue o gerenciador de serviços systemd, inicie o serviço Elasticsearch e adicione-o ao boot do sistema.

systemctl daemon-reload  
  
systemctl start elasticsearch  
systemctl enable elasticsearch

O serviço Elasticsearch está em funcionamento no servidor Ubuntu 20.04.

Em seguida, geraremos a senha para o usuário embutido no Elasticsearch.

Vá para o diretório ‘/usr/share/elasticsearch’ e execute o comando utilitário do Elasticsearch ‘elasticsearch-setup-passwords’ como abaixo.

cd /usr/share/elasticsearch/  
bin/elasticsearch-setup-passwords auto -u "http://172.16.0.3:9200"

Digite ‘y’ para confirmar e gerar a senha.

Iniciando a configuração de senhas para usuários reservados elastic,apm_system,kibana,kibana_system,logstash_system,beats_system,remote_monitoring_user.  
As senhas serão geradas aleatoriamente e impressas no console.  
Por favor, confirme que você gostaria de continuar [y/N] y

Abaixo está o resultado que você obterá.

Mudou a senha para o usuário apm_system  
SENHA apm_system = DP5RpFfbCyL6UpIFO8Q3  
  
Mudou a senha para o usuário kibana_system  
SENHA kibana_system = U6gDLoJCqqChqcbD1IYV  
  
Mudou a senha para o usuário kibana  
SENHA kibana = U6gDLoJCqqChqcbD1IYV  
  
Mudou a senha para o usuário logstash_system  
SENHA logstash_system = KrHaGvHGfkAz12dcSeWo  
  
Mudou a senha para o usuário beats_system  
SENHA beats_system = VnUUOtShQoFAGEZ62G7m  
  
Mudou a senha para o usuário remote_monitoring_user  
SENHA remote_monitoring_user = xgaLXw6jp3Ses6CZ2hEB  
  
Mudou a senha para o usuário elastic  
SENHA elastic = elu2ZlMm4mOkM7fgCeUM

Como pode ser visto, a senha para alguns usuários embutidos no Elasticsearch foi gerada.

Para testar nossa instalação do Elasticsearch, execute o comando curl com o usuário padrão ‘elastic‘ como abaixo.

curl -X GET -u elastic "http://172.16.0.3:9200/?pretty"

Digite a senha para o usuário ‘elastic‘, e abaixo está o resultado que você obterá.

Como resultado, o servidor Elasticsearch está em funcionamento com a autenticação habilitada.

Passo 3 - Instalar e Configurar o Kibana

Neste passo, instalaremos e configuraremos o Kibana no mesmo servidor que o Elasticsearch. Conectaremos o Kibana ao servidor Elasticsearch com o usuário padrão ‘kibana_system’ e a senha gerada acima.

Instale o Kibana usando o comando apt abaixo.

sudo apt install kibana

Uma vez que toda a instalação esteja concluída, vá para o diretório ‘/etc/kibana’ e edite o arquivo de configuração ‘kibana.yml’ usando o editor vim.

cd /etc/kibana/  
vim kibana.yml

Descomente as seguintes linhas e altere os valores com os seus. É recomendado executar o Kibana na rede local porque usaremos o Nginx como um proxy reverso para o Kibana.

server.port: 5601  
server.host: "172.16.0.3"  
server.name: "ELK20"

Depois disso, altere o ‘elasticsearch.url’ com o endereço IP do seu Elasticsearch.

elasticsearch.url: "http://172.16.0.3:9200"

Descomente as seguintes linhas “elasticsearch.username” e ‘elasticsearch.password’, e altere os detalhes com o usuário e a senha que você gerou.

elasticsearch.username: "kibana_system"  
elasticsearch.password: "N88VBkkelfSV3mBfO6Vh"

Salve e feche.

Em seguida, recarregue o gerenciador systemd usando o seguinte comando.

systemctl daemon-reload

Depois disso, inicie o serviço Kibana e adicione-o ao boot do sistema.

systemctl start kibana  
systemctl enable kibana

E o serviço Kibana está em funcionamento no sistema Ubuntu 20.04.

Em seguida, criaremos um novo usuário que será usado para fazer login no painel do Kibana.

Crie um novo usuário chamado ‘hakase’ e a senha ‘hakasepasskibana’ com o papel ‘kibana_admin’ como abaixo.

curl -X POST -u elastic "http://172.16.0.3:9200/_security/user/hakase?pretty" -H 'Content-Type: application/json' -d'  
{  
  "password" : "hakasepasskibana",  
  "roles" : [ "kibana_admin" ]  
}  
'

Digite a senha para o usuário ‘elastic’, e você obterá o resultado abaixo.

Como resultado, o novo usuário ‘hakase’ foi criado e poderá fazer login no painel do Kibana.

Passo 4 - Configurar o Nginx como um Proxy Reverso para o Kibana

Neste passo, instalaremos e configuraremos o Nginx como um proxy reverso para o Kibana.

Instale os pacotes do Nginx usando o comando apt abaixo.

sudo apt install nginx -y

Uma vez que toda a instalação esteja concluída, vá para o diretório ‘/etc/nginx/sites-available/‘ e crie um novo arquivo de host virtual ‘kibana’ usando o editor vim.

cd /etc/nginx/sites-available/  
vim kibana

Altere o nome do domínio e o endereço IP do ‘proxy_pass’ com os seus, e cole nele.

server {  
    listen 80;  
   
    server_name elk.hakase-labs.io;  
   
    location / {  
        proxy_pass http://172.16.0.3:5601;  
        proxy_http_version 1.1;  
        proxy_set_header Upgrade $http_upgrade;  
        proxy_set_header Connection 'upgrade';  
        proxy_set_header Host $host;  
        proxy_cache_bypass $http_upgrade;  
    }  
}

Salve e feche.

Em seguida, ative o host virtual do Nginx para o Kibana e verifique a configuração do Nginx.

ln -s /etc/nginx/sites-available/kibana /etc/nginx/sites-enabled/  
nginx -t

Certifique-se de que não há erro, então reinicie o serviço Nginx.

systemctl restart nginx

Como resultado, a instalação e configuração do Nginx como um Proxy Reverso para o Kibana foram concluídas. E o painel do Kibana agora está acessível através do nome de domínio ‘elk.hakase-labs.io’.

Abra seu navegador da web e digite o nome de domínio da sua instalação do Kibana na barra de endereços.

http://elk.hakase-labs.io/

E você verá a página de login do Kibana como abaixo.

Digite o usuário ‘hakase’ com a senha ‘hakasepass’ e clique no botão ‘Login‘.

Uma vez que você tenha feito login, será solicitado que você importe os dados de exemplo ou explore seus dados.

Clique no botão ‘Explorar meus próprios dados‘.

Agora você verá o Painel do Kibana como abaixo.

Como resultado, a instalação do Kibana e do Nginx foi concluída.

Passo 5 - Instalar e Configurar o Filebeat

Neste passo, instalaremos o “Filebeat” na máquina cliente com o nome do host “client01” e o endereço IP “xxx.xxx.xxx.xxx”. O Filebeat enviará logs diretamente para o servidor Elasticsearch.

Antes de instalar o “Filebeat”, certifique-se de que o repositório do Elastic Stack foi adicionado ao seu sistema.

Agora instale o pacote filebeat usando o comando apt abaixo.

sudo apt install filebeat

Uma vez que toda a instalação esteja concluída, vá para o diretório ‘/etc/filebeat’ e edite o arquivo de configuração ‘filebeat.yml’ usando o editor vim.

cd /etc/filebeat/  
vim filebeat.yml

No topo da configuração ‘filebeat.inputs’, altere ‘enabled: false’ para ‘enabled: true’ como abaixo.

filebeat.inputs:  
- type: log  
  enabled: true  
  paths:  
    - /var/log/*.log

Em seguida, vá para a configuração do Kibana e altere o host com o endereço IP e a porta do Kibana, altere o nome de usuário para o usuário padrão ‘kibana’, e a senha gerada acima.

setup.kibana:  
  host: "172.16.0.3:5601"  
  username: "kibana"    
  password: "U6gDLoJCqqChqcbD1IYV"

Depois disso, vá para a configuração ‘output.elasticsearch’ e altere os detalhes com os seus.

output.elasticsearch:  
  hosts: ["172.16.0.3:9200"]  
  username: "elastic"  
  password: "elu2ZlMm4mOkM7fgCeUM"

Salve e feche.

Agora recarregue o gerenciador systemd, inicie o serviço filebeat e adicione-o ao boot do sistema.

systemctl daemon-reload  
  
systemctl start filebeat  
systemctl enable filebeat

O serviço filebeat está em funcionamento na máquina “client01“.

Em seguida, precisamos carregar o template de índice do filebeat para o servidor Elasticsearch usando o seguinte comando.

filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["http://172.16.0.3:9200"]'

Abaixo está o resultado que você obterá.

Como resultado, o template de índice do filebeat foi carregado para o servidor Elasticsearch, e estará disponível no Painel do Kibana como um padrão de índice ‘filebeat-*’.

Passo 6 - Configurar Novo Papel para o Usuário do Kibana

Neste passo, criaremos um novo papel do Elasticsearch que permite ao nosso usuário ‘hakase’ acessar e gerenciar todos os índices no servidor Elasticsearch através da API do Elasticsearch.

Crie um novo papel chamado ‘events_index‘ que permite aos usuários apenas gerenciar índices no servidor Elasticsearch usando o seguinte comando.

curl -XPOST -u elastic 'http://172.16.0.3:9200/_security/role/events_index' -H "Content-Type: application/json" -d '{  
  "indices" : [  
    {  
      "names" : [ "*" ],  
      "privileges" : [ "all" ]  
    }  
  ]  
}'

Depois disso, verifique o papel ‘events_index‘ usando o comando abaixo.

curl -X GET -u elastic "http://172.16.0.3:9200/_security/role/events_index?pretty"

Abaixo está o resultado que você obterá.

Como pode ser visto, o papel ‘events_index’ terá apenas privilégios para gerenciar índices.

Em seguida, adicione o papel ‘events_index’ ao nosso usuário ‘hakase’ usando o comando abaixo.

curl -X POST -u elastic "http://172.16.0.3:9200/_security/user/hakase?pretty" -H 'Content-Type: application/json' -d'  
{  
  "password" : "hakasepasskibana",  
  "roles" : [ "kibana_admin", "events_index" ]  
}  
'

Digite a senha para o usuário ‘elastic‘, e o papel ‘events_index‘ foi atribuído ao usuário ‘hakase‘.

Verifique todos os papéis disponíveis sob o usuário ‘hakase’ usando o seguinte comando.

curl -X GET -u elastic "http://172.16.0.3:9200/_security/user/hakase?pretty"

Abaixo está o resultado que você obterá.

Como resultado, criamos um novo papel para gerenciar índices no servidor Elasticsearch.

Passo 7 - Criar Novo Padrão de Índice para o Filebeat

Após criar um novo papel chamado ‘events_index’, criaremos um novo padrão de índice para o Filebeat através do usuário ‘hakase‘.

- Criar Padrão de Índice

No Painel do Kibana, clique na opção do menu à esquerda, vá para a seção “Gerenciamento“ e clique em “Gerenciamento do Stack“.

Na seção “Kibana“, clique em “Padrão de Índice“.

Clique no botão “Criar padrão de índice” para criar um novo padrão de índice.

No campo “padrão de índice”, digite “filebeat-*“ e clique no botão “Próximo passo“.

No campo “Nome do filtro de tempo”, escolha “@timestamp“ e clique no botão “Criar padrão de índice“.

E o padrão de índice “filebeat-*“ foi criado, e está selecionado como padrão (se você não tiver nenhum padrão de índice antes).

- Mostrar Dados no Kibana

Para mostrar os dados coletados pelo filebeat, clique no menu de opções no canto superior esquerdo, depois clique em “Descobrir“.

E você verá todos os dados coletados pelo filebeat da máquina “client01“.

Para mostrar dados com base no seu filtro, você pode usar o “KQL“ ou Linguagem de Consulta do Kibana.

Digite a seguinte consulta no campo “KQL“.

host.name : client01 and log.file.path: "/var/log/auth.log"

E você obterá todas as informações sobre a autenticação SSH na máquina “client01”.

Como resultado, a instalação do Elastic Stack com segurança habilitada no Ubuntu 20.04 foi concluída com sucesso.