Debian 12에 TIG 스택(Telegraf, InfluxDB 및 Grafana) 설치하는 방법

$ sudo ufw status

상태: 활성

허용된 포트
--                         ------      ----
OpenSSH                    ALLOW       Anywhere
OpenSSH (v6)               ALLOW       Anywhere (v6)

$ sudo ufw allow 8086
$ sudo ufw allow 3000

$ sudo ufw allow http
$ sudo ufw allow https

$ sudo ufw status
상태: 활성

허용된 포트
--                         ------      ----
OpenSSH                    ALLOW       Anywhere
8086                       ALLOW       Anywhere
3000                       ALLOW       Anywhere
80/tcp                     ALLOW       Anywhere
443                        ALLOW       Anywhere
OpenSSH (v6)               ALLOW       Anywhere (v6)
8086 (v6)                  ALLOW       Anywhere (v6)
3000 (v6)                  ALLOW       Anywhere (v6)
80/tcp (v6)                ALLOW       Anywhere (v6)
443 (v6)                   ALLOW       Anywhere (v6)

$ wget -q https://repos.influxdata.com/influxdata-archive_compat.key

$ echo '393e8779c89ac8d958f81f942f9ad7fb82a25e133faddaf92e15b16e6ac9ce4c influxdata-archive_compat.key' | sha256sum -c && cat influxdata-archive_compat.key | gpg --dearmor | sudo tee /etc/apt/trusted.gpg.d/influxdata-archive_compat.gpg > /dev/null
influxdata-archive_compat.key: OK

$ echo 'deb [signed-by=/etc/apt/trusted.gpg.d/influxdata-archive_compat.gpg] https://repos.influxdata.com/debian stable main' | sudo tee /etc/apt/sources.list.d/influxdata.list

$ sudo apt update

$ sudo apt install influxdb2

$ sudo systemctl start influxdb

$ sudo systemctl status influxdb
? influxdb.service - InfluxDB는 오픈 소스 분산 시계열 데이터베이스입니다
     Loaded: loaded (/lib/systemd/system/influxdb.service; enabled; preset: enabled)
     Active: active (running) since Tue 2024-01-02 02:39:41 UTC; 1s ago
       Docs: https://docs.influxdata.com/influxdb/
    Process: 5584 ExecStart=/usr/lib/influxdb/scripts/influxd-systemd-start.sh (code=exited, status=0/SUCCESS)
   Main PID: 5585 (influxd)
      Tasks: 8 (limit: 2299)
     Memory: 53.1M
        CPU: 735ms
     CGroup: /system.slice/influxdb.service
             ??5585 /usr/bin/influxd
............

$ influx setup
> InfluxDB 2.0에 오신 것을 환영합니다!
? 기본 사용자 이름을 입력하세요 navjot
? 비밀번호를 입력하세요 *************
? 비밀번호를 다시 입력하세요 *************
? 기본 조직 이름을 입력하세요 howtoforge
? 기본 버킷 이름을 입력하세요 tigstack
? 보존 기간을 시간 단위로 입력하세요, 무한을 위해 0 입력 360
? 이러한 매개변수로 설정하시겠습니까?
  사용자 이름:          navjot
  조직:      howtoforge
  버킷:            tigstack
  보존 기간:  360h0m0s
 예
사용자    조직    버킷
navjot  howtoforge      tigstack

$ sudo apt install telegraf

$ sudo nano /etc/telegraf/telegraf.conf

# # InfluxDB 2.0에 메트릭을 전송하기 위한 구성
 [[outputs.influxdb_v2]]
#   ## InfluxDB 클러스터 노드의 URL.
#   ##
#   ## 단일 클러스터에 대해 여러 URL을 지정할 수 있으며, 각 간격마다 오직 하나의
#   ## URL만 기록됩니다.
#   ##   예: urls = ["https://us-west-2-1.aws.cloud2.influxdata.com"]
    urls = ["http://127.0.0.1:8086"]
#
#   ## 인증을 위한 토큰.
   token = "$INFLUX_TOKEN"
#
#   ## 작성하려는 조직의 이름입니다.
   organization = "howtoforge"
#
#   ## 작성할 대상 버킷입니다.
   bucket = "tigstack"

# CPU 사용량에 대한 메트릭 읽기
[[inputs.cpu]]
  ## CPU 통계 보고 여부
  percpu = true
  ## 전체 시스템 CPU 통계 보고 여부
  totalcpu = true
  ## true인 경우 원시 CPU 시간 메트릭 수집
  collect_cpu_time = false
  ## true인 경우 모든 비유휴 CPU 상태의 합계를 계산하고 보고
  report_active = false
  ## true이고 정보가 사용 가능하면 core_id 및 physical_id 태그 추가
  core_tags = false


# 마운트 포인트별 디스크 사용량에 대한 메트릭 읽기
[[inputs.disk]]
  ## 기본적으로 모든 마운트 포인트에 대한 통계가 수집됩니다.
  ## mount_points를 설정하면 지정된 마운트 포인트로만 통계를 제한합니다.
  # mount_points = ["/" ]

  ## 파일 시스템 유형별로 마운트 포인트 무시.
  ignore_fs = ["tmpfs", "devtmpfs", "devfs", "iso9660", "overlay", "aufs", "squashfs"]

  ## 마운트 옵션별로 마운트 포인트 무시.
  ## 'mount' 명령은 괄호 안에 모든 마운트의 옵션을 보고합니다.
  ## 바인드 마운트는 특수한 'bind' 옵션으로 무시할 수 있습니다.
  # ignore_mount_opts = []


# 장치별 디스크 IO에 대한 메트릭 읽기
[[inputs.diskio]]
....
....

# /proc/stat에서 커널 통계 가져오기
[[inputs.kernel]]
  # 구성 없음


# 메모리 사용량에 대한 메트릭 읽기
[[inputs.mem]]
  # 구성 없음
  
# 프로세스 수를 가져오고 상태별로 그룹화
[[inputs.processes]]
  # 구성 없음


# 스왑 메모리 사용량에 대한 메트릭 읽기
[[inputs.swap]]
  # 구성 없음


# 시스템 부하 및 가동 시간에 대한 메트릭 읽기
[[inputs.system]]
  # 구성 없음

$ sudo systemctl restart telegraf

$ sudo mkdir -p /etc/apt/keyrings/
$ wget -q -O - https://apt.grafana.com/gpg.key | gpg --dearmor | sudo tee /etc/apt/keyrings/grafana.gpg > /dev/null

$ echo "deb [signed-by=/etc/apt/keyrings/grafana.gpg] https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list

$ echo "deb [signed-by=/etc/apt/keyrings/grafana.gpg] https://apt.grafana.com beta main" | sudo tee -a /etc/apt/sources.list.d/grafana.list

$ sudo apt update

$ sudo apt install grafana

$ sudo systemctl enable grafana-server --now

$ sudo systemctl status grafana-server
? grafana-server.service - Grafana 인스턴스
     Loaded: loaded (/lib/systemd/system/grafana-server.service; enabled; preset: enabled)
     Active: active (running) since Tue 2024-01-02 03:48:01 UTC; 3s ago
       Docs: http://docs.grafana.org
   Main PID: 8769 (grafana)
      Tasks: 7 (limit: 2299)
     Memory: 42.6M
        CPU: 1.804s
     CGroup: /system.slice/grafana-server.service
             ??8769 /usr/share/grafana/bin/grafana server --config=/etc/grafana/grafana.ini --pidfile=/run/grafana/grafana-server.pid --packaging=deb cfg:default.paths.logs=/var/log/grafana cfg:default.paths...
.......

from(bucket: "NAMEOFYOUBUCKET")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r["_measurement"] == "cpu")
  |> filter(fn: (r) => r["_field"] == "usage_idle")
  |> filter(fn: (r) => r["cpu"] == "cpu-total")
  |> filter(fn: (r) => r["host"] == "NAMEOFYOURHOST")
  |> aggregateWindow(every: v.windowPeriod, fn: mean, createEmpty: false)
  |> map(fn: (r) => ({ r with _value: r._value * -1.0 + 100.0 }))
  |> toFloat()
  |> yield(name: "mean")

from(bucket: "NAMEOFYOUBUCKET")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r["_measurement"] == "mem")
  |> filter(fn: (r) => r["_field"] == "used_percent")
  |> filter(fn: (r) => r["host"] == "NAMEOFYOURHOST")
  |> aggregateWindow(every: v.windowPeriod, fn: mean, createEmpty: false)
  |> yield(name: "mean")

from(bucket: "NAMEOFYOURBUCKET")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r["_measurement"] == "disk")
  |> filter(fn: (r) => r["_field"] == "used")
  |> filter(fn: (r) => r["path"] == "/")
  |> filter(fn: (r) => r["host"] == "NAMEOFYOURHOST")
  |> aggregateWindow(every: v.windowPeriod, fn: mean, createEmpty: false)
  |> map(fn: (r) => ({ r with _value: r._value / 1000000.0 }))
  |> toFloat()  
  |> yield(name: "mean")

$ sudo nano /etc/grafana/grafana.ini

[smtp]
enabled = true
host = email-smtp.us-west-2.amazonaws.com:587
user = YOURUSERNAME
# 비밀번호에 # 또는 ;가 포함된 경우 세 개의 따옴표로 묶어야 합니다. Ex """#password;"""
password = YOURUSERPASSWORD
;cert_file =
;key_file =
;skip_verify = false
from_address = [email protected]
from_name = HowtoForge Grafana
# SMTP 대화에서 EHLO ID(기본값은 instance_name)
;ehlo_identity = dashboard.example.com
# SMTP startTLS 정책(기본값은 'OpportunisticStartTLS')
;startTLS_policy = NoStartTLS

$ sudo systemctl restart grafana-server

avg() OF query(A) IS ABOVE 0.8

$ curl https://nginx.org/keys/nginx_signing.key | gpg --dearmor \
    | sudo tee /usr/share/keyrings/nginx-archive-keyring.gpg >/dev/null

$ echo "deb [signed-by=/usr/share/keyrings/nginx-archive-keyring.gpg] \
http://nginx.org/packages/mainline/debian `lsb_release -cs` nginx" \
    | sudo tee /etc/apt/sources.list.d/nginx.list

$ sudo apt update

$ sudo apt install nginx

$ sudo nginx -v
nginx version: nginx/1.25.3

$ sudo systemctl start nginx

$ sudo systemctl status nginx
? nginx.service - nginx - 고성능 웹 서버
     Loaded: loaded (/lib/systemd/system/nginx.service; enabled; preset: enabled)
     Active: active (running) since Tue 2024-01-02 09:21:10 UTC; 5s ago
       Docs: https://nginx.org/en/docs/
    Process: 12964 ExecStart=/usr/sbin/nginx -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS)
   Main PID: 12965 (nginx)
      Tasks: 3 (limit: 2299)
     Memory: 2.9M
        CPU: 86ms
     CGroup: /system.slice/nginx.service
             ??12965 "nginx: master process /usr/sbin/nginx -c /etc/nginx/nginx.conf"
             ??12966 "nginx: worker process"
             ??12967 "nginx: worker process"

Jan 02 09:21:10 grafana systemd[1]: Starting nginx.service - nginx - high performance web server...
Jan 02 09:21:10 grafana systemd[1]: Started nginx.service - nginx - high performance web server.

$ sudo apt install snapd

$ sudo snap install core && sudo snap refresh core

$ sudo snap install --classic certbot

$ sudo ln -s /snap/bin/certbot /usr/bin/certbot

$ certbot --version
certbot 2.8.0

$ sudo certbot certonly --nginx --agree-tos --no-eff-email --staple-ocsp --preferred-challenges http -m [email protected] -d grafana.example.com

$ sudo openssl dhparam -dsaparam -out /etc/ssl/certs/dhparam.pem 4096

$ systemctl list-timers

NEXT                        LEFT        LAST                        PASSED    UNIT                         ACTIVATES
-----------------------------------------------------------------------------------------------------------------------------------------
Tue 2024-01-02 15:24:52 UTC 6h left     Mon 2024-01-01 15:24:52 UTC 17h ago   systemd-tmpfiles-clean.timer systemd-tmpfiles-clean.service
Tue 2024-01-02 20:05:29 UTC 10h left    Tue 2024-01-02 09:02:47 UTC 21min ago apt-daily.timer              apt-daily.service
Tue 2024-01-02 20:35:00 UTC 11h left    -                           -         snap.certbot.renew.timer     snap.certbot.renew.service

$ sudo certbot renew --dry-run

$ sudo nano /etc/nginx/nginx.conf

server_names_hash_bucket_size 64;

$ sudo nano /etc/nginx/conf.d/grafana.conf

map $http_upgrade $connection_upgrade {
  default upgrade;
  '' close;
}

server {

    listen 443 ssl reuseport;
    listen [::]:443 ssl reuseport;

    http2 on;

    server_name grafana.example.com;

    access_log  /var/log/nginx/grafana.access.log;
    error_log   /var/log/nginx/grafana.error.log;

    ssl_certificate      /etc/letsencrypt/live/grafana.example.com/fullchain.pem;
    ssl_certificate_key  /etc/letsencrypt/live/grafana.example.com/privkey.pem;
    ssl_trusted_certificate /etc/letsencrypt/live/grafana.example.com/chain.pem;

    ssl_session_timeout  5m;
    ssl_session_cache shared:MozSSL:10m;
    ssl_session_tickets off;

    ssl_protocols TLSv1.2 TLSv1.3;
    ssl_prefer_server_ciphers on;
    ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384;
    ssl_ecdh_curve X25519:prime256v1:secp384r1:secp521r1;
    ssl_stapling on;
    ssl_stapling_verify on;
    ssl_dhparam /etc/ssl/certs/dhparam.pem;

    resolver 1.1.1.1 1.0.0.1 [2606:4700:4700::1111] [2606:4700:4700::1001] valid=60s;
    resolver_timeout 2s;

    location / {
        proxy_set_header Host $http_host;
        proxy_pass http://localhost:3000;
    }

    location /api/live {
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection $connection_upgrade;
        proxy_set_header Host $http_host;
        proxy_pass http://localhost:3000;
    }

    location /influxdb/ {
      access_log /var/log/nginx/influx.access.log;
        error_log /var/log/nginx/influx.error.log;
        rewrite ^/influxdb$ /influxdb/ permanent;
        rewrite ^/influxdb/(.*)$ /$1 break;
        proxy_cookie_path ~*^/api /influxdb/api;
        proxy_connect_timeout 600s;
        proxy_http_version 1.1;
        proxy_pass http://localhost:8086;
        proxy_read_timeout 600s;
        proxy_send_timeout 600s;
        proxy_set_header Authorization $http_authorization;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $http_host;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto https;
        proxy_set_header X-Real-IP $remote_addr;
        sub_filter '' '';
        sub_filter 'src="/' 'src="/influxdb/';
        sub_filter 'href="/' 'href="/influxdb/';
        sub_filter 'data-basepath="' 'data-basepath="/influxdb/';
        sub_filter 'n.p="/' 'n.p="/influxdb/';
        sub_filter 'o.p="/' 'o.p="/influxdb/';
        sub_filter '/api/' '/influxdb/api/';
        sub_filter 'api/v2/query' 'influxdb/api/v2/query';
        sub_filter '/health`' '/influxdb/health`';
        sub_filter_types text/css text/javascript application/javascript application/json;
        sub_filter_once off;
    }
}
# HTTPS 강제 적용
server {
    listen 80;
    listen [::]:80;
    server_name grafana.example.com;
    return 301 https://$host$request_uri;
}

$ sudo nginx -t

$ sudo systemctl restart nginx

$ sudo nano /etc/telegraf/telegraf.conf

urls = ["https://grafana.example.com/influxdb"]

$ sudo systemctl restart telegraf

$ sudo nano /etc/grafana/grafana.ini

# 브라우저에서 Grafana에 액세스하는 데 사용되는 공개 도메인 이름
;domain = localhost
domain = grafana.example.com

# 호스트 헤더가 도메인과 일치하지 않을 경우 올바른 도메인으로 리디렉션
# DNS 재바인딩 공격 방지
;enforce_domain = true

# 브라우저에서 사용하는 전체 공개 URL, 리디렉션 및 이메일에 사용됨
# 리버스 프록시 및 하위 경로를 사용하는 경우 전체 URL 지정(하위 경로 포함)
;root_url = %(protocol)s://%(domain)s:%(http_port)s/
root_url = %(protocol)s://%(domain)s

$ sudo systemctl restart grafana-server

$ sudo ufw delete allow 8086
$ sudo ufw delete allow 3000