So installieren Sie GlusterFS, ein skalierbares Netzwerkdateisystem auf Debian 11

GlusterFS oder Gluster-Dateisystem ist ein freies und Open-Source-verteiltes Dateisystem, das von RedHat entwickelt wurde. GlusterFS ist ein skalierbares Dateisystem, das aus mehreren Servern zu einem einzigen Entitätsdateisystem gebildet wird, das es Benutzern ermöglicht, das GlusterFS-Volume zu verbinden und zu mounten.

GlusterFS ist ein modernes Dateisystem, das Petabytes von Daten verarbeiten kann. Außerdem ist es einfach zu installieren und zu warten, und es ist auch einfach, das Dateisystem zu skalieren.

In diesem Tutorial installieren Sie GlusterFS - ein verteiltes und skalierbares Netzwerkdateisystem - auf Debian 11-Servern. Sie richten ein GlusterFS-Volume ein, das Daten automatisch auf mehrere Server repliziert, und richten das hochverfügbare Dateisystem ein. Darüber hinaus lernen Sie auch, wie Sie ‘parted’, ein Linux-Partitionierungstool, verwenden, um zusätzliche Festplatten auf Debian-Servern einzurichten. Schließlich überprüfen Sie die Datenreplikation auf GlusterFS zwischen mehreren Debian-Servern und überprüfen auch die Hochverfügbarkeit.

Voraussetzungen

Um dieses Tutorial abzuschließen, müssen Sie die folgenden Anforderungen erfüllen:

• Zwei oder drei Debian 11-Server.
• Ein Nicht-Root-Benutzer mit sudo/Administrator-Rechten.

Dieses Beispiel verwendet drei Debian 11-Server mit den folgenden Details:

Hostname    IP-Adresse  
--------------------------  
node1       192.168.5.50  
node2       192.168.5.56  
node3       192.168.5.57

Das war’s. Wenn diese Anforderungen bereit sind, beginnen Sie mit der Installation von GlusterFS.

Hostname und FQDN einrichten

Der erste Schritt, den Sie unternehmen müssen, besteht darin, den Hostnamen und den FQDN für alle Ihre Debian-Server einzurichten, die von GlusterFS verwendet werden. Sie können den Hostnamen über den Befehl ‘hostnamectl‘ festlegen und den FQDN (Fully Qualified Domain Name) über die Datei ‘/etc/hosts‘ festlegen.

Um den Hostnamen festzulegen, geben Sie den folgenden Befehl auf jedem Server ein.

# auf node1 ausführen  
sudo hostnamectl set-hostname node1.home.lan  
  
# auf node2 ausführen  
sudo hostnamectl set-hostname node2.home.lan  
  
# auf node3 ausführen  
sudo hostnamectl set-hostname node3.home.lan

Öffnen Sie als Nächstes die Datei ‘/etc/hosts‘ auf jedem Server mit Ihrem bevorzugten Editor. Für dieses gesamte Tutorial verwenden Sie den Nano-Editor.

sudo nano /etc/hosts

Fügen Sie die folgenden Zeilen in die Datei ein. Wenn Sie eine IP-Adresse haben, die auf mehrere Hostnamen verweist, ersetzen Sie sie durch die folgenden Zeilen.

192.168.5.50  node1.home.lan  node1  
192.168.5.56  node2.home.lan  node2  
192.168.5.57  node3.home.lan  node3

Drücken Sie Ctrl+x, um zu beenden, geben Sie y ein, um zu bestätigen, und drücken Sie dann ENTER, um fortzufahren.

Überprüfen Sie schließlich den FQDN auf jedem Server, indem Sie den folgenden Befehl ausführen.

hostname -f  
cat /etc/hosts

Sie erhalten eine Ausgabe, die dieser ähnelt - Auf node1 sollte der FQDN node1.home.lan sein, auf node2 ist es node2.home.lan, und auf node3 sollte es node3.home.lan sein.

Festplattenpartition einrichten

Es wird empfohlen, eine bestimmte Festplatte für die GlusterFS-Bereitstellung zu verwenden. In diesem Beispiel hat jeder Debian-Server eine zusätzliche Festplatte ‘/dev/vdb’, die für die GlusterFS-Installation verwendet wird. Und in diesem Schritt lernen Sie, wie Sie eine neue Festplatte auf einem Linux-System über das Terminal und den Befehl ‘fdisk’ einrichten.

Um zu beginnen, geben Sie den folgenden ‘ fdisk ‘ Befehl ein, um die Liste der verfügbaren Festplatten auf Ihrem Debian-Server zu überprüfen.

sudo fdisk -l

Sie erhalten eine Ausgabe, die dieser ähnelt - Es sind zwei Festplatten auf dem ‘node1‘ verfügbar, die ‘/dev/vda‘, auf der das Betriebssystem installiert ist, und ‘/dev/vdb‘, die noch nicht konfiguriert ist.

Um mit der Partitionierung der ‘/dev/vdb ‘ Festplatte zu beginnen, geben Sie den folgenden fdisk-Befehl ein. Sie sollten die neue Eingabeaufforderung des fdisk-Tools erhalten und sich mit der ‘/dev/vdb ‘ Festplatte verbinden.

sudo fdisk /dev/vdb

• Um eine neue Partition zu erstellen, geben Sie den Befehl ‘n‘ ein.
• Wählen Sie den Partitionstyp aus, den Sie erstellen möchten. ‘p‘ für primär und ‘e‘ für erweitert. In diesem Beispiel erstellen Sie eine primäre Partition, also geben Sie ‘p‘ ein.
• Innerhalb der Festplatte ‘/dev/vdb ‘, wie viele Partitionen möchten Sie erstellen? In diesem Beispiel erstellen Sie nur eine Partition, also geben Sie ‘1‘ ein.
• Wählen Sie den ersten Sektor für die neue Partition. Sie können ihn als Standard belassen, also drücken Sie ENTER, um fortzufahren.
• Der letzte Sektor ist der, in dem Sie definieren, wie viel Größe der Partition Sie erstellen möchten. Dieses Beispiel wird etwa 5GB sein, also geben Sie ‘+5GB‘ ein.
• Geben Sie schließlich ‘w‘ ein, um die Änderungen zu bestätigen und anzuwenden, die Sie an der ‘/dev/vdb ‘ Festplatte vorgenommen haben.

Die Ausgabe ‘Die Partitionstabelle wurde geändert‘ bestätigt, dass die Änderungen auf Ihrer Festplatte angewendet wurden.

Damit ist Ihre neue Partition erstellt, aber noch unbenutzbar. Denn Sie müssen Ihre neue Partition auf spezifische Dateisystemformate formatieren. Sie können den folgenden fdisk-Befehl eingeben, um sicherzustellen, dass die neue Partition auf der ‘/dev/vdb’ Festplatte erstellt wurde.

sudo fdisk -l

Sie erhalten eine Ausgabe, die dieser ähnelt - Im Abschnitt ‘/dev/vdb ‘ sehen Sie, dass die neue Partition ‘/dev/vdb1‘ mit der Größe ‘4.7GB‘ erstellt wurde.

Geben Sie als Nächstes den folgenden Befehl ein, um Ihre neue Partition ‘/dev/vdb1‘ zu formatieren. In diesem Beispiel formatieren Sie die Partition im ext4-Dateisystemformat.

sudo mkfs -t ext4 /dev/vdb1

Sie erhalten dann eine Ausgabe, die dieser ähnelt - Die neue Partition ‘/dev/vda1‘ ist als ext4-Dateisystem formatiert.

Automatisches Mounten der Partition einrichten

In diesem Schritt richten Sie das automatische Mounten der neuen Partition ‘/dev/vdb1‘ über die Datei ‘/etc/fstab‘ ein. Sie erstellen auch ein neues Verzeichnis, das zum Speichern von Daten in GlusterFS verwendet wird.

Zuerst erstellen Sie ein neues Zielverzeichnis, das verwendet wird, um die neue Partition ‘/dev/vdb1‘ zu mounten.

# auf node1 ausführen  
mkdir -p /data/node1  
  
# auf node2 ausführen  
mkdir -p /data/node2  
  
# auf node3 ausführen  
mkdir -p /data/node3

Öffnen Sie die Konfigurationsdatei ‘/etc/fstab‘ mit dem folgenden Nano-Editor-Befehl.

sudo nano /etc/fstab

Fügen Sie die folgende Zeile in die Datei ein. Damit wird die neue Partition ‘/dev/vdb1‘ automatisch beim Systemstart gemountet.

# für node1  
/dev/vdb1    /data/node1    ext4    defaults    0    1  
  
# für node2  
/dev/vdb1    /data/node2    ext4    defaults    0    1  
  
# für node3  
/dev/vdb1    /data/node3    ext4    defaults    0    1

Führen Sie als Nächstes den folgenden Befehl aus, um die neue Partition zu mounten, die Sie über die Datei ‘/etc/fstab‘ konfiguriert haben. Wenn keine Fehler auftreten, sind Sie bereit.

sudo mount -a

Führen Sie schließlich den folgenden Befehl aus, um ein neues Verzeichnis ‘brick0’ auf der neu gemounteten Partition für jeden Server zu erstellen.

# auf node1 ausführen  
mkdir -p /data/node1/brick0  
  
# auf node2 ausführen  
mkdir -p /data/node2/brick0  
  
# auf node3 ausführen  
mkdir -p /data/node3/brick0

GlusterFS-Server installieren

In diesem Schritt installieren Sie das GlusterFS-Paket auf den Debian-Servern, die für den GlusterFS-Cluster verwendet werden. Stellen Sie also sicher, dass Sie die folgenden Befehle auf den node1, node2 und node3-Servern ausführen.

Führen Sie den folgenden apt-Befehl aus, um die grundlegenden Abhängigkeiten auf Ihrem System zu installieren. Geben Sie y ein, wenn Sie dazu aufgefordert werden, und drücken Sie ENTER, um fortzufahren.

sudo apt install gnupg2 apt-transport-https software-properties-common

Ausgabe:

Laden Sie den GPG-Schlüssel für das GlusterFS-Repository über den curl-Befehl herunter. Konvertieren Sie dann den neuen Schlüssel in die Datei ‘/usr/share/keyrings/glusterfs-archive-keyring.gpg‘.

curl https://download.gluster.org/pub/gluster/glusterfs/10/rsa.pub | gpg --dearmor > /usr/share/keyrings/glusterfs-archive-keyring.gpg

Führen Sie als Nächstes den folgenden Befehl aus, um neue Umgebungsvariablen zu erstellen und das GlusterFS-Repository zu Ihrem System hinzuzufügen.

DEBID=$(grep 'VERSION_ID=' /etc/os-release | cut -d '=' -f 2 | tr -d '"')  
DEBVER=$(grep 'VERSION=' /etc/os-release | grep -Eo '[a-z]+')  
DEBARCH=$(dpkg --print-architecture)  
  
echo "deb [signed-by=/usr/share/keyrings/glusterfs-archive-keyring.gpg] https://download.gluster.org/pub/gluster/glusterfs/LATEST/Debian/${DEBID}/${DEBARCH}/apt ${DEBVER} main" | sudo tee /etc/apt/sources.list.d/gluster.list

Ausgabe:

Sobald der GPG-Schlüssel und das Repository hinzugefügt wurden, führen Sie den folgenden apt-Befehl aus, um Ihr Paket-Index zu aktualisieren und zu aktualisieren.

sudo apt update

Ausgabe:

Jetzt installieren Sie das GlusterFS-Serverpaket, indem Sie den folgenden Befehl eingeben. Wenn Sie zur Bestätigung aufgefordert werden, geben Sie y ein und drücken Sie ENTER.

sudo apt install glusterfs-server

Ausgabe:

Nachdem GlusterFS installiert wurde, führen Sie den folgenden systemctl-Befehl aus, um den GlusterFS-Dienst zu starten und zu aktivieren. Damit sollte GlusterFS auf allen Ihren Servern ausgeführt werden und es ist jetzt aktiviert, was bedeutet, dass der GlusterFS-Dienst beim Systemstart automatisch gestartet wird.

sudo systemctl start glusterd  
sudo systemctl enable glusterd

Führen Sie schließlich den folgenden systemctl-Befehl aus, um den GlusterFS-Dienst zu überprüfen und sicherzustellen, dass der Dienst ausgeführt und aktiviert ist.

sudo systemctl status glusterd

Wenn erfolgreich, sollten Sie eine Ausgabe wie diese erhalten - Die Ausgabe ‘active (running)‘ bestätigt, dass GlusterFS läuft, und die Ausgabe ‘…; enabled;‘ bestätigt, dass GlusterFS aktiviert ist und beim Systemstart automatisch gestartet wird.

An diesem Punkt haben Sie nun eine neue Festplatte/Partition vorbereitet und den GlusterFS-Server installiert. Als Nächstes beginnen Sie mit der Erstellung und Initialisierung des GlusterFS-Clusters.

Speicherpool initialisieren

In diesem Schritt richten Sie den GlusterFS-Cluster mit drei Debian-Servern, node1, node2 und node3 ein. Sie initialisieren den GlusterFS-Cluster von ‘node1‘ und fügen die anderen Knoten ‘node2‘ und ‘node3‘ zum Cluster hinzu.

Bevor Sie beginnen, stellen Sie sicher, dass jeder Server über den Hostnamen oder FQDN erreichbar ist. Sie können dies überprüfen, indem Sie den Ping-Befehl an jeden Server ausführen.

ping node2.home.lan  
ping node3.home.lan

Führen Sie im Terminal von ‘node1’ den folgenden Gluster-Befehl aus, um den GlusterFS-Cluster mit dem Clustermitglied node2 und node3 zu initialisieren.

sudo gluster peer probe node2.home.lan  
sudo gluster peer probe node3.home.lan

Die Ausgabe ‘peer probe: success‘ bestätigt, dass die Initialisierung des GlusterFS-Clusters erfolgreich war.

Wechseln Sie als Nächstes zum Terminal von ‘node2‘ und führen Sie den folgenden Befehl aus, um den Status des GlusterFS-Clusters zu überprüfen.

sudo gluster peer status

Sie sollten eine Ausgabe erhalten, die dieser ähnelt - Auf ‘node2‘ können Sie den GlusterFS-Cluster mit zwei Peers, node1 und node3, mit dem Status verbunden sehen.

Wechseln Sie jetzt zum Terminal von ‘node3‘ und führen Sie den folgenden Befehl aus, um den Status des GlusterFS-Clusters zu überprüfen.

sudo gluster peer status

Ausgabe - Auf ‘node3‘ können Sie den GlusterFS-Cluster mit zwei Peers, node1 und node2, mit dem Status verbunden sehen.

Zusätzlich können Sie auch die Liste der Pools im GlusterFS-Cluster über den folgenden Befehl überprüfen. Sie können dies auf dem node1, node2 oder node3-Server ausführen.

sudo gluster pool list

Damit haben Sie nun erfolgreich den GlusterFS-Cluster mit drei Debian-Servern initialisiert. Im nächsten Schritt lernen Sie, wie Sie ein Volume auf GlusterFS erstellen und wie Sie das GlusterFS-Volume von der Clientmaschine mounten.

Repliziertes Volume erstellen

Auf GlusterFS gibt es mehrere Arten von Volumes, die Sie erstellen können, darunter verteilte Volumes, replizierte Volumes, verteilte replizierte Volumes, dispergierte Volumes und verteilte dispergierte Volumes. Überprüfen Sie die offizielle Dokumentation von GlusterFS, um Details zu jedem Volumentyp zu erhalten.

In diesem Schritt erstellen Sie ein neues GlusterFS-Volume vom Typ Repliziert mit drei verschiedenen GlusterFS-Servern. Damit werden Ihre Daten automatisch von einem Server auf einen anderen innerhalb des Speicherpools und des GlusterFS-Clusters kopiert.

Führen Sie den folgenden Gluster-Befehl aus, um ein neues repliziertes Volume auf GlusterFS zu erstellen. In diesem Beispiel erstellen Sie ein neues Volume ‘testVolume‘ vom Typ Repliziert zwischen drei Servern node1, node2 und node3.

sudo gluster volume create testVolume replica 3 node1.home.lan:/data/node1/brick0 node2.home.lan:/data/node2/brick0 node3.home.lan:/data/node3/brick0

Die Ausgabe ‘volume create: testVolume: success: …‘ bestätigt, dass das neue Volume ‘testVolume‘ erstellt wurde.

Als Nächstes müssen Sie das ‘testVolume‘ starten, bevor Sie es verwenden können, indem Sie den folgenden Befehl ausführen.

sudo gluster volume start testVolume

Die Ausgabe ‘volume start: testVolume: success‘ bestätigt, dass das ‘testVolume‘ gestartet und bereit ist.

Ausgabe:

Zuletzt können Sie jetzt die Detailinformationen über das ‘testVolume‘ über den folgenden Gluster-Befehl überprüfen.

sudo gluster volume info

Sie erhalten eine Ausgabe, die dieser ähnelt - Das ‘testVolume‘ mit dem Typ ‘Repliziert‘, die Standardübertragung ist ‘tcp‘, und drei verschiedene Server node1, node2 und node3.

Ausgabe:

Damit haben Sie nun den GlusterFS-Cluster mit drei verschiedenen Servern initialisiert und ein repliziertes Volume ‘testVolume‘ darauf erstellt. Im nächsten Schritt lernen Sie, wie Sie die Clientmaschine einrichten und das GlusterFS-Volume mounten.

GlusterFS-Volume auf dem Client mounten

In diesem Schritt lernen Sie, wie Sie ein GlusterFS-Volume auf der Clientmaschine mounten. Dieses Beispiel verwendet eine Ubuntu/Debian-basierte Maschine mit dem Hostnamen ‘client‘. Jetzt mounten Sie das GlusterFS-Volume ‘testVolume‘ auf die Clientmaschine und richten das automatische Mounten über die Datei ‘/etc/fstab‘ ein.

Öffnen Sie zuerst die Datei ‘/etc/hosts‘ mit dem folgenden Nano-Editor-Befehl.

sudo nano /etc/hosts

Geben Sie die folgenden Zeilen in die Datei ein und stellen Sie sicher, dass Sie die Details der IP-Adressen und Hostnamen mit dem GlusterFS-Server ändern.

192.168.5.50  node1.home.lan  node1  
192.168.5.56  node2.home.lan  node2  
192.168.5.57  node3.home.lan  node3

Speichern Sie die Datei und beenden Sie den Editor, wenn Sie fertig sind.

Führen Sie als Nächstes den folgenden apt-Befehl aus, um das Paket ‘glusterfs-client‘ zu installieren. Um das GlusterFS-Volume zu mounten, müssen Sie das Paket ‘glusterfs-client‘ auf Ihrer Clientmaschine installieren.

sudo apt install glusterfs-client

Geben Sie y ein, wenn Sie dazu aufgefordert werden, und drücken Sie ENTER, um fortzufahren.

Nachdem der glusterfs-client installiert ist, erstellen Sie ein neues Verzeichnis ‘/data‘, das als Ziel-Mount-Verzeichnis für das GlusterFS-Volume verwendet wird.

mkdir /data

Mounten Sie das GlusterFS-Volume ‘testVolume‘ in das Verzeichnis ‘/data‘ über den folgenden Mount-Befehl.

sudo mount.glusterfs node1.home.lan:/testVolume /data

Überprüfen Sie die Liste der gemounteten Festplatten auf Ihrem System über den folgenden df-Befehl.

sudo df -h

Wenn erfolgreich, sollten Sie das GlusterFS-Volume ‘testVolume‘ im Verzeichnis ‘/data‘ gemountet sehen.

Ausgabe:

Als Nächstes richten Sie das automatische Mounten des GlusterFS-Volumes über die Datei ‘/etc/fstab‘ ein.

Öffnen Sie die Datei ‘/etc/fstab‘ mit dem folgenden Nano-Editor-Befehl.

sudo nano /etc/fstab

Fügen Sie die folgenden Zeilen in die Datei ein. Damit wird das GlusterFS-Volume ‘testVolume‘ beim Booten automatisch gemountet.

node1.home.lan:/testVolume /data glusterfs defaults,_netdev 0 0

Speichern Sie die Datei und beenden Sie sie, wenn Sie fertig sind.

Jetzt haben Sie die Clientkonfiguration zum Mounten des GlusterFS-Volumes abgeschlossen und das automatische Mounten des GlusterFS-Volumes über die Datei ‘/etc/fstab‘ konfiguriert. Im nächsten Schritt überprüfen Sie die Replikation und die Hochverfügbarkeit des GlusterFS-Clusters.

Testen der Replikation und Hochverfügbarkeit

Wechseln Sie auf der Clientmaschine das Arbeitsverzeichnis zu ‘/data‘ und erstellen Sie neue Dateien mit dem folgenden Befehl. Dies wird neue Dateien ‘1-15.md‘ erstellen.

cd /data  
touch file{1..15}.md

Führen Sie den ls-Befehl aus, um die Liste der Dateien im aktuellen Verzeichnis zu erhalten.

ls

Ausgabe:

Wechseln Sie als Nächstes zum Terminal von ‘node1‘ und gehen Sie zum Verzeichnis ‘/data/node1/brick0‘. Führen Sie dann den ls-Befehl aus, um die Liste der Dateien und Verzeichnisse zu überprüfen.

cd /data/node1/brick0  
ls

Sie sollten die Dateien ‘1-15.md‘ auf node1 sehen.

Ausgabe:

Wechseln Sie zum Terminal von ‘node2‘ und gehen Sie zum Verzeichnis ‘/data/node2/brick0‘. Führen Sie dann den ls-Befehl aus, um die Liste der Dateien und Verzeichnisse zu überprüfen.

cd /data/node2/brick0  
ls

Sie sollten die Dateien ‘1-15.md‘ auf node2 sehen.

Ausgabe:

Wechseln Sie zum Terminal von ‘node3‘ und gehen Sie zum Verzeichnis ‘/data/node3/brick0‘. Führen Sie dann den ls-Befehl aus, um die Liste der Dateien und Verzeichnisse zu überprüfen.

cd /data/node3/brick0  
ls

Sie sollten die Dateien ‘1-15.md‘ auf node3 sehen.

Ausgabe:

Damit sind die Daten, die Sie von der Clientmaschine erstellt haben, auf mehreren Servern im GlusterFS-Server repliziert.

Um die Hochverfügbarkeit von GlusterFS zu testen, können Sie ‘node1‘ ausschalten oder herunterfahren und überprüfen, ob die Clientmaschine weiterhin mit dem GlusterFS-Cluster verbunden ist.

Wechseln Sie zum Terminal von ‘node1‘ und führen Sie den folgenden Befehl aus, um den Server herunterzufahren.

sudo poweroff

Wechseln Sie als Nächstes zum Terminal von ‘node2‘ und führen Sie den folgenden Befehl aus, um den Status des GlusterFS-Clusters zu überprüfen.

sudo gluster peer status

Sie sollten eine Ausgabe wie diese erhalten - Der Status von node1 ist ‘Disconnected‘.

Wechseln Sie zum Client-Terminal und führen Sie den folgenden Befehl aus, um sicherzustellen, dass Sie weiterhin mit dem GlusterFS-Cluster verbunden sind.

cd /data  
ls

Ausgabe:

Damit funktioniert die Hochverfügbarkeit des GlusterFS-Clusters.

Fazit

In diesem Tutorial haben Sie den GlusterFS-Cluster mit drei Debian 11-Servern installiert. Sie haben auch eine neue Festplatte/Partition unter Linux über fdisk konfiguriert und das automatische Mounten der Linux-Festplatte/Partition über die Datei ‘/etc/fstab’ konfiguriert. Darüber hinaus haben Sie gelernt, wie Sie ein repliziertes Volume auf GlusterFS erstellen und eine Debian/Ubuntu-basierte Clientmaschine einrichten, um das GlusterFS-Volume zu mounten.

Mit diesem Wissen können Sie jetzt Ihren GlusterFS-Cluster nutzen, indem Sie weitere Festplatten und Server hinzufügen, um ein hochverfügbares Netzwerkdateisystem zu schaffen, das von Ihren Netzwerken aus zugänglich ist. Sie können mehr über die Verwaltung von GlusterFS in der offiziellen Dokumentation von GlusterFS erfahren.