Stockage · 9 min read · Jan 10, 2026

Stockage haute disponibilité avec GlusterFS sur Debian 8 - Miroir entre deux serveurs de stockage

Ce tutoriel montre comment configurer un stockage haute disponibilité avec deux serveurs de stockage (Debian Jessie) qui utilise GlusterFS. Chaque serveur de stockage sera un miroir de l’autre serveur de stockage, et les fichiers seront répliqués automatiquement entre les deux nœuds de stockage. Le système client (Debian 8 également) pourra accéder au stockage comme s’il s’agissait d’un système de fichiers local. GlusterFS est un système de fichiers en cluster capable de s’étendre à plusieurs pétaoctets. Il agrège divers blocs de stockage via Infiniband RDMA ou TCP/IP en un grand système de fichiers réseau parallèle. Les blocs de stockage peuvent être constitués de n’importe quel matériel standard tel que des serveurs x86_64 avec RAID SATA-II et HBA Infiniband.

1 Remarque préliminaire

Dans ce tutoriel, j’utiliserai trois systèmes, deux serveurs et un client :

  • server1.example.com : adresse IP 192.168.1.100 (serveur)
  • server2.example.com : adresse IP 192.168.1.101 (serveur)
  • client1.example.com : adresse IP 192.168.1.102 (client)

Tous les trois systèmes doivent être capables de résoudre les noms d’hôte des autres systèmes. Si cela ne peut pas être fait via DNS, vous devez modifier le fichier /etc/hosts pour qu’il ressemble à ceci sur les trois systèmes :

nano /etc/hosts
127.0.0.1 localhost  
192.168.1.100 server1.example.com server1  
192.168.1.101 server2.example.com server2  
192.168.1.102 client1.example.com client1  
  
  
# Les lignes suivantes sont souhaitables pour les hôtes compatibles IPv6  
::1 localhost ip6-localhost ip6-loopback  
ff02::1 ip6-allnodes  
ff02::2 ip6-allrouters

(Il est également possible d’utiliser des adresses IP au lieu de noms d’hôte dans la configuration suivante. Si vous préférez utiliser des adresses IP, vous n’avez pas à vous soucier de savoir si les noms d’hôte peuvent être résolus ou non.)

2 Configuration des serveurs GlusterFS

server1.example.com/server2.example.com :

La dernière version de GlusterFS est disponible en tant que paquet Debian depuis gluster.org. Nous pouvons l’installer comme suit :

Nous ajoutons la clé publique du dépôt Debian de gluster.org sur les deux serveurs.

wget -O - http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/rsa.pub | apt-key add -

Ensuite, ajoutez le dépôt GlusterFS (la commande est sur une seule ligne !) 

echo deb http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/Debian/jessie/apt jessie main > /etc/apt/sources.list.d/gluster.list

et mettez à jour la liste des dépôts.

apt-get update

Maintenant, nous pouvons installer le logiciel serveur GlusterFS avec apt.

apt-get -y install glusterfs-server

La commande

glusterfsd --version

devrait maintenant afficher la version de GlusterFS que vous venez d’installer (3.7.9 dans ce cas) :

root@server1:/# glusterfsd --version  
glusterfs 3.7.9 built on Mar 23 2016 05:24:49  
Repository revision: git://git.gluster.com/glusterfs.git  
Copyright (c) 2006-2013 Red Hat, Inc.   
GlusterFS est fourni SANS AUCUNE GARANTIE.  
Il est sous licence selon votre choix de la GNU Lesser  
General Public License, version 3 ou toute version ultérieure (LGPLv3  
ou ultérieure), ou de la GNU General Public License, version 2 (GPLv2),  
dans tous les cas comme publié par la Free Software Foundation.  
root@server1:/#

Si vous utilisez un pare-feu, assurez-vous que les ports TCP 111, 24007, 24008, 24009-(24009 + nombre de blocs à travers tous les volumes) sont ouverts sur server1.example.com et server2.example.com.

Glusterfs doit stocker ses données dans le répertoire /data sur les serveurs. Cet emplacement peut être un répertoire normal si vous avez une installation plus petite ou vous utilisez une partition de disque dur séparée et la montez en tant que /data.

Exécutez sur les deux serveurs :

mkdir /data

pour créer le répertoire de données.

Ensuite, nous devons ajouter server2.example.com au pool de stockage de confiance (veuillez noter que j’exécute toutes les commandes de configuration GlusterFS depuis server1.example.com, mais vous pouvez également les exécuter depuis server2.example.com car la configuration est répliquée entre les nœuds GlusterFS - assurez-vous simplement d’utiliser les bons noms d’hôte ou adresses IP) :

server1.example.com :

Sur server1.example.com, exécutez

gluster peer probe server2.example.com
root@server1:/# gluster peer probe server2.example.com  
peer probe: success.  
root@server1:/#

Le statut du pool de stockage de confiance devrait maintenant être similaire à ceci :

gluster peer status
root@server1:/# gluster peer status  
Number of Peers: 1
Hostname: server2.example.com  
Uuid: 0f7ee46c-6a71-4a31-91d9-6076707eff95  
State: Peer in Cluster (Connected)  
root@server1:/#

Ensuite, nous créons le partage nommé testvol avec deux répliques (veuillez noter que le nombre de répliques est égal au nombre de serveurs dans ce cas car nous voulons configurer le mirroring) sur server1.example.com et server2.example.com dans le répertoire /data/testvol (ceci sera créé s’il n’existe pas) :

gluster volume create testvol replica 2 transport tcp server1.example.com:/data/testvol server2.example.com:/data/testvol force
root@server1:/# gluster volume create testvol replica 2 transport tcp server1.example.com:/data/testvol server2.example.com:/data/testvol force  
volume create: testvol: success: please start the volume to access data  
root@server1:/#

Démarrez le volume :

gluster volume start testvol
root@server1:/# gluster volume start testvol  
volume start: testvol: success  
root@server1:/#

Notre volume de test a été démarré avec succès.

Il est possible que la commande ci-dessus vous indique que l’action n’a pas réussi :

root@server1:~# gluster volume start testvol  
Starting volume testvol has been unsuccessful  
root@server1:~#

Dans ce cas, vous devez vérifier la sortie de…

server1.example.com/server2.example.com :

netstat -tap | grep glusterfsd

sur les deux serveurs.

Si vous obtenez une sortie comme ceci…

root@server1:/# netstat -tap | grep glusterfsd  
tcp 0 0 *:49152 *:* LISTEN 8007/glusterfsd  
tcp 0 0 server1.example.c:65533 server1.example.c:24007 ESTABLISHED 8007/glusterfsd  
tcp 0 0 server1.example.c:49152 server2.example.c:65531 ESTABLISHED 8007/glusterfsd  
tcp 0 0 server1.example.c:49152 server1.example.c:65532 ESTABLISHED 8007/glusterfsd  
tcp 0 0 server1.example.c:49152 server1.example.c:65531 ESTABLISHED 8007/glusterfsd  
tcp 0 0 server1.example.c:49152 server2.example.c:65526 ESTABLISHED 8007/glusterfsd  
root@server1:/#

… tout va bien, mais si vous n’obtenez aucune sortie…

root@server2:~# netstat -tap | grep glusterfsd  
root@server2:~#

… redémarrez le démon GlusterFS sur le serveur correspondant (server1.example.com dans ce cas) :

server2.example.com :

service glusterfs-server restart

Puis vérifiez à nouveau la sortie de…

netstat -tap | grep glusterfsd

… sur ce serveur - cela devrait maintenant ressembler à ceci :

root@server2:/# netstat -tap | grep glusterfsd  
tcp 0 0 *:49152 *:* LISTEN 7852/glusterfsd  
tcp 0 0 server2.example.c:49152 server2.example.c:65532 ESTABLISHED 7852/glusterfsd  
tcp 0 0 server2.example.c:49152 server1.example.c:65526 ESTABLISHED 7852/glusterfsd  
tcp 0 0 server2.example.c:49152 server2.example.c:65525 ESTABLISHED 7852/glusterfsd  
tcp 0 0 server2.example.c:65533 server2.example.c:24007 ESTABLISHED 7852/glusterfsd  
tcp 0 0 server2.example.c:49152 server1.example.c:65524 ESTABLISHED 7852/glusterfsd  
root@server2:/#

Maintenant, revenons à server1.example.com :

server1.example.com :

Vous pouvez vérifier le statut du volume avec la commande

gluster volume info
root@server1:/# gluster volume info
Volume Name: testvol  
Type: Replicate  
Volume ID: 3fc9af57-ca56-4a72-ad54-3d2ea03e5883  
Status: Started  
Number of Bricks: 1 x 2 = 2  
Transport-type: tcp  
Bricks:  
Brick1: server1.example.com:/data/testvol  
Brick2: server2.example.com:/data/testvol  
Options Reconfigured:  
performance.readdir-ahead: on  
root@server1:/#

Par défaut, tous les clients peuvent se connecter au volume. Si vous souhaitez accorder l’accès uniquement à client1.example.com (= 192.168.1.102), exécutez :

gluster volume set testvol auth.allow 192.168.1.102
root@server1:/# gluster volume set testvol auth.allow 192.168.1.102  
volume set: success  
root@server1:/#

Veuillez noter qu’il est possible d’utiliser des jokers pour les adresses IP (comme 192.168.*) et que vous pouvez spécifier plusieurs adresses IP séparées par des virgules (par exemple 192.168.1.102,192.168.1.103).

Les informations sur le volume devraient maintenant afficher le statut mis à jour :

gluster volume info

root@server1:/# gluster volume info

Volume Name: testvol  
Type: Replicate  
Volume ID: 3fc9af57-ca56-4a72-ad54-3d2ea03e5883  
Status: Started  
Number of Bricks: 1 x 2 = 2  
Transport-type: tcp  
Bricks:  
Brick1: server1.example.com:/data/testvol  
Brick2: server2.example.com:/data/testvol  
Options Reconfigured:  
auth.allow: 192.168.1.102  
performance.readdir-ahead: on  
root@server1:/#

3 Configuration du client GlusterFS

client1.example.com :

Sur le système client, nous ajoutons d’abord la clé publique du dépôt Debian de gluster.org.

wget -O - http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/rsa.pub | apt-key add -

Ensuite, ajoutez le dépôt GlusterFS (la commande est sur une seule ligne !) 

echo deb http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/Debian/jessie/apt jessie main > /etc/apt/sources.list.d/gluster.list

et mettez à jour la liste des dépôts.

apt-get update

Maintenant, nous pouvons installer le client GlusterFS comme suit.

apt-get -y install glusterfs-client

Ensuite, nous créons le répertoire suivant :

mkdir /mnt/glusterfs

C’est tout ! Maintenant, nous pouvons monter le système de fichiers GlusterFS sur /mnt/glusterfs avec la commande suivante :

mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

(À la place de server1.example.com, vous pouvez également utiliser server2.example.com dans la commande ci-dessus !)

Vous devriez maintenant voir le nouveau partage dans les sorties de…

mount
root@client1:/# mount  
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)  
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)  
odev on /dev type devtmpfs (rw,relatime,size=10240k,nr_inodes=125556,mode=755)  
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)  
tmpfs on /run type tmpfs (rw,nosuid,relatime,size=204220k,mode=755)  
/dev/sda1 on / type ext4 (rw,relatime,errors=remount-ro,data=ordered)  
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)  
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)  
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)  
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)  
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/lib/systemd/systemd-cgroups-agent,name=systemd)  
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)  
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)  
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)  
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)  
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)  
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)  
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)  
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)  
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=23,pgrp=1,timeout=300,minproto=5,maxproto=5,direct)  
mqueue on /dev/mqueue type mqueue (rw,relatime)  
debugfs on /sys/kernel/debug type debugfs (rw,relatime)  
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime)  
rpc_pipefs on /run/rpc_pipefs type rpc_pipefs (rw,relatime)  
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)  
server1.example.com:/testvol on /mnt/glusterfs type fuse.glusterfs (rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072)  
root@client1:/#

… et…

df -h
root@client1:/# df -h  
Filesystem Size Used Avail Use% Mounted on  
/dev/sda1 57G 1.1G 53G 2% /  
udev 10M 0 10M 0% /dev  
tmpfs 200M 4.6M 195M 3% /run  
tmpfs 499M 0 499M 0% /dev/shm  
tmpfs 5.0M 0 5.0M 0% /run/lock  
tmpfs 499M 0 499M 0% /sys/fs/cgroup  
server1.example.com:/testvol 57G 21G 34G 39% /mnt/glusterfs  
root@client1:/#

Au lieu de monter manuellement le partage GlusterFS sur le client, vous pourriez modifier /etc/fstab afin que le partage soit monté automatiquement lorsque le client démarre.

Ouvrez /etc/fstab et ajoutez la ligne suivante :

nano /etc/fstab
[...]  
server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0

(Encore une fois, au lieu de server1.example.com, vous pouvez également utiliser server2.example.com !)

Pour tester si votre /etc/fstab modifié fonctionne, redémarrez le client :

reboot

Après le redémarrage, vous devriez trouver le partage dans les sorties de…

df -h

… et…

mount

4 Tester la réplication GlusterFS

Maintenant, créons quelques fichiers de test sur le partage GlusterFS :

client1.example.com :

touch /mnt/glusterfs/test1  
touch /mnt/glusterfs/test2

Vérifions maintenant le répertoire /data sur server1.example.com et server2.example.com. Les fichiers test1 et test2 devraient être présents sur chaque nœud :

server1.example.com/server2.example.com :

ls -l /data/testvol
root@server1:/# ls -l /data/testvol/  
total 0  
-rw-r--r-- 2 root root 0 Mar 23 2016 test1  
-rw-r--r-- 2 root root 0 Mar 23 2016 test2

Maintenant, nous éteignons server1.example.com et ajoutons/supprimons quelques fichiers sur le partage GlusterFS sur client1.example.com.

server1.example.com :

shutdown -h now

client1.example.com :

touch /mnt/glusterfs/test3  
touch /mnt/glusterfs/test4  
rm -f /mnt/glusterfs/test2

Les modifications devraient être visibles dans le répertoire /data/testvol sur server2.example.com :

server2.example.com :

ls -l /data/testvol
root@server2:/# ls -l /data/testvol  
total 8  
-rw-r--r-- 2 root root 0 Mar 23 08:06 test1  
-rw-r--r-- 2 root root 0 Mar 23 08:09 test3  
-rw-r--r-- 2 root root 0 Mar 23 08:09 test4  
root@server2:/#

Redémarrons server1.example.com et examinons le répertoire /data :

server1.example.com :

ls -l /data/testvol
root@server1:/# ls -l /data/testvol  
total 0  
-rw-r--r-- 2 root root 0 Mar 23 08:06 test1  
-rw-r--r-- 2 root root 0 Mar 23 08:09 test3  
-rw-r--r-- 2 root root 0 Mar 23 08:09 test4  
root@server1:/#

Comme vous le voyez, server1.example.com a automatiquement synchronisé les changements. Dans le cas où le changement n’a pas encore été synchronisé, il est facile de le corriger, il suffit d’invoquer une commande de lecture sur le partage GlusterFS sur client1.example.com, par exemple :

client1.example.com :

ls -l /mnt/glusterfs/
root@client1:/# ls -l /mnt/glusterfs/  
total 0  
-rw-r--r-- 1 root root 0 Mar 23 08:06 test1  
-rw-r--r-- 1 root root 0 Mar 23 08:09 test3  
-rw-r--r-- 1 root root 0 Mar 23 08:09 test4  
root@client1:/#

5 Liens

Share: X/Twitter LinkedIn
#Stockage

Recevez de nouveaux articles dans votre boîte de réception.

Aucun spam. Désabonnez-vous à tout moment.