Stockage haute disponibilité avec GlusterFS 3.0.x sur Debian Squeeze - Réplication automatique des fichiers entre deux serveurs de stockage

Ce tutoriel montre comment configurer un stockage haute disponibilité avec deux serveurs de stockage (Debian Squeeze) utilisant GlusterFS. Chaque serveur de stockage sera un miroir de l’autre serveur de stockage, et les fichiers seront répliqués automatiquement entre les deux serveurs de stockage. Le système client (Debian Squeeze également) pourra accéder au stockage comme s’il s’agissait d’un système de fichiers local. GlusterFS est un système de fichiers en cluster capable de s’étendre à plusieurs pétaoctets. Il agrège divers blocs de stockage via Infiniband RDMA ou TCP/IP en un grand système de fichiers réseau parallèle. Les blocs de stockage peuvent être constitués de n’importe quel matériel standard tel que des serveurs x86_64 avec RAID SATA-II et HBA Infiniband.

Je ne donne aucune garantie que cela fonctionnera pour vous !

1 Remarque préliminaire

Dans ce tutoriel, j’utilise trois systèmes, deux serveurs et un client :

• server1.example.com : adresse IP 192.168.0.100 (serveur)
• server2.example.com : adresse IP 192.168.0.101 (serveur)
• client1.example.com : adresse IP 192.168.0.102 (client)

Tous les trois systèmes doivent être capables de résoudre les noms d’hôtes des autres systèmes. Si cela ne peut pas être fait via DNS, vous devez modifier le fichier /etc/hosts pour qu’il ressemble à ceci sur les trois systèmes :

vi /etc/hosts

| 127.0.0.1 localhost.localdomain localhost 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 client1.example.com client1 # Les lignes suivantes sont souhaitables pour les hôtes compatibles IPv6 ::1 localhost ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters ff02::3 ip6-allhosts |

(Il est également possible d’utiliser des adresses IP au lieu de noms d’hôtes dans la configuration suivante. Si vous préférez utiliser des adresses IP, vous n’avez pas à vous soucier de savoir si les noms d’hôtes peuvent être résolus ou non.)

2 Configuration des serveurs GlusterFS

server1.example.com/server2.example.com :

GlusterFS est disponible en tant que paquet pour Debian Squeeze, nous pouvons donc l’installer comme suit :

apt-get install glusterfs-server

La commande

glusterfs --version

devrait maintenant afficher la version de GlusterFS que vous venez d’installer (3.0.5 dans ce cas) :

root@server1:~# glusterfs --version  
glusterfs 3.0.5 built on Jul 13 2010 16:44:21  
Repository revision: v3.0.5  
Copyright (c) 2006-2009 Gluster Inc.   
GlusterFS est fourni SANS AUCUNE GARANTIE.  
Vous pouvez redistribuer des copies de GlusterFS selon les termes de la GNU General Public License.  
root@server1:~#

Ensuite, nous créons quelques répertoires :

mkdir /data/  
mkdir /data/export  
mkdir /data/export-ns

Maintenant, nous créons le fichier de configuration du serveur GlusterFS /etc/glusterfs/glusterfsd.vol (nous faisons d’abord une sauvegarde de l’original /etc/glusterfs/glusterfsd.vol) qui définit quel répertoire sera exporté ( /data/export) et quel client est autorisé à se connecter ( 192.168.0.102 = client1.example.com) :

cp /etc/glusterfs/glusterfsd.vol /etc/glusterfs/glusterfsd.vol_orig  
cat /dev/null > /etc/glusterfs/glusterfsd.vol  
vi /etc/glusterfs/glusterfsd.vol

| vOLUME posix type storage/posix option directory /data/export end-volume volume locks type features/locks subvolumes posix end-volume volume brick type performance/io-threads option thread-count 8 subvolumes locks end-volume volume server type protocol/server option transport-type tcp option auth.addr.brick.allow 192.168.0.102 subvolumes brick end-volume |

Veuillez noter qu’il est possible d’utiliser des jokers pour les adresses IP (comme 192.168.*) et que vous pouvez spécifier plusieurs adresses IP séparées par des virgules (par exemple 192.168.0.102,192.168.0.103).

Ensuite, nous démarrons le serveur GlusterFS :

/etc/init.d/glusterfs-server start

3 Configuration du client GlusterFS

client1.example.com :

Sur le client, nous pouvons installer le client GlusterFS comme suit :

apt-get install glusterfs-client

Ensuite, nous créons le répertoire suivant :

mkdir /mnt/glusterfs

Ensuite, nous créons le fichier /etc/glusterfs/glusterfs.vol (nous faisons d’abord une sauvegarde de l’original /etc/glusterfs/glusterfs.vol) :

cp /etc/glusterfs/glusterfs.vol /etc/glusterfs/glusterfs.vol_orig  
cat /dev/null > /etc/glusterfs/glusterfs.vol  
vi /etc/glusterfs/glusterfs.vol

| vOLUME remote1 type protocol/client option transport-type tcp option remote-host server1.example.com option remote-subvolume brick end-volume volume remote2 type protocol/client option transport-type tcp option remote-host server2.example.com option remote-subvolume brick end-volume volume replicate type cluster/replicate subvolumes remote1 remote2 end-volume volume writebehind type performance/write-behind option window-size 1MB subvolumes replicate end-volume volume cache type performance/io-cache option cache-size 512MB subvolumes writebehind end-volume |

Assurez-vous d’utiliser les bons noms d’hôtes ou adresses IP des serveurs dans les lignes option remote-host !

C’est tout ! Maintenant, nous pouvons monter le système de fichiers GlusterFS sur /mnt/glusterfs avec l’une des deux commandes suivantes :

glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs

ou

mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs

Vous devriez maintenant voir le nouveau partage dans les sorties de…

mount

root@client1:~# mount  
/dev/sda1 on / type ext3 (rw,errors=remount-ro)  
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)  
proc on /proc type proc (rw,noexec,nosuid,nodev)  
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)  
udev on /dev type tmpfs (rw,mode=0755)  
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)  
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)  
fusectl on /sys/fs/fuse/connections type fusectl (rw)  
/etc/glusterfs/glusterfs.vol on /mnt/glusterfs type fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)  
root@client1:~#

… et…

df -h

root@client1:~# df -h  
Filesystem            Size  Used Avail Use% Mounted on  
/dev/sda1             29G  778M   27G   3% /  
tmpfs                 249M     0  249M   0% /lib/init/rw  
udev                  244M  100K  244M   1% /dev  
tmpfs                 249M     0  249M   0% /dev/shm  
/etc/glusterfs/glusterfs.vol  
                     18G  848M   16G   5% /mnt/glusterfs  
root@client1:~#

( server1.example.com et server2.example.com ont chacun 18 Go d’espace pour le système de fichiers GlusterFS, mais comme les données sont mises en miroir, le client ne voit pas 36 Go (2 x 18 Go), mais seulement 18 Go.)

Au lieu de monter le partage GlusterFS manuellement sur le client, vous pourriez modifier /etc/fstab afin que le partage soit monté automatiquement lorsque le client démarre.

Ouvrez /etc/fstab et ajoutez la ligne suivante :

vi /etc/fstab

| [...] /etc/glusterfs/glusterfs.vol /mnt/glusterfs glusterfs defaults,_netdev 0 0 |

Pour tester si votre /etc/fstab modifié fonctionne, redémarrez le client :

reboot

Après le redémarrage, vous devriez trouver le partage dans les sorties de…

df -h

… et…

mount

Si la modification de /etc/fstab ne fonctionne pas, annulez votre changement dans /etc/fstab et ajoutez cette ligne à /etc/rc.local à la place (avant la ligne exit 0) :

vi /etc/rc.local

| [...] /bin/mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs [...] |

Cela garantit que le partage est monté après que le réseau soit opérationnel.

4 Test

Créons maintenant quelques fichiers de test sur le partage GlusterFS :

client1.example.com :

touch /mnt/glusterfs/test1  
touch /mnt/glusterfs/test2

Vérifions maintenant le répertoire /data/export sur server1.example.com et server2.example.com. Les fichiers test1 et test2 devraient être présents sur chaque nœud :

server1.example.com/server2.example.com :

ls -l /data/export

root@server1:~# ls -l /data/export  
total 0  
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1  
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test2  
root@server1:~#

Maintenant, nous éteignons server1.example.com et ajoutons/supprimons quelques fichiers sur le partage GlusterFS sur client1.example.com.

server1.example.com :

shutdown -h now

client1.example.com :

touch /mnt/glusterfs/test3  
touch /mnt/glusterfs/test4  
rm -f /mnt/glusterfs/test2

Les changements devraient être visibles dans le répertoire /data/export sur server2.example.com :

server2.example.com :

ls -l /data/export

root@server2:~# ls -l /data/export  
total 0  
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1  
-rw-r--r-- 1 root root 0 2012-03-29 14:52 test3  
-rw-r--r-- 1 root root 0 2012-03-29 14:52 test4  
root@server2:~#

Redémarrons server1.example.com et examinons le répertoire /data/export :

server1.example.com :

ls -l /data/export

root@server1:~# ls -l /data/export  
total 0  
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1  
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test2  
root@server1:~#

Comme vous le voyez, server1.example.com n’a pas remarqué les changements qui se sont produits pendant qu’il était hors ligne. C’est facile à corriger, tout ce que nous devons faire est d’invoquer une commande de lecture sur le partage GlusterFS sur client1.example.com, par exemple :

client1.example.com :

ls -l /mnt/glusterfs/

root@client1:~# ls -l /mnt/glusterfs/  
total 8  
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1  
-rw-r--r-- 1 root root 0 2012-03-29 14:52 test3  
-rw-r--r-- 1 root root 0 2012-03-29 14:52 test4  
root@client1:~#

Maintenant, regardez à nouveau le répertoire /data/export sur server1.example.com, et vous devriez voir que les changements ont été répliqués sur ce nœud :

server1.example.com :

ls -l /data/export

root@server1:~# ls -l /data/export  
total 8  
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1  
-rw-r--r-- 1 root root 0 2012-03-29 14:52 test3  
-rw-r--r-- 1 root root 0 2012-03-29 14:52 test4  
root@server1:~#

5 Liens

• GlusterFS : http://www.gluster.org/
• Debian : http://www.debian.org/