Créer un serveur de stockage autonome similaire à NFS avec GlusterFS sur Fedora 13

Ce tutoriel montre comment configurer un serveur de stockage autonome sur Fedora 13. Au lieu de NFS, j’utiliserai GlusterFS ici. Le système client pourra accéder au stockage comme s’il s’agissait d’un système de fichiers local. GlusterFS est un système de fichiers en cluster capable de s’étendre sur plusieurs pétaoctets. Il agrège divers blocs de stockage via Infiniband RDMA ou TCP/IP en un grand système de fichiers réseau parallèle. Les blocs de stockage peuvent être constitués de n’importe quel matériel standard tel que des serveurs x86_64 avec RAID SATA-II et HBA Infiniband.

Je ne donne aucune garantie que cela fonctionnera pour vous !

1 Remarque préliminaire

Dans ce tutoriel, j’utilise deux systèmes, un serveur et un client :

• server1.example.com : adresse IP 192.168.0.100 (serveur)
• client1.example.com : adresse IP 192.168.0.101 (client)

Les deux systèmes doivent être capables de résoudre le nom d’hôte de l’autre système. Si cela ne peut pas être fait via DNS, vous devez éditer le fichier /etc/hosts pour qu’il contienne les deux lignes suivantes sur les deux systèmes :

vi /etc/hosts

| [...] 192.168.0.100 server1.example.com server1 192.168.0.101 client1.example.com client1 [...] |

(Il est également possible d’utiliser des adresses IP au lieu de noms d’hôtes dans la configuration suivante. Si vous préférez utiliser des adresses IP, vous n’avez pas à vous soucier de savoir si les noms d’hôtes peuvent être résolus ou non.)

2 Configuration du serveur GlusterFS

server1.example.com :

Le serveur GlusterFS est disponible en tant que paquet pour Fedora 13, nous pouvons donc l’installer comme suit :

yum install glusterfs-server

La commande

glusterfs --version

devrait maintenant afficher la version de GlusterFS que vous venez d’installer (2.0.9 dans ce cas) :

[root@server1 ~]# glusterfs --version  
glusterfs 2.0.9 built on Apr 11 2010 20:39:55  
Repository revision: v2.0.9  
Copyright (c) 2006-2009 Gluster Inc.   
GlusterFS vient avec AUCUNE GARANTIE.  
Vous pouvez redistribuer des copies de GlusterFS selon les termes de la GNU General Public License.  
[root@server1 ~]#

Ensuite, nous créons quelques répertoires :

mkdir /data/  
mkdir /data/export  
mkdir /data/export-ns

Maintenant, nous créons le fichier de configuration du serveur GlusterFS /etc/glusterfs/glusterfsd.vol (nous faisons d’abord une sauvegarde de l’original /etc/glusterfs/glusterfsd.vol) qui définit quel répertoire sera exporté (/data/export) et quel client est autorisé à se connecter (192.168.0.101 = client1.example.com) :

cp /etc/glusterfs/glusterfsd.vol /etc/glusterfs/glusterfsd.vol_orig  
cat /dev/null > /etc/glusterfs/glusterfsd.vol  
vi /etc/glusterfs/glusterfsd.vol

| volume posix type storage/posix option directory /data/export end-volume volume locks type features/locks option mandatory-locks on subvolumes posix end-volume volume brick type performance/io-threads option thread-count 8 subvolumes locks end-volume volume server type protocol/server option transport-type tcp option auth.addr.brick.allow 192.168.0.101 # Éditez et ajoutez la liste des clients autorisés séparés par des virgules ici subvolumes brick end-volume |

Veuillez noter qu’il est possible d’utiliser des caractères génériques pour les adresses IP (comme 192.168.*) et que vous pouvez spécifier plusieurs adresses IP séparées par des virgules (par exemple 192.168.0.101,192.168.0.102).

Ensuite, nous créons les liens de démarrage système pour le serveur GlusterFS et le démarrons :

chkconfig --levels 35 glusterfsd on  
/etc/init.d/glusterfsd start

3 Configuration du client GlusterFS

client1.example.com :

Il existe un paquet rpm client GlusterFS pour Fedora 13, mais le problème avec cela est que vous obtiendrez des erreurs comme df: /mnt/glusterfs': Software caused connection abort ou df:/mnt/glusterfs’: Transport endpoint is not connected lorsque vous essayez d’accéder au partage GlusterFS. C’est pourquoi nous construisons le client GlusterFS à partir des sources pour éviter ces problèmes.

Avant de construire le client GlusterFS, nous installons ses prérequis :

yum groupinstall 'Development Tools'

yum groupinstall 'Development Libraries'

yum install libibverbs-devel fuse-devel

Ensuite, nous téléchargeons les sources de GlusterFS 2.0.9 (veuillez noter qu’il s’agit de la même version qui est installée sur le serveur !) et construisons GlusterFS comme suit :

cd /tmp  
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.9.tar.gz  
tar xvfz glusterfs-2.0.9.tar.gz  
cd glusterfs-2.0.9  
./configure

À la fin de la commande ./configure, vous devriez voir quelque chose comme ceci :

[...]  
Résumé de la configuration GlusterFS  
===========================  
Client FUSE        : oui  
Infiniband verbs   : oui  
epoll IO multiplex  : oui  
Berkeley-DB       : oui  
libglusterfsclient : oui  
argp-standalone    : non  
  
[root@client1 glusterfs-2.0.9]#

make && make install  
ldconfig

Vérifiez la version de GlusterFS ensuite (devrait être 2.0.9) :

glusterfs --version

[root@client1 glusterfs-2.0.9]# glusterfs --version  
glusterfs 2.0.9 built on Sep 27 2010 19:20:46  
Repository revision: v2.0.9  
Copyright (c) 2006-2009 Gluster Inc.   
GlusterFS vient avec AUCUNE GARANTIE.  
Vous pouvez redistribuer des copies de GlusterFS selon les termes de la GNU General Public License.  
[root@client1 glusterfs-2.0.9]#

Ensuite, nous créons les deux répertoires suivants :

mkdir /mnt/glusterfs  
mkdir /etc/glusterfs

Ensuite, nous créons le fichier /etc/glusterfs/glusterfs.vol :

vi /etc/glusterfs/glusterfs.vol

| volume remote type protocol/client option transport-type tcp option remote-host server1.example.com # peut être une IP ou un nom d'hôte option remote-subvolume brick end-volume volume writebehind type performance/write-behind option window-size 4MB subvolumes remote end-volume volume cache type performance/io-cache option cache-size 512MB subvolumes writebehind end-volume |

Assurez-vous d’utiliser le bon nom d’hôte ou adresse IP du serveur dans la ligne option remote-host !

C’est tout ! Maintenant, nous pouvons monter le système de fichiers GlusterFS sur /mnt/glusterfs avec l’une des deux commandes suivantes :

glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs

ou

mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs

Vous devriez maintenant voir le nouveau partage dans les sorties de…

mount

[root@client1 glusterfs-2.0.9]# mount  
/dev/mapper/vg_client1-lv_root on / type ext4 (rw)  
proc on /proc type proc (rw)  
sysfs on /sys type sysfs (rw)  
devpts on /dev/pts type devpts (rw,gid=5,mode=620)  
tmpfs on /dev/shm type tmpfs (rw)  
/dev/sda1 on /boot type ext4 (rw)  
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)  
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)  
/etc/glusterfs/glusterfs.vol on /mnt/glusterfs type fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)  
[root@client1 glusterfs-2.0.9]#

… et…

df -h

[root@client1 glusterfs-2.0.9]# df -h  
Système de fichiers            Taille  Utilisé  Disponible  Utilisé%  Monté sur  
/dev/mapper/vg_client1-lv_root  
                             29G  2.6G   25G  10%  /  
tmpfs                         185M     0  185M   0%  /dev/shm  
/dev/sda1                     194M   23M  161M  13%  /boot  
/etc/glusterfs/glusterfs.vol  
                             29G  2.7G   25G  10%  /mnt/glusterfs  
[root@client1 glusterfs-2.0.9]#

Au lieu de monter le partage GlusterFS manuellement sur le client, vous pourriez modifier /etc/fstab pour que le partage soit monté automatiquement lorsque le client démarre.

Ouvrez /etc/fstab et ajoutez la ligne suivante :

vi /etc/fstab

| [...] /etc/glusterfs/glusterfs.vol /mnt/glusterfs glusterfs defaults 0 0 |

Pour tester si votre /etc/fstab modifié fonctionne, redémarrez le client :

reboot

Après le redémarrage, vous devriez trouver le partage dans les sorties de…

df -h

… et…

mount

4 Liens

• GlusterFS : http://www.gluster.org/
• Fedora : http://fedoraproject.org/