Créer un serveur de stockage autonome similaire à NFS avec GlusterFS 3.2.x sur CentOS 6.3

Ce tutoriel montre comment configurer un serveur de stockage autonome sur CentOs 6.3. Au lieu de NFS, j’utiliserai GlusterFS ici. Le système client pourra accéder au stockage comme s’il s’agissait d’un système de fichiers local. GlusterFS est un système de fichiers en cluster capable de s’étendre à plusieurs pétaoctets. Il agrège divers blocs de stockage via Infiniband RDMA ou TCP/IP en un grand système de fichiers réseau parallèle. Les blocs de stockage peuvent être constitués de n’importe quel matériel standard tel que des serveurs x86_64 avec RAID SATA-II et HBA Infiniband.

Je ne donne aucune garantie que cela fonctionnera pour vous !

1 Remarque préliminaire

Dans ce tutoriel, j’utilise deux systèmes, un serveur et un client :

server1.example.com : adresse IP 192.168.0.100 (serveur)
server2.example.com : adresse IP 192.168.0.101 (client)

Les deux systèmes doivent être capables de résoudre le nom d’hôte de l’autre système. Si cela ne peut pas être fait via DNS, vous devez modifier le fichier /etc/hosts afin qu’il ressemble à ceci sur les deux systèmes :

vi /etc/hosts

| 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 |

(Il est également possible d’utiliser des adresses IP au lieu de noms d’hôtes dans la configuration suivante. Si vous préférez utiliser des adresses IP, vous n’avez pas à vous soucier de savoir si les noms d’hôtes peuvent être résolus ou non.)

2 Activer des dépôts supplémentaires

server1/server2 :

Tout d’abord, nous importons les clés GPG pour les paquets logiciels :

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*

Ensuite, nous activons le dépôt EPEL6 sur nos deux systèmes CentOS :

rpm --import https://fedoraproject.org/static/0608B895.txt

cd /tmp  
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-7.noarch.rpm  
rpm -ivh epel-release-6-7.noarch.rpm

yum install yum-priorities

Modifiez /etc/yum.repos.d/epel.repo…

vi /etc/yum.repos.d/epel.repo

… et ajoutez la ligne priority=10 à la section [epel] :

| [epel] name=Extra Packages for Enterprise Linux 6 - $basearch #baseurl=http://download.fedoraproject.org/pub/epel/6/$basearch mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-6&arch=$basearch failovermethod=priority enabled=1 priority=10 gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6 [...] |

3 Configuration du serveur GlusterFS

server1.example.com :

GlusterFS est disponible en tant que paquet pour EPEL, nous pouvons donc l’installer comme suit :

yum install glusterfs-server

Créez les liens de démarrage du système pour le démon Gluster et démarrez-le :

chkconfig --levels 235 glusterd on  
/etc/init.d/glusterd start

La commande

glusterfsd --version

devrait maintenant afficher la version de GlusterFS que vous venez d’installer (3.2.7 dans ce cas) :

[root@server1 ~]# glusterfsd --version  
glusterfs 3.2.7 built on Jun 11 2012 13:22:28  
Repository revision: git://git.gluster.com/glusterfs.git  
Copyright (c) 2006-2011 Gluster Inc.   
GlusterFS comes with ABSOLUTELY NO WARRANTY.  
You may redistribute copies of GlusterFS under the terms of the GNU General Public License.  
[root@server1 ~]#

Si vous utilisez un pare-feu, assurez-vous que les ports TCP 111, 24007, 24008, 24009-(24009 + nombre de briques à travers tous les volumes) sont ouverts sur server1.example.com.

Ensuite, nous créons le partage nommé testvol sur localhost (= server1) dans le répertoire /data (ce dernier sera créé s’il n’existe pas) :

gluster volume create testvol server1.example.com:/data

[root@server1 ~]# gluster volume create testvol server1.example.com:/data  
Creation of volume testvol has been successful. Please start the volume to access data.  
[root@server1 ~]#

Démarrez le volume :

gluster volume start testvol

Vous pouvez vérifier l’état du volume avec la commande

gluster volume info

[root@server1 ~]# gluster volume info

Volume Name: testvol  
Type: Distribute  
Status: Started  
Number of Bricks: 1  
Transport-type: tcp  
Bricks:  
Brick1: server1.example.com:/data  
[root@server1 ~]#

S’il vous dit que le volume est démarré, tout va bien, sinon démarrez-le à nouveau.

Par défaut, tous les clients peuvent se connecter au volume. Si vous souhaitez accorder l’accès uniquement à client1.example.com (= 192.168.0.101), exécutez :

gluster volume set testvol auth.allow 192.168.0.101

Veuillez noter qu’il est possible d’utiliser des caractères génériques pour les adresses IP (comme 192.168.*) et que vous pouvez spécifier plusieurs adresses IP séparées par des virgules (par exemple 192.168.0.101,192.168.0.102).

Les informations sur le volume devraient maintenant montrer l’état mis à jour :

gluster volume info

[root@server1 ~]# gluster volume info

Volume Name: testvol  
Type: Distribute  
Status: Started  
Number of Bricks: 1  
Transport-type: tcp  
Bricks:  
Brick1: server1.example.com:/data  
Options Reconfigured:  
auth.allow: 192.168.0.101  
[root@server1 ~]#

4 Configuration du client GlusterFS

server2.example.com :

Sur le client, nous pouvons installer le client GlusterFS comme suit :

yum install glusterfs-client

Ensuite, nous créons le répertoire suivant :

mkdir /mnt/glusterfs

C’est tout ! Maintenant, nous pouvons monter le système de fichiers GlusterFS sur /mnt/glusterfs avec la commande suivante :

mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

Vous devriez maintenant voir le nouveau partage dans les sorties de…

mount

[root@server2 ~]# mount  
/dev/mapper/vg_client1-LogVol00 on / type ext4 (rw)  
proc on /proc type proc (rw)  
sysfs on /sys type sysfs (rw)  
devpts on /dev/pts type devpts (rw,gid=5,mode=620)  
tmpfs on /dev/shm type tmpfs (rw)  
/dev/sda1 on /boot type ext4 (rw)  
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)  
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)  
server1.example.com:/testvol on /mnt/glusterfs type fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)  
[root@server2 ~]#

… et…

df -h

[root@server2 ~]# df -h  
Filesystem            Size  Used Avail Use% Mounted on  
/dev/mapper/vg_client1-LogVol00  
                      9.7G  1.7G  7.5G  19% /  
tmpfs                 499M     0  499M   0% /dev/shm  
/dev/sda1           504M   39M  440M   9% /boot  
server1.example.com:/testvol  
                      9.7G  1.7G  7.5G  19% /mnt/glusterfs  
[root@server2 ~]#

Au lieu de monter manuellement le partage GlusterFS sur le client, vous pourriez modifier /etc/fstab afin que le partage soit monté automatiquement lorsque le client démarre.

Ouvrez /etc/fstab et ajoutez la ligne suivante :

vi /etc/fstab

| [...] server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0 |

Pour tester si votre /etc/fstab modifié fonctionne, redémarrez le client :

reboot

Après le redémarrage, vous devriez trouver le partage dans les sorties de…

df -h