Stockage Distribué Sur Quatre Nœuds de Stockage Avec GlusterFS Sur CentOS 5.4

Ce tutoriel montre comment combiner quatre serveurs de stockage uniques (fonctionnant sous CentOS 5.4) en un grand serveur de stockage (stockage distribué) avec GlusterFS. Le système client (CentOS 5.4 également) pourra accéder au stockage comme s’il s’agissait d’un système de fichiers local. GlusterFS est un système de fichiers en cluster capable de s’étendre à plusieurs pétaoctets. Il agrège divers blocs de stockage via Infiniband RDMA ou TCP/IP en un grand système de fichiers réseau parallèle. Les blocs de stockage peuvent être constitués de n’importe quel matériel standard tel que des serveurs x86_64 avec RAID SATA-II et HBA Infiniband.

Veuillez noter que ce type de stockage (stockage distribué) ne fournit aucune fonctionnalité de haute disponibilité, comme ce serait le cas avec un stockage répliqué.

Je ne donne aucune garantie que cela fonctionnera pour vous !

1 Remarque Préliminaire

Dans ce tutoriel, j’utilise cinq systèmes, quatre serveurs et un client :

• server1.example.com : adresse IP 192.168.0.100 (serveur)
• server2.example.com : adresse IP 192.168.0.101 (serveur)
• server3.example.com : adresse IP 192.168.0.102 (serveur)
• server4.example.com : adresse IP 192.168.0.103 (serveur)
• client1.example.com : adresse IP 192.168.0.104 (client)

Tous les cinq systèmes devraient être capables de résoudre les noms d’hôte des autres systèmes. Si cela ne peut pas être fait via DNS, vous devez éditer le fichier /etc/hosts afin qu’il contienne les lignes suivantes sur les cinq systèmes :

vi /etc/hosts

| [...] 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 server3.example.com server3 192.168.0.103 server4.example.com server4 192.168.0.104 client1.example.com client1 [...] |

(Il est également possible d’utiliser des adresses IP au lieu de noms d’hôte dans la configuration suivante. Si vous préférez utiliser des adresses IP, vous n’avez pas à vous soucier de savoir si les noms d’hôte peuvent être résolus ou non.)

2 Configuration Des Serveurs GlusterFS

server1.example.com/server2.example.com/server3.example.com/server4.example.com :

GlusterFS n’est pas disponible en tant que paquet pour CentOS 5.4, nous devons donc le construire nous-mêmes. Tout d’abord, nous installons les prérequis :

yum groupinstall 'Development Tools'

yum groupinstall 'Development Libraries'

yum install libibverbs-devel fuse-devel

Ensuite, nous téléchargeons la dernière version de GlusterFS depuis http://www.gluster.org/download.php et la construisons comme suit :

cd /tmp  
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.9.tar.gz  
tar xvfz glusterfs-2.0.9.tar.gz  
cd glusterfs-2.0.9  
./configure

À la fin de la commande ./configure, vous devriez voir quelque chose comme ceci :

[...]  
Résumé de la configuration de GlusterFS  
===========================  
Client FUSE        : oui  
Verbes Infiniband   : oui  
Multiplexage IO epoll : oui  
Berkeley-DB        : oui  
libglusterfsclient : oui  
argp-standalone    : non  
  
[root@server1 glusterfs-2.0.9]#

make && make install  
ldconfig

Vérifiez la version de GlusterFS par la suite (devrait être 2.0.9) :

glusterfs --version

[root@server1 glusterfs-2.0.9]# glusterfs --version  
glusterfs 2.0.9 construit le 1 Mar 2010 15:34:50  
Révision du dépôt : v2.0.9  
Droits d'auteur (c) 2006-2009 Gluster Inc.   
GlusterFS est fourni SANS AUCUNE GARANTIE.  
Vous pouvez redistribuer des copies de GlusterFS selon les termes de la GNU General Public License.  
[root@server1 glusterfs-2.0.9]#

Ensuite, nous créons quelques répertoires :

mkdir /data/  
mkdir /data/export  
mkdir /data/export-ns  
mkdir /etc/glusterfs

Maintenant, nous créons le fichier de configuration du serveur GlusterFS /etc/glusterfs/glusterfsd.vol qui définit quel répertoire sera exporté (/data/export) et quel client est autorisé à se connecter (192.168.0.104 = client1.example.com) :

vi /etc/glusterfs/glusterfsd.vol

| vOLUME posix type storage/posix option directory /data/export end-volume volume locks type features/locks subvolumes posix end-volume volume brick type performance/io-threads option thread-count 8 subvolumes locks end-volume volume server type protocol/server option transport-type tcp option auth.addr.brick.allow 192.168.0.104 subvolumes brick end-volume |

Veuillez noter qu’il est possible d’utiliser des jokers pour les adresses IP (comme 192.168.*) et que vous pouvez spécifier plusieurs adresses IP séparées par des virgules (par exemple, 192.168.0.104,192.168.0.105).

Ensuite, nous créons le lien symbolique suivant…

ln -s /usr/local/sbin/glusterfsd /sbin/glusterfsd

… puis les liens de démarrage du système pour le serveur GlusterFS et le démarrons :

chkconfig --levels 35 glusterfsd on  
/etc/init.d/glusterfsd start