Striping Across Four Storage Nodes With GlusterFS On Debian Lenny - Page 2

3 Configuration du client GlusterFS

client1.example.com:

Sur le client, nous devons installer fuse et GlusterFS. Au lieu d’installer le paquet libfuse2 depuis le dépôt Debian, nous installons une version patchée avec un meilleur support pour GlusterFS.

Tout d’abord, nous installons à nouveau les prérequis :

aptitude install sshfs build-essential flex bison byacc libdb4.6 libdb4.6-dev

Ensuite, nous construisons fuse comme suit (vous pouvez trouver la dernière version patchée de fuse sur ftp://ftp.zresearch.com/pub/gluster/glusterfs/fuse/) :

cd /tmp  
wget ftp://ftp.zresearch.com/pub/gluster/glusterfs/fuse/fuse-2.7.4glfs11.tar.gz  
tar -zxvf fuse-2.7.4glfs11.tar.gz  
cd fuse-2.7.4glfs11  
./configure  
make && make install

Ensuite, nous construisons GlusterFS (tout comme sur le serveur)…

cd /tmp  
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.1.tar.gz  
tar xvfz glusterfs-2.0.1.tar.gz  
cd glusterfs-2.0.1  
./configure --prefix=/usr > /dev/null

make && make install  
ldconfig  
glusterfs --version

… et créez les deux répertoires suivants :

mkdir /mnt/glusterfs  
mkdir /etc/glusterfs

Ensuite, nous créons le fichier /etc/glusterfs/glusterfs.vol :

vi /etc/glusterfs/glusterfs.vol

| volume remote1 type protocol/client option transport-type tcp/client option remote-host server1.example.com option remote-subvolume brick end-volume volume remote2 type protocol/client option transport-type tcp/client option remote-host server2.example.com option remote-subvolume brick end-volume volume remote3 type protocol/client option transport-type tcp/client option remote-host server3.example.com option remote-subvolume brick end-volume volume remote4 type protocol/client option transport-type tcp/client option remote-host server4.example.com option remote-subvolume brick end-volume volume stripe type cluster/stripe option block-size 1MB subvolumes remote1 remote2 remote3 remote4 end-volume volume writebehind type performance/write-behind option window-size 1MB subvolumes stripe end-volume volume cache type performance/io-cache option cache-size 512MB subvolumes writebehind end-volume |

Assurez-vous d’utiliser les bons noms d’hôtes ou adresses IP des serveurs dans les lignes option remote-host !

C’est tout ! Maintenant, nous pouvons monter le système de fichiers GlusterFS sur /mnt/glusterfs avec l’une des deux commandes suivantes :

glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs

ou

mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs

Vous devriez maintenant voir le nouveau partage dans les sorties de…

mount

client1:~# mount  
/dev/sda1 on / type ext3 (rw,errors=remount-ro)  
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)  
proc on /proc type proc (rw,noexec,nosuid,nodev)  
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)  
udev on /dev type tmpfs (rw,mode=0755)  
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)  
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)  
fusectl on /sys/fs/fuse/connections type fusectl (rw)  
/etc/glusterfs/glusterfs.vol on /mnt/glusterfs type fuse.glusterfs (rw,max_read=131072,allow_other,default_permissions)  
client1:~#

… et…

df -h

client1:~# df -h  
Filesystem            Size  Used Avail Use% Mounted on  
/dev/sda1             29G  896M   27G   4% /  
tmpfs                 126M     0  126M   0% /lib/init/rw  
udev                   10M   80K   10M   1% /dev  
tmpfs                 126M     0  126M   0% /dev/shm  
/etc/glusterfs/glusterfs.vol  
                    105G  3.4G   96G   4% /mnt/glusterfs  
client1:~#

( server1.example.com, server2.example.com, server3.example.com, et server4.example.com ont chacun environ 26 Go d’espace pour le système de fichiers GlusterFS, de sorte que le partage résultant a une taille d’environ 4 x 26 Go (105 Go).)

Au lieu de monter le partage GlusterFS manuellement sur le client, vous pourriez modifier /etc/fstab pour que le partage soit monté automatiquement lorsque le client démarre.

Ouvrez /etc/fstab et ajoutez la ligne suivante :

vi /etc/fstab

| [...] /etc/glusterfs/glusterfs.vol /mnt/glusterfs glusterfs defaults 0 0 |

Pour tester si votre /etc/fstab modifié fonctionne, redémarrez le client :

reboot

Après le redémarrage, vous devriez trouver le partage dans les sorties de…

df -h

… et…

mount

4 Test

Maintenant, créons un gros fichier de test sur le partage GlusterFS :

client1.example.com :

dd if=/dev/zero of=/mnt/glusterfs/test.img bs=1024k count=1000

ls -l /mnt/glusterfs

client1:~# ls -l /mnt/glusterfs  
total 1028032  
-rw-r--r-- 1 root root 1048576000 2009-06-03 20:51 test.img  
client1:~#

Maintenant, vérifions le répertoire /data/export sur server1.example.com, server2.example.com, server3.example.com, et server4.example.com. Vous devriez voir le fichier test.img sur chaque nœud, mais avec des tailles différentes (en raison du striping des données) :

server1.example.com :

ls -l /data/export

server1:~# ls -l /data/export  
total 257008  
-rw-r--r-- 1 root root 1045430272 2009-06-03 20:51 test.img  
server1:~#

server2.example.com :

ls -l /data/export

server2:~# ls -l /data/export  
total 257008  
-rw-r--r-- 1 root root 1046478848 2009-06-03 20:55 test.img  
server2:~#

server3.example.com :

ls -l /data/export

server3:~# ls -l /data/export  
total 257008  
-rw-r--r-- 1 root root 1047527424 2009-06-03 20:54 test.img  
server3:~#

server4.example.com :

ls -l /data/export

server4:~# ls -l /data/export  
total 257008  
-rw-r--r-- 1 root root 1048576000 2009-06-03 20:02 test.img  
server4:~#

5 Liens

• GlusterFS: http://www.gluster.org/
• Debian: http://www.debian.org/