Striping Across Four Storage Nodes With GlusterFS On Debian Lenny - Page 2

3 Configurando El Cliente GlusterFS

client1.example.com:

En el cliente, necesitamos instalar fuse y GlusterFS. En lugar de instalar el paquete libfuse2 del repositorio de Debian, instalamos una versión parcheada con mejor soporte para GlusterFS.

Primero instalamos las dependencias nuevamente:

aptitude install sshfs build-essential flex bison byacc libdb4.6 libdb4.6-dev

Luego construimos fuse de la siguiente manera (puedes encontrar la última versión parcheada de fuse en ftp://ftp.zresearch.com/pub/gluster/glusterfs/fuse/):

cd /tmp  
wget ftp://ftp.zresearch.com/pub/gluster/glusterfs/fuse/fuse-2.7.4glfs11.tar.gz  
tar -zxvf fuse-2.7.4glfs11.tar.gz  
cd fuse-2.7.4glfs11  
./configure  
make && make install

Después construimos GlusterFS (igual que en el servidor)…

cd /tmp  
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.1.tar.gz  
tar xvfz glusterfs-2.0.1.tar.gz  
cd glusterfs-2.0.1  
./configure --prefix=/usr > /dev/null

make && make install  
ldconfig  
glusterfs --version

… y creamos los siguientes dos directorios:

mkdir /mnt/glusterfs  
mkdir /etc/glusterfs

A continuación, creamos el archivo /etc/glusterfs/glusterfs.vol:

vi /etc/glusterfs/glusterfs.vol

| volume remote1 type protocol/client option transport-type tcp/client option remote-host server1.example.com option remote-subvolume brick end-volume volume remote2 type protocol/client option transport-type tcp/client option remote-host server2.example.com option remote-subvolume brick end-volume volume remote3 type protocol/client option transport-type tcp/client option remote-host server3.example.com option remote-subvolume brick end-volume volume remote4 type protocol/client option transport-type tcp/client option remote-host server4.example.com option remote-subvolume brick end-volume volume stripe type cluster/stripe option block-size 1MB subvolumes remote1 remote2 remote3 remote4 end-volume volume writebehind type performance/write-behind option window-size 1MB subvolumes stripe end-volume volume cache type performance/io-cache option cache-size 512MB subvolumes writebehind end-volume |

¡Asegúrate de usar los nombres de host o direcciones IP correctas en las líneas de opción remote-host!

¡Eso es todo! Ahora podemos montar el sistema de archivos GlusterFS en /mnt/glusterfs con uno de los siguientes dos comandos:

glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs

o

mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs

Ahora deberías ver el nuevo recurso compartido en las salidas de…

mount

client1:~# mount  
/dev/sda1 on / type ext3 (rw,errors=remount-ro)  
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)  
proc on /proc type proc (rw,noexec,nosuid,nodev)  
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)  
udev on /dev type tmpfs (rw,mode=0755)  
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)  
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)  
fusectl on /sys/fs/fuse/connections type fusectl (rw)  
/etc/glusterfs/glusterfs.vol on /mnt/glusterfs type fuse.glusterfs (rw,max_read=131072,allow_other,default_permissions)  
client1:~#

… y…

df -h

client1:~# df -h  
Filesystem            Size  Used Avail Use% Mounted on  
/dev/sda1             29G  896M   27G   4% /  
tmpfs                 126M     0  126M   0% /lib/init/rw  
udev                  10M   80K   10M   1% /dev  
tmpfs                 126M     0  126M   0% /dev/shm  
/etc/glusterfs/glusterfs.vol  
                    105G  3.4G   96G   4% /mnt/glusterfs  
client1:~#

( server1.example.com, server2.example.com, server3.example.com, y server4.example.com cada uno tiene alrededor de 26GB de espacio para el sistema de archivos GlusterFS, de modo que el recurso compartido resultante tiene un tamaño de aproximadamente 4 x 26GB (105GB).)

En lugar de montar el recurso compartido de GlusterFS manualmente en el cliente, podrías modificar /etc/fstab para que el recurso compartido se monte automáticamente cuando el cliente arranque.

Abre /etc/fstab y agrega la siguiente línea:

vi /etc/fstab

| [...] /etc/glusterfs/glusterfs.vol /mnt/glusterfs glusterfs defaults 0 0 |

Para probar si tu /etc/fstab modificado está funcionando, reinicia el cliente:

reboot

Después del reinicio, deberías encontrar el recurso compartido en las salidas de…

df -h

… y…

mount

4 Pruebas

Ahora vamos a crear un gran archivo de prueba en el recurso compartido de GlusterFS:

client1.example.com:

dd if=/dev/zero of=/mnt/glusterfs/test.img bs=1024k count=1000

ls -l /mnt/glusterfs

client1:~# ls -l /mnt/glusterfs  
total 1028032  
-rw-r--r-- 1 root root 1048576000 2009-06-03 20:51 test.img  
client1:~#

Ahora revisemos el directorio /data/export en server1.example.com, server2.example.com, server3.example.com, y server4.example.com. Deberías ver el archivo test.img en cada nodo, pero con diferentes tamaños (debido a la distribución de datos):

server1.example.com:

ls -l /data/export

server1:~# ls -l /data/export  
total 257008  
-rw-r--r-- 1 root root 1045430272 2009-06-03 20:51 test.img  
server1:~#

server2.example.com:

ls -l /data/export

server2:~# ls -l /data/export  
total 257008  
-rw-r--r-- 1 root root 1046478848 2009-06-03 20:55 test.img  
server2:~#

server3.example.com:

ls -l /data/export

server3:~# ls -l /data/export  
total 257008  
-rw-r--r-- 1 root root 1047527424 2009-06-03 20:54 test.img  
server3:~#

server4.example.com:

ls -l /data/export

server4:~# ls -l /data/export  
total 257008  
-rw-r--r-- 1 root root 1048576000 2009-06-03 20:02 test.img  
server4:~#

5 Enlaces

• GlusterFS: http://www.gluster.org/
• Debian: http://www.debian.org/