Striping Across Four Storage Nodes With GlusterFS On CentOS 5.4 - Page 2

3 Configurando O Cliente GlusterFS

client1.example.com:

GlusterFS não está disponível como um pacote para CentOS 5.4, portanto, temos que compilá-lo nós mesmos. Primeiro, instalamos as dependências:

yum groupinstall 'Development Tools'

yum groupinstall 'Development Libraries'

yum install libibverbs-devel fuse-devel

Então, carregamos o módulo do kernel fuse…

modprobe fuse

… e criamos o arquivo /etc/rc.modules com o seguinte conteúdo para que o módulo do kernel fuse seja carregado automaticamente sempre que o sistema inicializa:

vi /etc/rc.modules

| modprobe fuse |

Torne o arquivo executável:

chmod +x /etc/rc.modules

Em seguida, baixamos as fontes do GlusterFS 2.0.9 (por favor, note que esta é a mesma versão que está instalada no servidor!) e compilamos o GlusterFS da seguinte forma:

cd /tmp  
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.9.tar.gz  
tar xvfz glusterfs-2.0.9.tar.gz  
cd glusterfs-2.0.9  
./configure

No final do comando ./configure, você deve ver algo como isto:

[...]  
GlusterFS configure summary  
===========================  
FUSE client        : yes  
Infiniband verbs   : yes  
epoll IO multiplex : yes  
Berkeley-DB        : yes  
libglusterfsclient : yes  
argp-standalone    : no

make && make install  
ldconfig

Verifique a versão do GlusterFS depois (deve ser 2.0.9):

glusterfs --version

[root@client1 glusterfs-2.0.9]# glusterfs --version  
glusterfs 2.0.9 built on Mar 1 2010 15:58:06  
Repository revision: v2.0.9  
Copyright (c) 2006-2009 Gluster Inc.   
GlusterFS vem com ABSOLUTAMENTE NENHUMA GARANTIA.  
Você pode redistribuir cópias do GlusterFS sob os termos da Licença Pública Geral GNU.  
[root@client1 glusterfs-2.0.9]#

Então, criamos os seguintes dois diretórios:

mkdir /mnt/glusterfs  
mkdir /etc/glusterfs

Em seguida, criamos o arquivo /etc/glusterfs/glusterfs.vol:

vi /etc/glusterfs/glusterfs.vol

| volume remote1 type protocol/client option transport-type tcp/client option remote-host server1.example.com option remote-subvolume brick end-volume volume remote2 type protocol/client option transport-type tcp/client option remote-host server2.example.com option remote-subvolume brick end-volume volume remote3 type protocol/client option transport-type tcp/client option remote-host server3.example.com option remote-subvolume brick end-volume volume remote4 type protocol/client option transport-type tcp/client option remote-host server4.example.com option remote-subvolume brick end-volume volume stripe type cluster/stripe option block-size 1MB subvolumes remote1 remote2 remote3 remote4 end-volume volume writebehind type performance/write-behind option window-size 1MB subvolumes stripe end-volume volume cache type performance/io-cache option cache-size 512MB subvolumes writebehind end-volume |

Certifique-se de usar os nomes de host ou endereços IP corretos nas linhas de opção remote-host!

É isso! Agora podemos montar o sistema de arquivos GlusterFS em /mnt/glusterfs com um dos seguintes dois comandos:

glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs

ou

mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs

Agora você deve ver o novo compartilhamento nas saídas de…

mount

[root@client1 ~]# mount  
/dev/mapper/VolGroup00-LogVol00 on / type ext3 (rw)  
proc on /proc type proc (rw)  
sysfs on /sys type sysfs (rw)  
devpts on /dev/pts type devpts (rw,gid=5,mode=620)  
/dev/sda1 on /boot type ext3 (rw)  
tmpfs on /dev/shm type tmpfs (rw)  
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)  
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)  
glusterfs#/etc/glusterfs/glusterfs.vol on /mnt/glusterfs type fuse (rw,allow_other,default_permissions,max_read=131072)  
[root@client1 ~]#

… e…

df -h

[root@client1 ~]# df -h  
Filesystem            Size  Used Avail Use% Mounted on  
/dev/mapper/VolGroup00-LogVol00  
                       29G  2.2G   25G   9% /  
/dev/sda1              99M   13M   82M  14% /boot  
tmpfs                 187M     0  187M   0% /dev/shm  
glusterfs#/etc/glusterfs/glusterfs.vol  
                      112G  2.3G  110G   2% /mnt/glusterfs  
[root@client1 ~]#

( server1.example.com, server2.example.com, server3.example.com, e server4.example.com cada um tem cerca de 28GB de espaço para o sistema de arquivos GlusterFS, de modo que o compartilhamento resultante tenha um tamanho de cerca de 4 x 28GB (112GB).)

Em vez de montar o compartilhamento GlusterFS manualmente no cliente, você poderia modificar /etc/fstab para que o compartilhamento seja montado automaticamente quando o cliente inicializa.

Abra /etc/fstab e adicione a seguinte linha:

vi /etc/fstab

| [...] /etc/glusterfs/glusterfs.vol /mnt/glusterfs glusterfs defaults 0 0 |

Para testar se sua modificação em /etc/fstab está funcionando, reinicie o cliente:

reboot

Após a reinicialização, você deve encontrar o compartilhamento nas saídas de…

df -h

… e…

mount

4 Testando

Agora vamos criar um grande arquivo de teste no compartilhamento GlusterFS:

client1.example.com:

dd if=/dev/zero of=/mnt/glusterfs/test.img bs=1024k count=1000

ls -l /mnt/glusterfs

[root@client1 ~]# ls -l /mnt/glusterfs  
total 1024032  
-rw-r--r-- 1 root root 1048576000 2010-02-23 17:31 test.img  
[root@client1 ~]#

Agora vamos verificar o diretório /data/export em server1.example.com, server2.example.com, server3.example.com, e server4.example.com. Você deve ver o arquivo test.img em cada nó, mas com tamanhos diferentes (devido ao striping de dados):

server1.example.com:

ls -l /data/export

[root@server1 ~]# ls -l /data/export  
total 256008  
-rw-r--r-- 1 root root 1045430272 2010-02-23 17:31 test.img  
[root@server1 ~]#

server2.example.com:

ls -l /data/export

[root@server2 ~]# ls -l /data/export  
total 256008  
-rw-r--r-- 1 root root 1046478848 2010-02-23 17:27 test.img  
[root@server2 ~]#

server3.example.com:

ls -l /data/export

[root@server3 ~]# ls -l /data/export  
total 256008  
-rw-r--r-- 1 root root 1047527424 2010-02-23 17:26 test.img  
[root@server3 ~]#

server4.example.com:

ls -l /data/export

[root@server4 ~]# ls -l /data/export  
total 256008  
-rw-r--r-- 1 root root 1048576000 2010-02-23 17:30 test.img  
[root@server4 ~]#

5 Links

• GlusterFS: http://www.gluster.org/
• CentOS: http://www.centos.org/