Archiviazione ad Alta Disponibilità Con GlusterFS 3.0.x Su Debian Squeeze - Replica Automatica dei File Tra Due Server di Archiviazione

Questo tutorial mostra come impostare un’archiviazione ad alta disponibilità con due server di archiviazione (Debian Squeeze) che utilizzano GlusterFS. Ogni server di archiviazione sarà un mirror dell’altro server di archiviazione, e i file saranno replicati automaticamente tra entrambi i server di archiviazione. Il sistema client (anch’esso Debian Squeeze) sarà in grado di accedere all’archiviazione come se fosse un filesystem locale. GlusterFS è un filesystem clusterizzato in grado di scalare fino a diversi petabyte. Aggrega vari mattoni di archiviazione su Infiniband RDMA o TCP/IP in un grande sistema di file di rete parallelo. I mattoni di archiviazione possono essere realizzati con qualsiasi hardware commerciale come server x86_64 con RAID SATA-II e HBA Infiniband.

Non rilascio alcuna garanzia che questo funzioni per te!

1 Nota Preliminare

In questo tutorial utilizzo tre sistemi, due server e un client:

• server1.example.com: indirizzo IP 192.168.0.100 (server)
• server2.example.com: indirizzo IP 192.168.0.101 (server)
• client1.example.com: indirizzo IP 192.168.0.102 (client)

Tutti e tre i sistemi dovrebbero essere in grado di risolvere i nomi host degli altri sistemi. Se ciò non può essere fatto tramite DNS, dovresti modificare il file /etc/hosts in modo che appaia come segue su tutti e tre i sistemi:

vi /etc/hosts

| 127.0.0.1 localhost.localdomain localhost 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 client1.example.com client1 # Le seguenti righe sono desiderabili per host compatibili con IPv6 ::1 localhost ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters ff02::3 ip6-allhosts |

(È anche possibile utilizzare indirizzi IP invece di nomi host nella configurazione seguente. Se preferisci utilizzare indirizzi IP, non devi preoccuparti se i nomi host possono essere risolti o meno.)

2 Impostazione Dei Server GlusterFS

server1.example.com/server2.example.com:

GlusterFS è disponibile come pacchetto per Debian Squeeze, quindi possiamo installarlo come segue:

apt-get install glusterfs-server

Il comando

glusterfs --version

dovrebbe ora mostrare la versione di GlusterFS che hai appena installato (3.0.5 in questo caso):

root@server1:~# glusterfs --version  
glusterfs 3.0.5 built on Jul 13 2010 16:44:21  
Repository revision: v3.0.5  
Copyright (c) 2006-2009 Gluster Inc.   
GlusterFS viene fornito senza ALCUNA GARANZIA.  
Puoi ridistribuire copie di GlusterFS secondo i termini della GNU General Public License.  
root@server1:~#

Successivamente creiamo alcune directory:

mkdir /data/  
mkdir /data/export  
mkdir /data/export-ns

Ora creiamo il file di configurazione del server GlusterFS /etc/glusterfs/glusterfsd.vol (facciamo prima un backup del file originale /etc/glusterfs/glusterfsd.vol) che definisce quale directory sarà esportata (/data/export) e quale client è autorizzato a connettersi (192.168.0.102 = client1.example.com):

cp /etc/glusterfs/glusterfsd.vol /etc/glusterfs/glusterfsd.vol_orig  
cat /dev/null > /etc/glusterfs/glusterfsd.vol  
vi /etc/glusterfs/glusterfsd.vol

| volume posix type storage/posix option directory /data/export end-volume volume locks type features/locks subvolumes posix end-volume volume brick type performance/io-threads option thread-count 8 subvolumes locks end-volume volume server type protocol/server option transport-type tcp option auth.addr.brick.allow 192.168.0.102 subvolumes brick end-volume |

Si prega di notare che è possibile utilizzare caratteri jolly per gli indirizzi IP (come 192.168.*) e che è possibile specificare più indirizzi IP separati da virgola (ad es. 192.168.0.102,192.168.0.103).

Successivamente avviamo il server GlusterFS:

/etc/init.d/glusterfs-server start

3 Impostazione Del Client GlusterFS

client1.example.com:

Sul client, possiamo installare il client GlusterFS come segue:

apt-get install glusterfs-client

Poi creiamo la seguente directory:

mkdir /mnt/glusterfs

Successivamente creiamo il file /etc/glusterfs/glusterfs.vol (facciamo prima un backup del file originale /etc/glusterfs/glusterfs.vol):

cp /etc/glusterfs/glusterfs.vol /etc/glusterfs/glusterfs.vol_orig  
cat /dev/null > /etc/glusterfs/glusterfs.vol  
vi /etc/glusterfs/glusterfs.vol

| volume remote1 type protocol/client option transport-type tcp option remote-host server1.example.com option remote-subvolume brick end-volume volume remote2 type protocol/client option transport-type tcp option remote-host server2.example.com option remote-subvolume brick end-volume volume replicate type cluster/replicate subvolumes remote1 remote2 end-volume volume writebehind type performance/write-behind option window-size 1MB subvolumes replicate end-volume volume cache type performance/io-cache option cache-size 512MB subvolumes writebehind end-volume |

Assicurati di utilizzare i nomi host o gli indirizzi IP corretti nelle righe option remote-host!

Ecco fatto! Ora possiamo montare il filesystem GlusterFS su /mnt/glusterfs con uno dei seguenti due comandi:

glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs

oppure

mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs

Ora dovresti vedere la nuova condivisione negli output di…

mount

root@client1:~# mount  
/dev/sda1 on / type ext3 (rw,errors=remount-ro)  
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)  
proc on /proc type proc (rw,noexec,nosuid,nodev)  
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)  
udev on /dev type tmpfs (rw,mode=0755)  
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)  
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)  
fusectl on /sys/fs/fuse/connections type fusectl (rw)  
/etc/glusterfs/glusterfs.vol on /mnt/glusterfs type fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)  
root@client1:~#

… e…

df -h

root@client1:~# df -h  
Filesystem            Size  Used Avail Use% Mounted on  
/dev/sda1              29G  778M   27G   3% /  
tmpfs                 249M     0  249M   0% /lib/init/rw  
udev                  244M  100K  244M   1% /dev  
tmpfs                 249M     0  249M   0% /dev/shm  
/etc/glusterfs/glusterfs.vol  
                     18G  848M   16G   5% /mnt/glusterfs  
root@client1:~#

( server1.example.com e server2.example.com hanno ciascuno 18GB di spazio per il filesystem GlusterFS, ma poiché i dati sono mirrorati, il client non vede 36GB (2 x 18GB), ma solo 18GB.)

Invece di montare manualmente la condivisione GlusterFS sul client, potresti modificare /etc/fstab in modo che la condivisione venga montata automaticamente all’avvio del client.

Apri /etc/fstab e aggiungi la seguente riga:

vi /etc/fstab

| [...] /etc/glusterfs/glusterfs.vol /mnt/glusterfs glusterfs defaults,_netdev 0 0 |

Per testare se la tua modifica a /etc/fstab funziona, riavvia il client:

reboot

Dopo il riavvio, dovresti trovare la condivisione negli output di…

df -h

… e…

mount

Se modificare /etc/fstab non aiuta, annulla la tua modifica a /etc/fstab e aggiungi questa riga a /etc/rc.local invece (prima della riga exit 0):

vi /etc/rc.local

| [...] /bin/mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs [...] |

Questo assicura che la condivisione venga montata dopo che la rete è attiva.

4 Test

Ora creiamo alcuni file di test sulla condivisione GlusterFS:

client1.example.com:

touch /mnt/glusterfs/test1  
touch /mnt/glusterfs/test2

Ora controlliamo la directory /data/export su server1.example.com e server2.example.com. I file test1 e test2 dovrebbero essere presenti su ciascun nodo:

server1.example.com/server2.example.com:

ls -l /data/export

root@server1:~# ls -l /data/export  
total 0  
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1  
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test2  
root@server1:~#

Ora spegniamo server1.example.com e aggiungiamo/eliminiamo alcuni file sulla condivisione GlusterFS su client1.example.com.

server1.example.com:

shutdown -h now

client1.example.com:

touch /mnt/glusterfs/test3  
touch /mnt/glusterfs/test4  
rm -f /mnt/glusterfs/test2

Le modifiche dovrebbero essere visibili nella directory /data/export su server2.example.com:

server2.example.com:

ls -l /data/export

root@server2:~# ls -l /data/export  
total 0  
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1  
-rw-r--r-- 1 root root 0 2012-03-29 14:52 test3  
-rw-r--r-- 1 root root 0 2012-03-29 14:52 test4  
root@server2:~#

Riavviamo server1.example.com e diamo un’occhiata alla directory /data/export:

server1.example.com:

ls -l /data/export

root@server1:~# ls -l /data/export  
total 0  
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1  
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test2  
root@server1:~#

Come puoi vedere, server1.example.com non ha notato le modifiche avvenute mentre era spento. Questo è facile da risolvere, tutto ciò che dobbiamo fare è invocare un comando di lettura sulla condivisione GlusterFS su client1.example.com, ad esempio:

client1.example.com:

ls -l /mnt/glusterfs/

root@client1:~# ls -l /mnt/glusterfs/  
total 8  
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1  
-rw-r--r-- 1 root root 0 2012-03-29 14:52 test3  
-rw-r--r-- 1 root root 0 2012-03-29 14:52 test4  
root@client1:~#

Ora dai un’occhiata alla directory /data/export su server1.example.com di nuovo, e dovresti vedere che le modifiche sono state replicate a quel nodo:

server1.example.com:

ls -l /data/export

root@server1:~# ls -l /data/export  
total 8  
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1  
-rw-r--r-- 1 root root 0 2012-03-29 14:52 test3  
-rw-r--r-- 1 root root 0 2012-03-29 14:52 test4  
root@server1:~#

5 Link

• GlusterFS: http://www.gluster.org/
• Debian: http://www.debian.org/