Hochverfügbarkeits-Speicher mit GlusterFS auf Debian Lenny - Automatische Dateireplikation über zwei Speicher-Server - Seite 2

3 Einrichtung des GlusterFS-Clients

client1.example.com:

Auf dem Client müssen wir fuse und GlusterFS installieren. Anstatt das Paket libfuse2 aus dem Debian-Repository zu installieren, installieren wir eine gepatchte Version mit besserer Unterstützung für GlusterFS.

Zuerst installieren wir die Voraussetzungen erneut:

aptitude install sshfs build-essential flex bison byacc libdb4.6 libdb4.6-dev

Dann bauen wir fuse wie folgt (die neueste gepatchte fuse-Version finden Sie unter ftp://ftp.zresearch.com/pub/gluster/glusterfs/fuse/):

cd /tmp  
wget ftp://ftp.zresearch.com/pub/gluster/glusterfs/fuse/fuse-2.7.4glfs11.tar.gz  
tar -zxvf fuse-2.7.4glfs11.tar.gz  
cd fuse-2.7.4glfs11  
./configure  
make && make install

Anschließend bauen wir GlusterFS (genau wie auf dem Server)…

cd /tmp  
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.1.tar.gz  
tar xvfz glusterfs-2.0.1.tar.gz  
cd glusterfs-2.0.1  
./configure --prefix=/usr > /dev/null

make && make install  
ldconfig  
glusterfs --version

… und erstellen die folgenden zwei Verzeichnisse:

mkdir /mnt/glusterfs  
mkdir /etc/glusterfs

Als nächstes erstellen wir die Datei /etc/glusterfs/glusterfs.vol:

vi /etc/glusterfs/glusterfs.vol

| volume remote1 type protocol/client option transport-type tcp option remote-host server1.example.com option remote-subvolume brick end-volume volume remote2 type protocol/client option transport-type tcp option remote-host server2.example.com option remote-subvolume brick end-volume volume replicate type cluster/replicate subvolumes remote1 remote2 end-volume volume writebehind type performance/write-behind option window-size 1MB subvolumes replicate end-volume volume cache type performance/io-cache option cache-size 512MB subvolumes writebehind end-volume |

Stellen Sie sicher, dass Sie die richtigen Server-Hostnamen oder IP-Adressen in den Zeilen option remote-host verwenden!

Das war’s! Jetzt können wir das GlusterFS-Dateisystem mit einem der folgenden beiden Befehle in /mnt/glusterfs einhängen:

glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs

oder

mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs

Sie sollten jetzt den neuen Share in den Ausgaben von…

mount

client1:/tmp/glusterfs-2.0.1# mount  
/dev/sda1 on / type ext3 (rw,errors=remount-ro)  
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)  
proc on /proc type proc (rw,noexec,nosuid,nodev)  
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)  
udev on /dev type tmpfs (rw,mode=0755)  
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)  
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)  
fusectl on /sys/fs/fuse/connections type fusectl (rw)  
/etc/glusterfs/glusterfs.vol on /mnt/glusterfs type fuse.glusterfs (rw,max_read=131072,allow_other,default_permissions)  
client1:/tmp/glusterfs-2.0.1#

… und…

df -h

client1:/tmp/glusterfs-2.0.1# df -h  
Filesystem            Size  Used Avail Use% Mounted on  
/dev/sda1             29G  935M   27G   4% /  
tmpfs                 126M     0  126M   0% /lib/init/rw  
udev                  10M   80K   10M   1% /dev  
tmpfs                 126M     0  126M   0% /dev/shm  
/etc/glusterfs/glusterfs.vol  
                     19G  804M   17G   5% /mnt/glusterfs  
client1:/tmp/glusterfs-2.0.1#

( server1.example.com und server2.example.com haben jeweils 19 GB Speicherplatz für das GlusterFS-Dateisystem, aber da die Daten gespiegelt sind, sieht der Client nicht 38 GB (2 x 19 GB), sondern nur 19 GB.)

Anstatt den GlusterFS-Share manuell auf dem Client zu mounten, könnten Sie /etc/fstab ändern, damit der Share automatisch beim Booten des Clients gemountet wird.

Öffnen Sie /etc/fstab und fügen Sie die folgende Zeile hinzu:

vi /etc/fstab

| [...] /etc/glusterfs/glusterfs.vol /mnt/glusterfs glusterfs defaults 0 0 |

Um zu testen, ob Ihr modifiziertes /etc/fstab funktioniert, starten Sie den Client neu:

reboot

Nach dem Neustart sollten Sie den Share in den Ausgaben von…

df -h

… und…

mount

4 Testen

Jetzt erstellen wir einige Testdateien im GlusterFS-Share:

client1.example.com:

touch /mnt/glusterfs/test1  
touch /mnt/glusterfs/test2

Jetzt überprüfen wir das Verzeichnis /data/export auf server1.example.com und server2.example.com. Die Dateien test1 und test2 sollten auf jedem Knoten vorhanden sein:

server1.example.com/server2.example.com:

ls -l /data/export

server1:~# ls -l /data/export  
total 0  
-rw-r--r-- 1 root root 0 2009-06-02 15:31 test1  
-rw-r--r-- 1 root root 0 2009-06-02 15:32 test2  
server1:~#

Jetzt fahren wir server1.example.com herunter und fügen löschen einige Dateien im GlusterFS-Share auf client1.example.com hinzu.

server1.example.com:

shutdown -h now

client1.example.com:

touch /mnt/glusterfs/test3  
touch /mnt/glusterfs/test4  
rm -f /mnt/glusterfs/test2

Die Änderungen sollten im Verzeichnis /data/export auf server2.example.com sichtbar sein:

server2.example.com:

ls -l /data/export

server2:/tmp/glusterfs-2.0.1# ls -l /data/export  
total 0  
-rw-r--r-- 1 root root 0 2009-06-02 15:31 test1  
-rw-r--r-- 1 root root 0 2009-06-02 15:32 test3  
-rw-r--r-- 1 root root 0 2009-06-02 15:33 test4  
server2:/tmp/glusterfs-2.0.1#

Lassen Sie uns server1.example.com erneut starten und einen Blick auf das Verzeichnis /data/export werfen:

server1.example.com:

ls -l /data/export

server1:~# ls -l /data/export  
total 0  
-rw-r--r-- 1 root root 0 2009-06-02 15:31 test1  
-rw-r--r-- 1 root root 0 2009-06-02 15:32 test2  
server1:~#

Wie Sie sehen, hat server1.example.com die Änderungen, die während seiner Ausfallzeit vorgenommen wurden, nicht bemerkt. Das ist leicht zu beheben, wir müssen nur einen Lese-Befehl auf dem GlusterFS-Share auf client1.example.com ausführen, z.B.:

client1.example.com:

ls -l /mnt/glusterfs/

client1:~# ls -l /mnt/glusterfs/  
total 0  
-rw-r--r-- 1 root root 0 2009-06-02 15:31 test1  
-rw-r--r-- 1 root root 0 2009-06-02 15:32 test3  
-rw-r--r-- 1 root root 0 2009-06-02 15:33 test4  
client1:~#

Jetzt schauen Sie sich das Verzeichnis /data/export auf server1.example.com erneut an, und Sie sollten sehen, dass die Änderungen auf diesen Knoten repliziert wurden:

server1.example.com:

ls -l /data/export

server1:~# ls -l /data/export  
total 0  
-rw-r--r-- 1 root root 0 2009-06-02 15:31 test1  
-rw-r--r-- 1 root root 0 2009-06-02 15:52 test3  
-rw-r--r-- 1 root root 0 2009-06-02 15:52 test4  
server1:~#

5 Links

• GlusterFS: http://www.gluster.org/
• Debian: http://www.debian.org/