Создание автономного сервера хранения, похожего на NFS, с GlusterFS 3.2.x на CentOS 6.3

Этот учебник показывает, как настроить автономный сервер хранения на CentOS 6.3. Вместо NFS я буду использовать GlusterFS. Клиентская система сможет получить доступ к хранилищу так, как если бы это была локальная файловая система. GlusterFS — это кластерная файловая система, способная масштабироваться до нескольких пета-байт. Она агрегирует различные блоки хранения через Infiniband RDMA или TCP/IP соединение в одну большую параллельную сетевую файловую систему. Блоки хранения могут быть сделаны из любого стандартного оборудования, такого как серверы x86_64 с SATA-II RAID и Infiniband HBA.

Я не даю никаких гарантий, что это сработает для вас!

1 Предварительная заметка

В этом учебнике я использую две системы, сервер и клиент:

server1.example.com: IP-адрес 192.168.0.100 (сервер)
server2.example.com: IP-адрес 192.168.0.101 (клиент)

Обе системы должны иметь возможность разрешать имя хоста другой системы. Если это невозможно сделать через DNS, вам следует отредактировать файл /etc/hosts, чтобы он выглядел следующим образом на обеих системах:

vi /etc/hosts

| 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 |

(Также возможно использовать IP-адреса вместо имен хостов в следующей настройке. Если вы предпочитаете использовать IP-адреса, вам не нужно беспокоиться о том, могут ли имена хостов быть разрешены или нет.)

2 Включение дополнительных репозиториев

server1/server2:

Сначала мы импортируем GPG-ключи для программного обеспечения:

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*

Затем мы включаем репозиторий EPEL6 на наших двух системах CentOS:

rpm --import https://fedoraproject.org/static/0608B895.txt

cd /tmp  
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-7.noarch.rpm  
rpm -ivh epel-release-6-7.noarch.rpm

yum install yum-priorities

Отредактируйте /etc/yum.repos.d/epel.repo…

vi /etc/yum.repos.d/epel.repo

… и добавьте строку priority=10 в секцию [epel]:

| [epel] name=Extra Packages for Enterprise Linux 6 - $basearch #baseurl=http://download.fedoraproject.org/pub/epel/6/$basearch mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-6&arch=$basearch failovermethod=priority enabled=1 priority=10 gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6 [...] |

3 Настройка сервера GlusterFS

server1.example.com:

GlusterFS доступен как пакет для EPEL, поэтому мы можем установить его следующим образом:

yum install glusterfs-server

Создайте ссылки на запуск системы для демона Gluster и запустите его:

chkconfig --levels 235 glusterd on  
/etc/init.d/glusterd start

Команда

glusterfsd --version

должна теперь показать версию GlusterFS, которую вы только что установили (в данном случае 3.2.7):

[root@server1 ~]# glusterfsd --version  
glusterfs 3.2.7 built on Jun 11 2012 13:22:28  
Repository revision: git://git.gluster.com/glusterfs.git  
Copyright (c) 2006-2011 Gluster Inc.   
GlusterFS comes with ABSOLUTELY NO WARRANTY.  
You may redistribute copies of GlusterFS under the terms of the GNU General Public License.  
[root@server1 ~]#

Если вы используете брандмауэр, убедитесь, что TCP порты 111, 24007, 24008, 24009-(24009 + количество блоков по всем томам) открыты на server1.example.com.

Далее мы создаем общий ресурс с именем testvol на localhost (= server1) в каталоге /data (он будет создан, если не существует):

gluster volume create testvol server1.example.com:/data

[root@server1 ~]# gluster volume create testvol server1.example.com:/data  
Creation of volume testvol has been successful. Please start the volume to access data.  
[root@server1 ~]#

Запустите том:

gluster volume start testvol

Вы можете проверить статус тома с помощью команды

gluster volume info

[root@server1 ~]# gluster volume info

Volume Name: testvol  
Type: Distribute  
Status: Started  
Number of Bricks: 1  
Transport-type: tcp  
Bricks:  
Brick1: server1.example.com:/data  
[root@server1 ~]#

Если вам говорят, что том запущен, все в порядке, в противном случае просто запустите его снова.

По умолчанию все клиенты могут подключаться к тому. Если вы хотите предоставить доступ только client1.example.com (= 192.168.0.101), выполните:

gluster volume set testvol auth.allow 192.168.0.101

Обратите внимание, что возможно использовать подстановочные знаки для IP-адресов (например, 192.168.*) и что вы можете указать несколько IP-адресов, разделенных запятой (например, 192.168.0.101,192.168.0.102).

Информация о томе теперь должна показывать обновленный статус:

gluster volume info

[root@server1 ~]# gluster volume info

Volume Name: testvol  
Type: Distribute  
Status: Started  
Number of Bricks: 1  
Transport-type: tcp  
Bricks:  
Brick1: server1.example.com:/data  
Options Reconfigured:  
auth.allow: 192.168.0.101  
[root@server1 ~]#

4 Настройка клиента GlusterFS

server2.example.com:

На клиенте мы можем установить клиент GlusterFS следующим образом:

yum install glusterfs-client

Затем создаем следующий каталог:

mkdir /mnt/glusterfs

Вот и все! Теперь мы можем смонтировать файловую систему GlusterFS в /mnt/glusterfs с помощью следующей команды:

mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

Теперь вы должны увидеть новый общий ресурс в выводах…

mount

[root@server2 ~]# mount  
/dev/mapper/vg_client1-LogVol00 on / type ext4 (rw)  
proc on /proc type proc (rw)  
sysfs on /sys type sysfs (rw)  
devpts on /dev/pts type devpts (rw,gid=5,mode=620)  
tmpfs on /dev/shm type tmpfs (rw)  
/dev/sda1 on /boot type ext4 (rw)  
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)  
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)  
server1.example.com:/testvol on /mnt/glusterfs type fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)  
[root@server2 ~]#

… и…

df -h

[root@server2 ~]# df -h  
Filesystem            Size  Used Avail Use% Mounted on  
/dev/mapper/vg_client1-LogVol00  
                      9.7G  1.7G  7.5G  19% /  
tmpfs                 499M     0  499M   0% /dev/shm  
/dev/sda1            504M   39M  440M   9% /boot  
server1.example.com:/testvol  
                      9.7G  1.7G  7.5G  19% /mnt/glusterfs  
[root@server2 ~]#

Вместо того чтобы монтировать общий ресурс GlusterFS вручную на клиенте, вы можете изменить /etc/fstab, чтобы общий ресурс монтировался автоматически при загрузке клиента.

Откройте /etc/fstab и добавьте следующую строку:

vi /etc/fstab

| [...] server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0 |

Чтобы проверить, работает ли ваш измененный /etc/fstab, перезагрузите клиент:

reboot

После перезагрузки вы должны найти общий ресурс в выводах…

df -h