Распределенное хранилище на четырех узлах хранения с GlusterFS на Fedora 12

Этот учебник показывает, как объединить четыре отдельных сервера хранения (работающих на Fedora 12) в один большой сервер хранения (распределенное хранилище) с помощью GlusterFS. Клиентская система (также Fedora 12) сможет получить доступ к хранилищу так, как если бы это была локальная файловая система. GlusterFS — это кластерная файловая система, способная масштабироваться до нескольких петабайт. Она агрегирует различные блоки хранения через Infiniband RDMA или TCP/IP в одну большую параллельную сетевую файловую систему. Блоки хранения могут быть собраны из любого стандартного оборудования, такого как серверы x86_64 с SATA-II RAID и Infiniband HBA.

Обратите внимание, что такой тип хранения (распределенное хранилище) не предоставляет никаких функций высокой доступности, как это было бы в случае с реплицированным хранилищем.

Я не даю никаких гарантий, что это будет работать для вас!

1 Предварительная заметка

В этом учебнике я использую пять систем, четыре сервера и один клиент:

• server1.example.com: IP-адрес 192.168.0.100 (сервер)
• server2.example.com: IP-адрес 192.168.0.101 (сервер)
• server3.example.com: IP-адрес 192.168.0.102 (сервер)
• server4.example.com: IP-адрес 192.168.0.103 (сервер)
• client1.example.com: IP-адрес 192.168.0.104 (клиент)

Все пять систем должны иметь возможность разрешать имена хостов других систем. Если это невозможно сделать через DNS, вам следует отредактировать файл /etc/hosts, чтобы он содержал следующие строки на всех пяти системах:

vi /etc/hosts

| [...] 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 server3.example.com server3 192.168.0.103 server4.example.com server4 192.168.0.104 client1.example.com client1 [...] |

(Также возможно использовать IP-адреса вместо имен хостов в следующей настройке. Если вы предпочитаете использовать IP-адреса, вам не нужно беспокоиться о том, могут ли имена хостов быть разрешены или нет.)

2 Настройка серверов GlusterFS

server1.example.com/server2.example.com/server3.example.com/server4.example.com:

Сервер GlusterFS доступен в виде пакета для Fedora 12, поэтому мы можем установить его следующим образом:

yum install glusterfs-server

Команда

glusterfs --version

должна теперь показать версию GlusterFS, которую вы только что установили (в данном случае 2.0.9):

[root@server1 ~]# glusterfs --version  
glusterfs 2.0.9 built on Jan  3 2010 00:12:49  
Repository revision: v2.0.9  
Copyright (c) 2006-2009 Gluster Inc.   
GlusterFS comes with ABSOLUTELY NO WARRANTY.  
You may redistribute copies of GlusterFS under the terms of the GNU General Public License.  
[root@server1 ~]#

Далее мы создаем несколько директорий:

mkdir /data/  
mkdir /data/export  
mkdir /data/export-ns

Теперь мы создаем файл конфигурации сервера GlusterFS /etc/glusterfs/glusterfsd.vol (сначала мы делаем резервную копию оригинального файла /etc/glusterfs/glusterfsd.vol), который определяет, какая директория будет экспортирована (/data/export) и какой клиент может подключаться (192.168.0.101 = client1.example.com):

cp /etc/glusterfs/glusterfsd.vol /etc/glusterfs/glusterfsd.vol_orig  
cat /dev/null > /etc/glusterfs/glusterfsd.vol  
vi /etc/glusterfs/glusterfsd.vol

| volume posix type storage/posix option directory /data/export end-volume volume locks type features/locks subvolumes posix end-volume volume brick type performance/io-threads option thread-count 8 subvolumes locks end-volume volume server type protocol/server option transport-type tcp option auth.addr.brick.allow 192.168.0.104 subvolumes brick end-volume |

Обратите внимание, что возможно использовать подстановочные знаки для IP-адресов (например, 192.168.*) и что вы можете указать несколько IP-адресов, разделенных запятой (например, 192.168.0.104,192.168.0.105).

После этого мы создаем ссылки для автозагрузки системы для сервера GlusterFS и запускаем его:

chkconfig --levels 35 glusterfsd on  
/etc/init.d/glusterfsd start