Стрипинг на четырех узлах хранения с GlusterFS на Fedora 12

Этот учебник показывает, как выполнить стрипинг данных (сегментацию логически последовательных данных, таких как один файл, так, чтобы сегменты могли быть назначены нескольким физическим устройствам по круговой схеме и, таким образом, записываться одновременно) на четырех отдельных серверах хранения (работающих на Fedora 12) с GlusterFS. Клиентская система (также Fedora 12) сможет получить доступ к хранилищу так, как если бы это была локальная файловая система. GlusterFS — это кластерная файловая система, способная масштабироваться до нескольких петабайт. Она агрегирует различные блоки хранения через Infiniband RDMA или TCP/IP соединение в одну большую параллельную сетевую файловую систему. Блоки хранения могут быть сделаны из любого стандартного оборудования, такого как серверы x86_64 с SATA-II RAID и Infiniband HBA.

Обратите внимание, что такой тип хранения не предоставляет никаких функций высокой доступности/устойчивости к сбоям, как это было бы в случае с реплицированным хранилищем.

Я не даю никаких гарантий, что это сработает для вас!

1 Предварительная заметка

В этом учебнике я использую пять систем, четыре сервера и один клиент:

• server1.example.com: IP-адрес 192.168.0.100 (сервер)
• server2.example.com: IP-адрес 192.168.0.101 (сервер)
• server3.example.com: IP-адрес 192.168.0.102 (сервер)
• server4.example.com: IP-адрес 192.168.0.103 (сервер)
• client1.example.com: IP-адрес 192.168.0.104 (клиент)

Все пять систем должны иметь возможность разрешать имена хостов других систем. Если это невозможно сделать через DNS, вам следует отредактировать файл /etc/hosts, чтобы он содержал следующие строки на всех пяти системах:

vi /etc/hosts

| [...] 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 server3.example.com server3 192.168.0.103 server4.example.com server4 192.168.0.104 client1.example.com client1 [...] |

(Также возможно использовать IP-адреса вместо имен хостов в следующей настройке. Если вы предпочитаете использовать IP-адреса, вам не нужно беспокоиться о том, могут ли имена хостов быть разрешены или нет.)

2 Настройка серверов GlusterFS

server1.example.com/server2.example.com/server3.example.com/server4.example.com:

Сервер GlusterFS доступен в виде пакета для Fedora 12, поэтому мы можем установить его следующим образом:

yum install glusterfs-server

Команда

glusterfs --version

должна теперь показать версию GlusterFS, которую вы только что установили (в данном случае 2.0.9):

[root@server1 ~]# glusterfs --version  
glusterfs 2.0.9 built on Jan  3 2010 00:12:49  
Repository revision: v2.0.9  
Copyright (c) 2006-2009 Gluster Inc.   
GlusterFS comes with ABSOLUTELY NO WARRANTY.  
You may redistribute copies of GlusterFS under the terms of the GNU General Public License.  
[root@server1 ~]#

Затем мы создаем несколько директорий:

mkdir /data/  
mkdir /data/export  
mkdir /data/export-ns

Теперь мы создаем файл конфигурации сервера GlusterFS /etc/glusterfs/glusterfsd.vol (сначала мы делаем резервную копию оригинального файла /etc/glusterfs/glusterfsd.vol), который определяет, какая директория будет экспортирована (/data/export) и какой клиент может подключаться (192.168.0.101 = client1.example.com):

cp /etc/glusterfs/glusterfsd.vol /etc/glusterfs/glusterfsd.vol_orig  
cat /dev/null > /etc/glusterfs/glusterfsd.vol  
vi /etc/glusterfs/glusterfsd.vol

| volume posix type storage/posix option directory /data/export end-volume volume locks type features/locks subvolumes posix end-volume volume brick type performance/io-threads option thread-count 8 subvolumes locks end-volume volume server type protocol/server option transport-type tcp/server option auth.addr.brick.allow 192.168.0.104 subvolumes brick end-volume |

Обратите внимание, что возможно использовать подстановочные знаки для IP-адресов (например, 192.168.*) и что вы можете указать несколько IP-адресов, разделенных запятой (например, 192.168.0.104,192.168.0.105).

После этого мы создаем системные ссылки для запуска сервера GlusterFS и запускаем его:

chkconfig --levels 35 glusterfsd on  
/etc/init.d/glusterfsd start