Первые впечатления от использования распределенной файловой системы Moosefs

Здравствуйте.

Давно ничего не писал, т.к. как то не было времени и вот решил написать короткую заметку по использования распределенной файловой системе moosefs.

Кто не знает что это такое — могут найти много информации в интернете, но вкратце — это бесплатная распределенная файловая системас защитой от сбоев. 

Что же это такое?

Попробую объяснить на своем примере.

Мне нужно организовать хранилище, желательно минимальной стоимости, с защитой от сбоев дисков и аппаратного обеспечения.

Вариантов у меня не много: 

1 Это купить какой то NAS, но, они очень дороги, защиты от сбоя самого железа нет, не масштабируются (недорогие версии)

2. Использовать распределенную файловую систему.

Я выбрал второй вариант по нескольким причинам:

* NAS-ы очень дороги

* NAS-ы не защищают от сбоя железа

* NAS-ы не масштабируются, а моя задача пока не имеет лимитов по объему данных.

Я взял для применения Moosefs, т.к. она бесплатно, понятна, используется во многих предприятиях.(Думал над ceph, но пока как то не сложилось)

Взял два компьютера с обычной начинкой (на самом деле нужна хорошая начинка для решения задач), поставил сколько есть/возможно дисков и установил moosefs.

на третем комьпютере ( с данными)  подмонтировал созданный кластер и получил массив данных объемом 16ТБ. Но, поскольку мне нужна защита от сбоев дисков и аппаратной составляющей — я сделал в нем как бы зеркало, поэтому реально доступно 8ТБ данных. В данном хранилище

* может неглавнйы компьютер может спокойно умереть и клиенты этого не почувствуют.

* если умрет главный сервер (mfsmaster), то можно его поднять на неглавном используя данные с metalogger-сервера.

* если умрет любой диск — данные не потеряются.

конечно, у данной файловой системы есть слабые стороны — наличие единой точки отказа — mfsmaster-сервера, НО, теоретически возможно ораганизовать отказоустойчивое решение, что и будет потом сделано.

В реальности на этих двух серверах стоит кластер proxmox, поэтому если загнать mfsmaster-а в виртуалку, то возможно организовать HA-решение.

Использую данную FS недолго, примерно около месяца и что могу скзаать:

* Множество маленьких файлов записыывается в кластер медленно.

* Большие файлы пишутся на максимальнйо скорости (на 1ГБ сети это около 30 МБ/с для моего железа)

* Если падает по какой то причине один из серверов, то возможны какие то потери файлов, чего в принципе не должно быть.

* Если есть диск по которму идут ошибки  (умирает) то он может создатьва пробелмы в виде потерянных файлов.

* Чтение идет на большой скорости, т.к. если файл  большой, то чтение идет сразу с нескльких узлов (частями. в терминалогии MFS — чанками).

*  Сейчас на ФС хранится чуть более 3 млн файлов и на каждом хосте используется демонами около 1,4ГБ ОЗУ. (на хостах по 12ГБ ОЗУ)

Потери конечо у меня есть, но они, думаю вызваны тем что железо, к сожалению, по некоторым причинам пока работает не стабильно и один из дисков дает периодические ошибки (будет заменен). Потери не большие — доли процента, что для меня, в принципе не так страшно. Бэкап однако никто не отменял (пока нет).

Мне нравится что его можно почти неограничено масштабировать.  Текущая конфигураци дисков  : на каждом по 2х1,5ТБ+2х3ТБ. Общий обем 16ТБ, занято 14ТБ.

Кластер стоился не только как хранилище, но и по совместительсту рабочая лошадка для работы виртуальных машин… работаем и реализуем свои задумки.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

CAPTCHA image
*