{SOLVED} Gentoo сервер, выбираю ...
Доброго дня джентельменам.
Я пришёл к линуксу благодаря двум факторам, статье Леонида Каганова "За что я ненавижу Виндоус" и попытке присобачить старый комп под сервер на nas4free. Соответственно десктопы личные пережили Alt linux, mint linux, lxde ubuntu и стабилизировались на Gentoo. Десктопы родственные при этом стабилизировались на mint. Хотя вся линуксолизация была изначально задумана исключительно для понимания работы с nas4free.
Сегодня я созрел в линуксе для попытки установки полной оси на сервер. Nas4free отличное решение для чайника, просто мне кажется, что я из него вырос. Выбор сервера - штука сложная, и на этом самом форуме, десятилетней давности посты, не вдохновляют для установки gentoo на сервер. Что изменилось за десять лет?
Лучше всего в выборе линукса в принципе работает народная мудрость. Например "...реже отбрасывает копыта, чем склеивает ласты..." потому сегодня я за Фряху. Потому что консервативна, и ZFS это сила, мощь и как система хранения данных чайника великолепна.
Есть ли она нативно в gentoo и как работает тут?
Немного флуда:
Gentoo прописался на десктопах не просто так. Полгода я перепрыгивал порог вхождения в Alt, и при всём уважении к team и сизифову труду этой команды, в mint я вошёл с огромным облегчением, как будто вёдра от ног отвязали. Gentoo за те же полгода провела меня через порог и дала в понимании linux больше, чем все остальные вместе взятые. Большое уважение к handbook и этому форуму. Потому вопрос и возник, может ли gentoo стать толковым сервером с ZFS? Потому что к ZFS я проникся не меньшим уважением.
- Для комментирования войдите или зарегистрируйтесь
.
Нативно - модуль ядра sys-fs/zfs-kmod (при желании - с оптимизациями custom-cflags). Как работает, сказать не могу, потому, как без мощной статистики такие рекомендации ненадёжны, а у меня её как раз нет. Лучше посмотрете в архив мэйл-лист девелоперов
Мы тоже не всего читали Шнитке!.. © В. Вишневский
Спасибо, посмотрю!
Спасибо, посмотрю!
ZFS в Gentoo работает
ZFS в Gentoo работает стабильно.
Использую около 2-х лет в качестве корневой на ноутбуке (сейчас еще добавилась домашняя файлопомойка), не жалуюсь.
При первой установке Gentoo с корнем на ZFS возникнут трудности, так как нужен LIVECD с поддержкой ZFS,
вот здесь есть то что надо: http://mirror.yandex.ru/gentoo-distfiles/releases/amd64/20160704/ (если мне память не изменяет).
Еще один важный момент, нужно предусмотреть загрузочную область на диске (или на каждом диске) объемом примерно 100Mb, под EFI раздел.
Следующие шаги по созданию zfs-пула я опишу, ожидая что вы загрузились с LIVECD и готовы к установке системы, да, и у вас один HDD разбит на два раздела.
zpool create -f rpool sda2
zfs umount rpool
zfs set mountpoint=/mnt/gentoo rpool
zfs set canmount= off rpool
zfs create rpool/ROOT
zfs set mountpoint=legacy rpool/ROOT
zfs set bootfs=rpool/ROOT rpool
mount -t zfs rpool/ROOT /mnt/gentoo
zfs-пулл создан, примонтирован и готов к разворачиванию системы.
Как я понял вы уже имели опыт эксплуатации zfs, и тем не менее я позволю себе дать вам пару советов.
Не выносите системные каталоги в отдельный разделы, лучше придерживаться такой схемы:
все системные файлы в корне, а в отдельные разделы выносятся portage, distfiles, log, home и все остальные разделы, которые имеют тенденцию к росту.
После создания раздела, сразу ограничивайте размер.
Например:
zfs create -o mountpoint=/mnt/gentoo/var/portage rpool/portage
zfs set reservation=1G rpool/portage
zfs set quota=1G rpool/portage
zfs create -o mountpoint=/mnt/gentoo/var/distfiles rpool/distfiles
zfs set reservation=10G rpool/distfiles
zfs set quota=10G rpool/distfiles
zfs create -o mountpoint=/mnt/gentoo/var/log rpool/log
zfs set rezervation=1G rpool/log
zfs set quota=1G rpool/log
zfs create -o mountpoint=/mnt/gentoo/home rpool/home
zfs set reservation=100G rpool/home
zfs set quota=100G rpool/home
Первоначальная структура пула готова и смонтирована по пути /mnt/gentoo
Дальше вы собираете систему по хендбуку. Единственно ядро и к нему initramfs, придется собирать самому.
Я использую вот такой файл init в своем initramfs:
Когда система собрана и готова к перезагрузки, нужно отмонтировать zfs-пул и прописать правильные пути в точки монтирования.
zfs umount -a
umount /mnt/gentoo
zfs set mountpoint=/home rpool/home
zfs set mountpoint=/var/log rpool/log
zfs set mountpoint=/var/distfiles rpool/distfiles
zfs set mountpoint=/var/portage rpool/portage
zfs set mountpoint=/ rpool
zpool export rpool
Собственно на этом все.
Если все сделано правильно, система загрузится с zfs.
И на последок, если вам придется несколько раз руками перемонтировать пул в процессе установки, следите что-бы в пути, указанном как точка монтирования для раздела, не было лишних файлов, иначе zfs-раздел не смонтируется. Особенно это относится к разделу /var/log
Я типичный русский колхозник.
Долго запрягаю, быстро езжу и сильно торможу...
RAM w/ZFS
А сколько оперативы на ноутбуке? Как оно (ZFS) по "жручести" памяти?
Ноутбук: DELL latitude E6410,
Ноутбук: DELL latitude E6410, RAM - 4Gb, CPU - core i5 M560 2.67GHz
ПО: postgresql, xmonad, firefox, virtualbox
Тормозов не замечаю, разве что в те моменты, когда идет активный дисковый ввод-вывод (например копирование/перенос большого объема данных с/на внешний накопитель).
Но это связанно скорее с апаратным устройством ноутбука, чем с использованием zfs.
Меня ZFS подкупает гибкость организации дискового пространства, особенно преимущества проявляются когда zfs-пул развернут на нескольких HDD.
Я типичный русский колхозник.
Долго запрягаю, быстро езжу и сильно торможу...
LVM?
Ну, на ноуте ввод-вывод как правило тормозной, скорее всего не в ZFS дело.
А что до гибкости организации дискового пространства, так есть старый ламповый LVM :)
/
…или
BtrFS
.:wq
--
Live free or die
BtrFS не юзал, сказать ничего
BtrFS не юзал, сказать ничего не могу, а вот насчет LVM - ZFS, ИМХО, будет поудобнее )
Я типичный русский колхозник.
Долго запрягаю, быстро езжу и сильно торможу...
БтрФС ни разу не замена ЛВМ! :)
БтрФС ни разу не замена ЛВМ, скорее это функциональный аналог ЗФС и гибкости (логической) там ноль!
Т.е. ты никак не сможешь использовать никакую иную файловую систему на логических дисках кроме самого Бтр'а в отличие от ЛВМ, где хоть (ВИН)ДОС ставь!
Вся гибкость там на физическом уровне только, когда много дисков, то она их перераспределяет "оптимальным" образом... :) Ну и "логические" тома быстро создает, поскольку ничего форматировать реально не надо - "...все уже отформатировано до нас..." (С) :), ибо везде (т.е. на всех логических томах) едет только Бтр. Грубо можно считать, что логический том - это просто директория в основном (глобальном) томе, коим является множество всех дисков БТР'а.
Ну и где тут твоя гибкость?!..
Образно говоря, если контейнер - это недоВМ, то логический том на БТР'е - это недоЛВ! :)
/
Вопрос сколько (зачем и на каких задачах) той гибкости нужно?
И мы, вслед за вопросом о годном букваре, приходим к вопросам о критериях выбора файловых систем и оценке необходимости/цены и области применимости RAID.
:wq
--
Live free or die
Спасибо kesha за ценный
Спасибо kesha за ценный личный опыт.
В моём случае применимо частично: имеющиеся 3 диска в raidz уже полностью сформированы и их трогать нельзя, и места даже для mbr там нет, для efi нет совсем. Потеря информации на них будет личной катастрофой, потому никаких движений с переразметкой я делать не могу.
Есть желание вытащить embedded флешку, на её место воткнуть спичечный коробок контейнера с 64 Гб ssd msata диска, на который и установить OS, в неё импортировать существующие пулы и излишки гигабайт отдать под кэширование этого самого raidz. Что по идее должно на порядок повысить его отзывчивость.
Проблем с квотированием я тут тоже не вижу, места хватает.
Ядро собрать сумею.
Initramfs по рекомендации упомянутого handbook отдам на откуп genkernell :-))
Но описанное Вами сделать через Vbox будет интересно. При прочтении пришла шальная мысль ставить на загрузочный диск именно ZFS stripe вместо UFS, что реализует давнюю мою "мечту идиота" о вседозволенности любых экспериментов с системой. Упал - откатился на предыдущий снапшот. Две минуты на решение любых проблем, ревнителей unix way прошу не бить тапком, право мечтать имеет каждый и узурпация этой мечты MS не делает её эээ... падшей.
Для локалхоста оно хорошо,даж
Для локалхоста оно хорошо,даж для средней говнопорнофайлопомойки на 50 зверьков ничего.Но ошибки в ДНК не дают разогнать ее до хотя бы 1-й космической,в отличии от цепха и прочих osd.
Не,если линканутся к libzfs аппсом,наверно оно разгонится - но нахрена козе баян?
Итак,ошибки ДНК в линуксе:
* свой менеджер памяти, не отдающий рам обратно.
* нет полной поддержки DIRECT I/O ( искази плачет и хочет наддутый файл )
* йопсы не зависят от количества шпинделей и максимум их около 2000,даже с лацом и л2
* мелочевка вроде отсустсвия поддержки селя ( почти починили )
* дедуп жрет рам как не в себя :)
* .zfs/share не работает,в отличии от соляры
-----------------------------------------------
* обвязка из скриптов стала лучше,но все одно - не соляра.Евенты zed тоже недоделаны.Впрочем версия 0.6.xxx вместо 1.ххх намекает,что пока что для тяжелого прода оно пригодно ограниченно.
Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)
o_O
Спрошу как одмин локалхоста:
папа, с кем это ты сейчас разговаривал?
Интуитивно - эмоционально
Интуитивно - эмоционально понятно, что будет ряд проблем, которых бы не было в нативных Фре и Солярисе.
Разбиваю вопрос на два:1.
Разбиваю вопрос на два:
1. Генту. Для локалхостов Генту практически идеальное решение, т.к. позволяет настроить/изучить все и вся. В производстве появляются нюансы в лице корпоративной политики, мнения/пожелания начальства, наличия хотя бы нескольких специалистов и пр.
2. ЗФС. На мой взгляд для любых Линуксовых установок БтрФС при схожих возможностях будет более логичным и надежным решением, т.к. ФС идет "из коробки" (в ядре) и запускается сразу без каких-либо плясок с бубном и поиска самопальных "гаражных" решений на левых сайтах. Проблемы обновления также нет по той же (см. выше) причине. К тому же БтрФС позволяет очень эффективно работать с контейнерами Докера (не знаю, насколько это актуально, впрочем).
Но реальная выгода и смысл использования как ЗФС, так и БтрФС, проявляется только при наличии нескольких (минимум трех, на мой взгляд) дисков.
Это все, так сказать, "навскидку". Более точно можно оценивать только зная целевое назначение, требования к надежности/простою, условия эксплуатации и пр. конкретику сервера.
БТРфс тестил alv и даже в
БТРфс тестил alv и даже в родных осинах она не показалась ему. Посмотрел что есть контейнеры Докера, похоже jail и bhyve. И очень не хочется погружаться в новую семантику, меня и mate обескураживало новыми именами старых гномиков. Чувствуешь себя больной шизофренией Белоснежкой.
С разделением вопроса на два согласен, и мысль понятна. В общем-то вопрос исчерпан.
Если это было хотя бы год назад
Если это было хотя бы год назад, то уже может быть не актуально, т.к. БТР развивается/улучшается весьма стремительно. Кроме того надо иметь ввиду, что
sys-fs/btrfs-progs
очень привязан к ядру и его обязательно надо обновлять при обновлении ядра (мажорные версии, т.е. 4.8.*, например, у них должны совпадать!) для реализации всех возможностей. Идеально, еслиsys-kernel/linux-headers
также имеет ту же мажорную версию (не забывать сразу же и прежде всего перекомпилироватьglibc/binutils/gcc
при обновленииlinux-headers
!. :)Я сам еще недавно был среди тех, кто не любит БТР (так же как и системД), но сейчас, как профессионал, признаю, что она имеет право на жизнь в определенных ситуациях. У нас сейчас в производстве практически везде (сотни серверов) стоит системд, примерно половина из них используют контейнеры системд на БТР'ах. Причем абсолютно везде стоит Генту! ;)
Спасибо SysA за открытие глаз
Спасибо SysA
за открытие глаз на новое неизведанное. Боюсь, что пропасть между старым неизведанным и новым неизведанным сократило масштаб моего самомнения :-) ещё вдвое. Прав был Маяк, "Единица -вздор, единица - ноль, голос единицы тоньше писк[аи]"
Ничего не понял, кроме
Ничего не понял, кроме 'спасибо' :) но удачи тебе в познании неизведанного!
/
Если про сыстемду, то то мотив создания.
Что не является достаточным основанием для практического применения.
ЗЫ: Долой лженауку-кибернетику!
:wq
--
Live free or die
С месяц назад огреб проблемы
С месяц назад огреб проблемы с обазами вм на btrfs. Как выяснилось, баг старый. Стремительно исправлять разработчики не спешат, а возможно и принципиально не могут. У них ведь более интересные задачи по скрещиванию ужа с ежом :). Таким образом сия фс далеко не всегда и далеко не везде. Что интересно профессионал, обладая большим объемам железа, вполне может себе позволить ее , ибо там где не справится одно - будет стоять другое. Админу же локалхоста, у которого полтера на ноуте и куча разнообразных задач на 4 ядрах узкоспециализированная (как внезапно оказалось) btrfs при всех ее плюшках ИМХО в на сегодня противопоказана.
Ты тут как бы не в тему -
Ты тут как бы не в тему - рассматривался БТР против ЗФС.
И таки да, БТР не везде пройдет. Например, как и у вас, - с большими файлами, а также с базами его использовать не рекомендуется, и с большими CVS/SVN/GIT у него бывают проблемы, так же как и с rsync'ом по очень большим файловым системам. Но, надо отметить, что и ЗФС в аналогичных применениях имеет схожие проблемы, потому как природа проблем практически одна, так же как и их достоинства схожи. Поэтому их сравнивать между собой вполне корректно, а, например, с ехт4 - не очень, так сферы применения и цели другие. Я, кстати, никогда и не говорил, что БТР нужно везде втыкать!..
Кстати, применение БТР, также как и ЗФС на системах с одним диском это вообще полный абсурд (как РАЙД на одном диске в разных разделах!) и абсолютное непонимание как они работают. Старый добрый ЛВМ подойдет тут куда лучше. А на электронных дисках обе эти системы вообще отдельная песня. Если диск не серверный с большим числом циклов перезаписи, то БТР/ЗФС убьют его быстрее, т.к. у них на активных (на запись) дисках идет практически постоянная фоновая перезапись/перемещение данных (оптимизация внутренней структуры!). :)
А что же касается локалхоста, то у меня, например, на домашнем десктопе с 5 дисками стоят RAID1, RAID10, RAID5, RAID6, LVM, BtrFS, ext[234], reiserfs, FAT32 и NTFS. Каждым данным свое + эксперименты... ;)
Так что просто прежде всего надо определиться с конкретными потребностями, но и не забывать о перспективе и наработке опыта. А по теме: ЗФС не приживается в Линуксе по лицензионным причинам и потихоньку умирает. В то время как БтрФС тут бурно развивается в свете роста популярности контейнеров, в частности. Вот и думайте...
Дисков у меня пять, три в
Дисков у меня пять, три в raid-z и два, как Вы сказали в абсурдном srtipe. Stripe отчасти из за снапшотов, практика показывает, что самый опасный вирус в системе, это Я, и предохраняет от него-меня. Плюс в UFS некорректно отображается размер диска, я так и не понял почему. Плюс хранение фотографий начала миллениума - неожиданно заметил, что часть фоток утрачена на терабайтнике WD невосстановимо. Вот тогда то я и замутил raid-z ZFS с периодическим скрабом пулов. За пять лет, пришлось восстанавливать последствия и рук своих, и сбоев памяти,и замены диска в пуле и что самое важное - получалось восстанавливать данные в других случаях уже потерянных бы необратимо. Тот же терабайтник умер в день, на 96% уйдя в бэдблоки. Рассыпался как скелет в Индиана Джонсе, прям в руках. Это было неизгладимое впечатление. Старые ДВД с видео умерших бабушки и дедушки тоже при недавней проверке дали дуба в разной степени. Я на ZFS, построенной в качестве альтернативы и хранящей все копии буквально - молюсь, потому что это единственный носитель, который позволил сохранить эти архивы. А вот старые ленты видеоплёнок живы пока. Может накоплю на ленточный стример?
накопи на 10 акков по теру в
накопи на 10 акков по теру в мылру,и столько же в гугле.
Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)
спасибо, 25 в google хватает,
спасибо, 25 в google хватает, но ...
мне товарищ подарил коня и двух кобыл 15 лет назад в Монголии. Сколько сейчас у меня коней в Монголии, и где они я и не знаю ;-). Так я отношусь к своим фотографиям в Неваде. Стример можно на даче хранить, ближе.
Не буду разубеждать...
Не буду разубеждать - хозяин барин, как говорится... но просто немного инфы, если вы этого не знали:
0. FYI: Я писал про абсурд на 1 (одном!) диске!.. :)
1. В ЛВМ тоже есть снапшоты.
2. В ЛВМ можно указать сколько держать копий (зеркал) на разных физических дисках, естественно при наличии оных.
P.S. Очевидно, что никакая ФС не спасет в случае отказа единственного диска, но, к счастью, в одночасье диски умирают крайне редко. Поэтому
sys-apps/smartmontools
с настроенным мониторингом и оповещениями обязательно иметь всегда и везде! Даже (а может быть и тем более) в случае массивов и зеркал. Если конструкция позволяет, то замену умирающему диску можно сделать даже на ходу. Это относится ко всем обсуждаемым системам (LVM/ZFS/BtrFS).SysA написал(а): А что же
Я извиняюсь это теоретически не склеивается в моём мозгу. Минимум 1+5+3+4=13 дисков. Как из 5 получается селёдка под шубой? Если можно в двух словах подробнее, очень интересно.
Все очень просто: диск
Все очень просто: диски нарезаются на разделы + ЛВМ!.. :)
Вот ниже пример с рабочей машинки, но здесь все по-проще (минимально необходимое), т.к. для экспериментов есть куча машин в 3 датацентрах :).
Файловые системы:
Логические диски ЛВМ:
Группы томов ЛВМ:
Физические диски для ЛВМ:
Дисковый массив для системы:
Разбивка реальных физических дисков:
P.S. Некоторые странности в конфигурации объясняются тем, что системные диски шифрованные, и у системы нет загрузчика ;) - загрузка производится только с криптованной флешки (/dev/sdс*), а также есть возможность запустить другие системы (ЦентОС, Убунту) в
chroot
'e для проверки/тестирования/настройки кое-каких программ/скриптов.Идея понятна. Меня LVM
Идея понятна. Меня LVM отпугнул сверхжадностью на избыточность, которую я не смог одолеть в разумные сроки. Давно было, помню не мог отодрать себе больше 0,5 Тб из 8,7 возможных под данные и избавиться в Alt server от видеокарты и мониторной зависимости, в то время как freeNas отдавал 5,6 Тб под данные, не требовал семи пядей во лбу и спокойно управлялся и через вэб-гуй и через консоль. Вижу профессионалы умеют убеждать LVM работать на 30% общего дискового резерва. Если бы я тогда смог этого добиться, может хвалил бы LVM сейчас. Но я женат на BSD-сервере и буду хвалить его ;-). В масштабах моей кладовки она лучше! И BTRFS это только доказывает, "плохую лошадь вор не заберёт" ©
Где и какое ограничение ты увидел в ЛВМ?
Не понял, откуда 30? Не вижу проблемы использовать все 100! Где и какое ограничение ты увидел в ЛВМ???
Umh, а вот это: 64G fd Linux
Umh, а вот это: 64G fd Linux raid autodetect из выделенного тома? Где-то 30% получается.
A ты на разбивку разделов
A ты на разбивку разделов смотрел?!
Просто я системную группу ЛВМ (sys) создал на зеркале (для надежности) из 64Гб разделов, оставшееся место на обоих этих дисках (отдельных!) пошло в группу быстрого доступа (ssd), старый диск целиком отдан группе (hdd) под SVN... т.е. в общем какой физический носитель (раздел, диск, дисковый массив и пр.) ЛВМу отдашь, столько он и будет использовать! :)
А ты думал, что ЛВМу можно только целиком диск отдавать? :D Тогда советую все же открыть и прочитать документацию. Вот тут по-проще и с картинками, а вот тут классика.
Между прочим, у меня есть ЛВМы, которые на сетевых (DRBD) дисках работают!... ;)
Спасибо, поставлю закладку на
Спасибо, поставлю закладку на эту тему! В день не осилить.
/
Ну, Альв много где откровенно гонит.
Например его любимый и рекомендуемый памфлет Хокарта («Критерии оценки свидетельств») лично меня оставил с вопросом о доле умысла в игнорировании как самим Альвом, так и рекомендуемым им автором научного наследия товарища Кропоткина. Раз уж сами полноценным анализом первоисточников не заморачиваются (кстати, хорошая иллюстрация значения главной задачи).
:wq
--
Live free or die
Наступал 2017-й год,но все
Наступал 2017-й год,но все еще кто то интересуется мнением старого пердуна,в жизни не видевшего ничего кроме своего нотбука?
Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)
Я бы заменил пердуна на
Я бы заменил пердуна на философа. Потому что Кольт уравнял людей в правах. Попробуйте, %s/пердун/филосов/g и мир станет добрее.
В вашей стране владение
В вашей стране владение уравнителем Кольта запрешено законом - поэтому уравнение не работает.
П.С но вы совершенно правы - философ это питерский синоним московского 'пердун"
Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)
Интересно, где ты такое нашел?!.. :)
Интересно, где ты такое нашел?!.. :) Я специально порылся в его опусах и все что я нашел (с 2009 по сей день) говорит совершенно об обратном!!! :D
Или мы говорим о разных alv'ах?..
У меня ошибка ввода -вывода в
У меня ошибка ввода -вывода в мозгу произошла. Альв тот. А вот результат противоположный.
Рановато праздновать начал!
Рановато праздновать начал! :D
Ты все везде перепутал, - завтра только 1 декабря, а не 1 января!..
'Я рано начал, кончу ране,
'Я рано начал, кончу ране, мой мозг не много совершит'©