Опыт сборки сервера на AMD

Наброшу немного

сейчас аппаратный рейд не круто, т.к. не обеспечивает тотальной сохранности данных:
- нет проверки по контрольным суммам (а бывает диск отдает не верные данные, рейд эту ситуацию не определит)
- нет транзакционной записи
- нет снимков логических томов
С нынешними ценами на оперативку, несколько ГБ под кэш не является ценностью.


А курто - это zfs!

Это сообщение отредактировал riv1329 - 9.11.2020 - 17:34

Вы серьёзно будете учить меня работать? Я прекрасно знаю, что делаю. Довольные люди - лучший показатель этого. Как-то распинаться, расписывать что-как-зачем и оправдываться я ни перед кем не собираюсь Пост был написан не об этом и не для этого.

Это сообщение отредактировал RksW - 9.11.2020 - 17:28

В случае с NVME я бы не сказал. Любой рейд, а осоденно софтовый и всякие lvm иzfs вносят ощутимую задержку. А топовые nvme типа intel optane уже приближаются по задержке к ОЗУ. Получается что для решений чувствительных к задержке (Базы данных в первую очередь) рейд будет главным тормозом. Я бы присмотрелся внимательнее к этой технологии.

Перефразируя одного умного дядьку, скажу, что zfs на самом деле говно. Но ничего лучше пока что ещё не придумали )

ну да. собирать комп чисто по принципу 3 П это я вно круто и профессионально.
Честно говоря, бедные клиенты. Если тамошний админ смог подобрать конфиг под задачи, вопрос, нахера ему прокладка которая будет крутить болтики?

Памятью RAID контроллера рулит сам контроллер, на сторону мегабайты не уходят. Мамки летят чаще рэйд плат тупо из-за того, что через них осуществляется питание процессоров, сам проц весело пышет жаром на транзисторы, кондеры и прочую питающую обвязку, расположенную возле сокета. Так что в плане надежности мамкин рейд проигрывает. На большом количестве винтов маме вообще делать нечего, портов не хватит.

Речь же не о том как физически подключить диски, а о том, что собирать raid на аппаратном контроллере опасно, дорого, и часто менее эффективно.

А гарантия?

Мне очень важное мнение левого чувака, который сам не знает, не видел и не слышал.

Это правда, там есть своя боль. Но я бы сказал, что не только лучше не придумали, не придумали ничего похожего, кроме нерабочей и опасной btrfs

Хотя, вы знаете, недавно я прочитал вот такое описание:

Кент Оверстрит (Kent Overstreet) объявил в списке рассылки разработчиков ядра Linux о готовности реализации файловой системы Bcachefs для рецензирования перед включением в основной состав ядра. Bcachefs развивается с использованием технологий, уже опробованных при разработке блочного устройства Bcache, предназначенного для кэширования доступа к медленным жёстким дискам на быстрых SSD-накопителях (входит в ядро, начиная с выпуска 3.10).

В файловой системе Bcachefs используется механизм Copy-on-Write (COW), при котором изменения не приводят к перезаписи данных - новое состояние записывается в новое место, после чего меняется указатель актуального состояния. Особенностью Bcachefs является поддержка многослойного подключения накопителей, при котором хранилище компонуется из нескольких слоёв - к нижнему слою подключаются наиболее быстрые накопители (SSD), которые используются для кэширования часто используемых данных, а верхний слой образуют более ёмкие и дешёвые диски, обеспечивающие хранение менее востребованных данных. Между слоями может применяться кэширование в режиме отложенной записи (writeback). Накопители можно динамически добавлять и отсоединять от раздела без остановки использования файловой системы (данные мигрируют автоматически).

Кроме типовых возможностей POSIX ФС, например xattrs и ACL, Bcachefs предоставляет доступ к таким расширенным функциям, как возможность подключения к разделу нескольких накопителей, репликация (RAID 1/10), кэширование, срезы состояния (снапшоты), прозрачное сжатие данных (режимы LZ4, gzip и ZSTD), верификация целостности данных и метаданных по контрольным суммам, коды коррекции ошибок Рида—Соломона (RAID 5/6), хранение информации в зашифрованном виде (используются ChaCha20 и Poly1305). Из пока не реализованных возможностей отмечается поддержка квот и поддержка экспорта через NFS.

По производительности Bcachefs опережает Btrfs и другие ФС на базе механизма Copy-on-Write, и демонстрирует производительность, близкую к Ext4 и Xfs. Реализация шифрования ФС по производительности близка к dm-crypt, но dm-crypt не поддерживает аутентифицированное шифрование. Bcachefs хорошо масштабируется и протестирована в работе хранилища размером 50 ТБ. Изначально проблемой Bcachefs было большое время монтирования, вызванное тем, что во время монтирования осуществлялся обход всех inode, dirent-ов и extent-ов. В новом наборе патчей проведена работа по решению этой проблемы и большие ФС теперь монтируются кардинально быстрее.


https://www.opennet.ru/opennews/art.shtml?num=54000

По моему, надо попробовать.

riv1329
А Вы точно в "теме"?

LVM это как бы не файловая система, а одной zfs выбор файловых систем не ограничивается.

Скажу больше для работы с бигдата zfs далеко лучший выбор. При больших нагрузках лучше использовать gfs.

Как правило, админы не особенно хорошо разбираются в серверах, там много тонкостей. Меня коробят такие заявления. А админ который разбирается в том как подобрать железо явно не на свое месте и большую часть времени его полезные навыки простаивают... или он только думает что разбирается, как часто бывает.

Когда я был молодым и смелым, я тоже собирал "типа серверы" для клиентов.
Сейчас я старый и осторожный и нах..., нах..., нах...
В крайнем случае - платформа Супермикры, куда остается только вставить процы и память и то только для некритичных задач.

Интересно, что будет делать ТС если у него материнка умрет или RAID рассыпется?
Или виртуалка протухнет по причине аппаратного сбоя?

Смотря что за "тема".

Главное с ceph не связывайтесь

супермикры тоже бывают кривыми, к несчастью.

Материнка на гарантии, с гарантией у Регарда порядок. Производитель хоть и не на слуху, но на рынке очень давно. С чего бы массиву рассыпаться? Виртуалку комментировать даже не буду. Это как доебаться до человека, который новую машину купил - ржаветь же будет! Или не дай бог, сломается. А попасть в 0.5% брака, который есть у любого производителя, может каждый с любой железкой.
Мы все довольно консервативны, тем более в такой ответственной сфере, как it - здесь распиздяям не место и никто своим баблом рисковать не хочет. Именно поэтому я и запостил свою инфу - я проверил новое железо и поделился впечатлением с остальными. Как по мне, это довольно ценная информация.

Ну дык потому он и даст задание собарть комп для конкретных задач. А тут сборщик даже не знает что как и почему, но зато собирает конфигурацию, разве не странно?

Давайте подытожим:
Компании которые не жалеют денег в серверное оборудование используют intel.
А вот те кто жмёт денег изобретает велосипед на AMD.
Как то так.

Представим что материнка померла вот прямо после нового года. По гарантии ремонтировать ее могут долго, особенно если она на юрлицо куплена.
На складе такой же скорее всего не окажется и купить ее для быстрой замены невозможно. И что? Что делать заказчику?

Это сообщение отредактировал smsi - 9.11.2020 - 17:56

Скорее так:
Админы постарше помнят предыдущие попытки AMD сделать процессор и вполне справедливо не доверяют.
Админы помладше видят, что красные на самом деле сделали что-то годное и пробуют.
Пройдёт пару лет, наберётся статистика, и если Intel так ничего не сделает ни с производительностью, ни с ценниками, начнётся массовый переход на AMD.
З.Ы. - Intel и сейчас активно поддерживает слухи, что AMD "греется, тупит и ломается". Хотя это слабо применимо к процессорам архитектуры Zen.

Это сообщение отредактировал RksW - 9.11.2020 - 18:04

Гы. И так продолжается больше двадцати лет уже с завидной стабильностью )

Можем моделировать различные ситуации хоть до второго пришествия, смысла в этом нету. С равной степени вероятности может сломаться абсолютно любая железка. В целом серверные материнки распространены не так широко, чаще всего они идут на заказ. Но прямо сейчас, как ни парадоксально, Tyan купить легче, чем супермикро нужной мне модели. И к тому же, если всё будет настолько дерьмово, на "пересидеть" можно купить десктопную мать под тредриппер. А вот с интелом в таком случае и правда встрянешь сильно.

Резюмируя всё вышесказанное - собрать можно и оно даже работает, но вот как долго будет работать покажет только практика :)

ЗЫ дома сижу на рязани 2700х для работы вполне хватает, а вот сервера отчего то все на интелях до сих пор :)

Честно говоря у меня никогда не было сомнений, что не бракованные сервера на amd могут нормально работать. Вопрос в другом:
- достаточная ли у них однопоточная производительность, которая так важна, например для 1C
- процессор который вы выбрали, если мне не изменяет память имеет всего 2 канала к ОЗУ, в то время как у intel есть процессоры E3 который могут за 4ГГц при не больших ценах и тоже 2 канала к ОЗУ. В тоже время у вашей дорогой альтернативы Intel Xeon 6246 каналов к памяти 6 шт и пропускная способность к памяти тоже больше в 3 раза. Это же не просто так сделали. И стоит он соответственно дороже, по тому что возможнойстей у этого процессора больше.

Но вышесказанное не значит, что надо собирать сервер на intek, ведь у AMD есть такие-же как взрослые процессоры, у которых еще больше каналов, например 8 и ядер больше, аж до 64 на процессор, а их два можно поставить и кэш больше и т.д.

Претензия к тому что вы написали в том, что вы не указали по каким именно критериям вы выбрали железо и собственно в чем в данном случае сила amd и проигрыш intel, кроме цены, которую сравнили не корректно.

Было бы круто сравнить в попугаях производительность задачи клиента на intel и на amd на процессорах одного уровня и показать кто из них быстрее и на сколько и как это отражается на цене.

Вполне себе естественный процесс :) именно поэтому в посте я не написал "Все массово переходим на AMD!!1", я написал "сервера на AMD можно собирать!". Кто готов, тот услышал :) кто не готов, тот ещё подождёт, и это нормально - никто такими суммами рисковать не хочет (хотя, как по мне, разница в ценнике в 5 раз определённо стоит риска) :)