Я уж 10 лет как беру машины в лиз. И себе, и жене,
и тотоше. И мои дедушкины гены местечкового портного заставляют меня торговаться, как в не в себя. Как минимум выторговать халявный maintenance. Поэтому за 10 лет лизинга всех машин я ни разу за смену масла и остального не платил. Дело принципа.
У меня вот в субботу ровно в 4 часа
Киев бомбили утра пришло сообщение, что сервер упал. Ну упал, упал. Бывает. Через 20 минут встает, отряхивается и дальше пошел. Нифига. Через час, в 5 утра начались звонки из Флориды. У них-то уже 8. Работа пошла.
Ладно, пошел потыкал. Может Апачи упал. Не тыкается. И не пингуется. И даже IPMI не открывается. Нифига себе. Пошел на сайт провайдера. А сайта провайдера нет. А у меня dedicated server/co-location. На всякий случай проверил Гугл. Может я атомную войну проспал. Гугл был и ничего про катаклизмы в Хьюстоне, где у меня сервер , не сказал
Ну ладно, идем в
ихний их Твиттер. Начинаем орать. Они говорят, мол, быстро починим, дерево упало на файбер.
Какой файбер, какое дерево, вы охренели. Вы же на прошлой неделе
уже все съели переехали из одного ниибеческого дата-центра в другой, в три раза более ниибический. Меня на пару часов отключали. Сказали будет Level3/LUMEN/100GBps. А тут дерево. Какие нахрен 100 GBps по веревке на столбах. Такой аплинк должен в метровой трубе идти, с двойными кабелями на всякий случай.
Оказалась все прозаически просто. Хотели как лучше, а получилось, как всегда. Они растянули перетаскивание серверов на несколько недель. Чтобы не отрубать всех разом на целый день, а потихоньку в пятницу ночью на пару часов. И так несколько недель. Супер-аплинк пока остался в старом центре. А связи старого и нового протянули веревку по столбам.
Вызвали техников они с машинами, ОМОНом, пулеметами. Дерево пилить. Дерево спилили. А потом оказалось, что есть второй обрыв. КАКОЙ-ТО МУДАК РЕШИЛ ПОЖИВИТЬСЯ МЕДНЫМ ПРОВОДОМ. Как в России говорят? 90е возвращаются.
Хьюстон, Техас. Воруют медь. Не, медь везде воруют. У нас в Форт Майерсе давно мужик решил украсть медный провод, но не озаботился его отключением от розетки. Как там в детском стишке? Его обугленная тушка внушала птицам дикий страх. Но зачем у меня сон отнимать?
В итоге, пошел я запускать бекап сервер. А то морковки дергаются. У них же кастомеров много в субботу. А продавать по старинке, с выписыванием квитанций они не могут. И онлайн кастомеры дергаются.
А мой бекап не предназначен для работы- не тянет, туда только бекапы сваливаются каждый день. Ну и для говнокодинга под Linux. Я решил в свое время, что платить $60/месяц в местном дата-центре за место на стойке + сервер, купленный на еБай, того стоит. Пару раз меня выручало. И главное никто никаких проводов под деревьями не таскает.
Запустил я бекап, заодно и в скриптах покопался - некоторые все норовили к основному серверу стучаться. Морковки успокоились - благо процесс вернулся в привычное русло и не надо напрягать извилины.
Заодно и обзавелся новым знанием и умением - как делать DNS failover на практике.
А кабель чинили всю ночь. И только к полудню воскресения запустили. После этого я учился синхронизировать басы данных в реальном времени. Полезное умение.
А в воскресенье мы рассылку запустили. Сделали купон на скидку с кодом copper outage. Отбили простой сервера
Moralite:
1) Всегда найдется мудак, который обрушит дерево и украдет медь из ваших самых лучших и выверенных с секундомером планах
2) Не верьте ни в какие конспиративные теории. Как только кто-то захочет захватить Вселенную, то случится #1
3) На случай, если произойдет #2, не жадничайте и купите место для бекапа. Вопрос не в том, поможет или нет, а в том, когда поможет
4) Ну и не забывайте делать бекапы. Это не смешно. В офисе у морковок стоит компьютер для бекапов. Так они забывают сказать когда вдруг бекап отрубается из-за какого-нибудь обновления кампутера
5) если жизнь подкидывает лимоны, то делайте лимонад. Из разрыва провода - купон на скидку. Отобьете и разрыв и провод
Это сообщение отредактировал Бармалеич - 10.08.2021 - 07:47
yaplakal.com