По мотивам сбоя СДЭК

[ Версия для печати ]
Добавить в Telegram Добавить в Twitter Добавить в Вконтакте Добавить в Одноклассники
Страницы: (9) « Первая ... 3 4 [5] 6 7 ... Последняя »  К последнему непрочитанному [ ОТВЕТИТЬ ] [ НОВАЯ ТЕМА ]
ПолиГраффф
29.05.2024 - 13:11
0
Статус: Offline


Μῶμος

Регистрация: 20.08.16
Сообщений: 801
Простите , а вы с кем разговариваете ?

По мотивам сбоя СДЭК
 
[^]
MaR7
29.05.2024 - 13:13
2
Статус: Offline


Шутник

Регистрация: 17.06.12
Сообщений: 82
ну если импользовать серверы на винде, то да, геморроя не оберёшься

Размещено через приложение ЯПлакалъ
 
[^]
energizerK
29.05.2024 - 13:14
1
Статус: Offline


Ярила

Регистрация: 18.12.22
Сообщений: 6690
Цитата (GRadFar @ 29.05.2024 - 12:39)
Это всё, что написали, здОрово и классно. Вот только лет 6 назад наш манагер, получив по почте файл с именем "сверка" и расширением exe, попытался его таки открыть. Антивирь ему не дал. Так он отключил антивирус и таки запустил шифровальщика!!!

А как он под пользователем смог отключить антивир? cool.gif
 
[^]
Hitsuzu
29.05.2024 - 13:16
5
Статус: Offline


Весельчак

Регистрация: 1.08.14
Сообщений: 101
При чём тут контроллер домена, я хз но да ладно. Я вижу тупость и жадность руководства CDEK либо саботаж со стороны IT инфраструктуры. Как можно было зашифровать бэкапы? они что, сука, хранились в папке с общим доступом? Для такой организации как CDEK резервирование должно быть в реальном времени, чтобы в случае чего, откатиться можно было в течении 15 минут. И это не супер дорого или убер сложно. Даже если предположить что база данных выросла до неэпического размера, ну пусть это будет полтора часа. Я когда новость прочитал, я сначала не поверил. Это просто верх распиздяйства и похуизма.
Ладно... допустим вы не хотите тратиться на IT в плане держать штат и закупать сервера, так возьмите облако в ЦОД. Они там за вас будут каждый час делать резервирование и защищать ваши данные. Но нет, какой то эффективный менеджер решил сэкономить копеечку.
 
[^]
timonsterrr
29.05.2024 - 13:17
2
Статус: Offline


Ярила

Регистрация: 6.02.14
Сообщений: 1309
То было тогда) теперь подход другой у шифровальщиков - шифруются бэкапы и сами базы, а так же КД и все вот это. Сервера при том зачастую не трогаются, т.е. ОС продолжает работать и тд.

Защититься 100% от шифровальщика нельзя. Но возможно выстроить систему бэкапов так, чтобы всегда было из чего восстанавливаться.

1. - распределенное хранение бэкапов
2. - никакиого рдп к хранилищу бэкапов, а тем более под юзером с привилегиями.
3. - наличие оффлайн бэкапов (хотя бы на уровне отключаемого скриптом диска это минимум). В идеале и наличие холодного хранилища и наличие физически защищенной копии - т.к. диска в сейфе.
4. - Иметь S3 хранилку в облаке у хорошего провайдера с наиболее критичными бэкапами.

Такой подход позволит почти со 100% вероятностью восстановиться.
Ну и далее скорость восстановления будет зависеть от того что было в бэкапах. В идеале там должно быть ВСЕ критически важное - и копия VM КД и копии баз и копии конфигураций оборудования, а так же копии всех критически важных вирт. машин. Тогда процесс восстановления пройдет нормально.

Это сообщение отредактировал timonsterrr - 29.05.2024 - 13:20
 
[^]
timonsterrr
29.05.2024 - 13:19
2
Статус: Offline


Ярила

Регистрация: 6.02.14
Сообщений: 1309
Цитата (Hitsuzu @ 29.05.2024 - 13:16)
При чём тут контроллер домена, я хз но да ладно. Я вижу тупость и жадность руководства CDEK либо саботаж со стороны IT инфраструктуры. Как можно было зашифровать бэкапы? они что, сука, хранились в папке с общим доступом? Для такой организации как CDEK резервирование должно быть в реальном времени, чтобы в случае чего, откатиться можно было в течении 15 минут. И это не супер дорого или убер сложно. Даже если предположить что база данных выросла до неэпического размера, ну пусть это будет полтора часа. Я когда новость прочитал, я сначала не поверил. Это просто верх распиздяйства и похуизма.
Ладно... допустим вы не хотите тратиться на IT в плане держать штат и закупать сервера, так возьмите облако в ЦОД. Они там за вас будут каждый час делать резервирование и защищать ваши данные. Но нет, какой то эффективный менеджер решил сэкономить копеечку.

Облако в ЦОД - не панацея. Недавний буквально пример - 1с клоуд) Лег чуть ли не на неделю...и клиенты не могли ничего сделать.
сначала восстанавливали топовых клиентов, потом средних и только потом мелочь)) и то не знаю всем ли и все ли восстановили.

А виной там всему было распиздяйство МТС в отношении бэкапов.

Это сообщение отредактировал timonsterrr - 29.05.2024 - 13:23
 
[^]
anikifya
29.05.2024 - 13:20
4
Статус: Offline


Ярила

Регистрация: 20.04.10
Сообщений: 7904
Цитата (VulpesRus @ 29.05.2024 - 12:49)
Шифровальщик? Т-ть сервер на Винде?
Или на Линукс тоже есть?

На линукс есть, но выдает ошибку при компиляции gigi.gif
 
[^]
Bobekbrat
29.05.2024 - 13:26
1
Статус: Offline


Ярила

Регистрация: 25.01.10
Сообщений: 3268
Цитата (alexavg @ 28.05.2024 - 13:27)
Ха, поди насоздавали сетевых дисков на свою голову с полным доступом, а потом по-комсомольски боролись с последствиями. Помнится шифровальщики только так через эти диски лезли ко всем подряд

Там поди и бекап через iSCSI запилен. Чтобы шифровальщику проще искать было gigi.gif
 
[^]
XanderBass
29.05.2024 - 13:27
0
Статус: Offline


Свободяй

Регистрация: 1.02.11
Сообщений: 11944
Вообще в наше время в идеале лучше делать централизованно-древовидную систему. Представим себе некоторую сетевую корпорацию с кучей филиалов по городам.

1. Центральный сервер, на котором хранится база данных и кодовая база всего, что связано с интерфейсом (сайт, веб-морда и т.п.). Он может только принимать запросы и отвечать на них через API. С ним нельзя взаимодействовать напрямую. Всё через аутентификацию. К серверу НИКТО не должен подходить, кроме тех, кто непосредственно обслуживает сервер.

2. Серверы в городах, где есть филиалы. На них данные, связанные с конкретным городом. Ну и для лучшей производительности и распределения нагрузки реплика веб-морды и регионального поддомена сайта, если есть, которые обновляются с ЦС. Серверы взаимодействуют с ЦС. Опять-таки же с ними можно взаимодействовать только ограниченно. И доступа к ним не должен иметь НИКТО, кроме обслуживающего персонала.

3. Конечные терминалы. Они взаимодействуют с региональными серверами. На них НИЧЕГО не хранится. По сути они используют веб-морду серверов.

4. Центральный сервер ежедневно бэкапится. Притом на изолированный физический носитель.

ВСЁ (!!!) на "Линуксе"! Со всех терминалов удалено всё, кроме того, что нужно для работы. Установлены соответствующие ограничения на запуск программ.

Написать вирус под такую систему - уже непростая задачка, ибо Линукс. Ну попадёт такой вирус на терминал (с какого-нибудь вложения в письме, например). Дальше что? Напрямую он не сможет изменить данные на серверах, потому что через API. Да, можно зашифровать данные через API. Но тут можно сделать простую систему оповещения, которая будет поднимать тревогу при аномально высоком количестве запросов на изменение данных.
 
[^]
Bobekbrat
29.05.2024 - 13:38
2
Статус: Offline


Ярила

Регистрация: 25.01.10
Сообщений: 3268
Цитата (blackangel87 @ 29.05.2024 - 10:31)
Цитата (Nick413 @ 29.05.2024 - 00:47)
Такое я пропустить не мог, аж восстановил пароль забытый от yaplakal.

Какое "мать его за ногу" восстановление через бэкапы в виде файлов?
20 лет назад так делали, динозавры что ли в ИТ работают у вас там, вопрос за что зарплату получают тогда, если не развивают ИТ инфраструктуру и не переводят на современные решения??? Домен контроллеры поди 2003 стоят, да? Протокол SMBv1 не отключен???

Сейчас резервное копирование с восстановлением везде на уровне сервиса.
Бэкапятся виртуальные машины на отдельное хранилище. Например на NAS.
Логин и пароль система резервного копирования использует локальные NAS, сам NAS конечно в домен вводить не нужно, логин и пароль от сервисной учетки агента резервного копирования (сервисная учетка) шифруются в системе резервного копирования.

Восстанавливаются все критичные ИТ сервисы за 3-4 часа максимум и скорость восстановления зависит от скорости передачи данных, чтения и записи данных и все! Нет зависимости от умения ИТ специалиста установить заново ИТ сервис СУБД. Читаю я это все и немного в шоке.

Ооо плюсану.

И дополнительно настраиваемый подключаемый бэкап на отдельной недоменной машине с подключенным отдельным nas, который не только в другом vlan он вообще в одноранговой сети только с машиной которая делает бэкапы.

Скриптами в шедулере включается сеть на отдельной недоменной машине, стартует задание бэкапа тем же самым veemom, бэкап завершается, отрубается сеть.

Все! На выходе изолированный Nas и изолированный бэкап и хер че ты с ним сделаешь. Если поддерживает нас конфигурацию дополнительно включаемой отключаемой сети то еще лучше.

Ну как бы план хорош. Но весь цимес в том что в бэкапе могут находится уже зашифрованые данные трехмесячной давности. Пока шифрует шифровальщик обычно сидит тихо предоставляя все данные в расшифрованом виде. Может сидеть тихо достаточно долго. А потом "зравстуйте! Вы приехали".


spy.gif
 
[^]
ERRATA
29.05.2024 - 13:40
0
Статус: Offline


EVIL BOY

Регистрация: 31.03.10
Сообщений: 24506
Да че так "сложно" то )) всё сносим, ставим заново "Вдруг кому пригодится в будущем" ))) biggrin.gif
 
[^]
Hitsuzu
29.05.2024 - 13:42
0
Статус: Offline


Весельчак

Регистрация: 1.08.14
Сообщений: 101
Цитата (timonsterrr @ 29.05.2024 - 13:19)
Цитата (Hitsuzu @ 29.05.2024 - 13:16)
При чём тут контроллер домена, я хз но да ладно. Я вижу тупость и жадность руководства CDEK либо саботаж со стороны IT инфраструктуры. Как можно было зашифровать бэкапы? они что, сука, хранились в папке с общим доступом? Для такой организации как CDEK резервирование должно быть в реальном времени, чтобы в случае чего, откатиться можно было в течении 15 минут. И это не супер дорого или убер сложно. Даже если предположить что база данных выросла до неэпического размера, ну пусть это будет полтора часа. Я когда новость прочитал, я сначала не поверил. Это просто верх распиздяйства и похуизма.
Ладно... допустим вы не хотите тратиться на IT в плане держать штат и закупать сервера, так возьмите облако в ЦОД. Они там за вас будут каждый час делать резервирование и защищать ваши данные. Но нет, какой то эффективный менеджер решил сэкономить копеечку.

Облако в ЦОД - не панацея. Недавний буквально пример - 1с клоуд) Лег чуть ли не на неделю...и клиенты не могли ничего сделать.
сначала восстанавливали топовых клиентов, потом средних и только потом мелочь)) и то не знаю всем ли и все ли восстановили.

А виной там всему было распиздяйство МТС в отношении бэкапов.

Я с Вами полностью согласен. Облако не панацея, но то что было у них, это полный абзац. Ну и как Вы опять же заметили, в случае с 1С, опять проблема в распиздяйстве.
 
[^]
drdes
29.05.2024 - 13:42
0
Статус: Offline


Весельчак

Регистрация: 17.02.22
Сообщений: 148
Цитата (Andronik1 @ 28.05.2024 - 15:12)
ТС, вот мне строителя не понятны твои монологи. Давай я тебе сейчас задвину про технологии строительства и оформление земли под котеджных посёлок в МО!

Пиши пост, почитаем

Размещено через приложение ЯПлакалъ
 
[^]
Vladnov
29.05.2024 - 13:44
0
Статус: Offline


Ярила

Регистрация: 15.02.15
Сообщений: 6065
Цитата (Blatero @ 28.05.2024 - 15:27)
эта информация
1. специфическая.
2. очевидная для любого мало-мальского специалиста.
в случае с далекими от темы людьми она бесполезна.
в случае со связанными с темой людьми я хз что за секрет полишинеля ты тут открыл.. сбэкапить вручную базы на внешний носитель,переустановить систему и впихнуть все обратно? - не может быть.... какжитак... а пацаны-то и не знают...
я тебе больше скажу - так можно делать не только с msql, но и вообще дохуя с чем, начиная от игрушек, которым подсовывать старые сейвы дети умеют уже в 5 лет..
но хуй знает.. без оценки..
ты старался же..

Внуку через три года стукнет 5, надо не забыть будет спросить его, что такое "сейв"

Размещено через приложение ЯПлакалъ
 
[^]
Bobekbrat
29.05.2024 - 13:47
2
Статус: Offline


Ярила

Регистрация: 25.01.10
Сообщений: 3268
Цитата (GRadFar @ 29.05.2024 - 10:39)
Это всё, что написали, здОрово и классно. Вот только лет 6 назад наш манагер, получив по почте файл с именем "сверка" и расширением exe, попытался его таки открыть. Антивирь ему не дал. Так он отключил антивирус и таки запустил шифровальщика!!!

Хорошая у вас корпоративная сетка. Надежная. У меня мaнегер может только обеденное меню в буфете посмотреть а не антивири оключать.

rulez.gif
 
[^]
Пупырчик
29.05.2024 - 13:53
0
Статус: Offline


Пупырчаааааа

Регистрация: 14.05.14
Сообщений: 568
ТС, Что ты сделаешь в данном случае? Да у меня были холодные бекапы на съемном диске. Сеть поднял за 5 часов. Телефонию делали люди пару недель. Гребанные электрики.

По мотивам сбоя СДЭК
 
[^]
Пупырчик
29.05.2024 - 13:53
0
Статус: Offline


Пупырчаааааа

Регистрация: 14.05.14
Сообщений: 568
111

По мотивам сбоя СДЭК
 
[^]
Пупырчик
29.05.2024 - 13:53
0
Статус: Offline


Пупырчаааааа

Регистрация: 14.05.14
Сообщений: 568
222

По мотивам сбоя СДЭК
 
[^]
Пупырчик
29.05.2024 - 13:53
0
Статус: Offline


Пупырчаааааа

Регистрация: 14.05.14
Сообщений: 568
333

По мотивам сбоя СДЭК
 
[^]
Пупырчик
29.05.2024 - 13:54
0
Статус: Offline


Пупырчаааааа

Регистрация: 14.05.14
Сообщений: 568
444

По мотивам сбоя СДЭК
 
[^]
andysh888
29.05.2024 - 13:56
2
Статус: Offline


Ярила

Регистрация: 20.12.11
Сообщений: 1424
Какой прелестный мамкин сисадмин писал старт топика :)

В более-менее нормальных компаниях, где переживают о сохранности данных чуть посильнее - все бэкапы существуют ПОЛНОСТЬЮ изолированно от основных доменов/деревьев доменов. Вырезанная среда. Если совсем по-нормальному - подключенная через изолированную сетевую инфраструктуру (да-да, в том числе и для этого у нормальных серваков сетевых адаптеров "пучок", а не один).

Структура бэкап-серверов полностью изолирована по подключениям. То есть вообще "невидима" для основного домена (файрволы или level3 - это уже вкусовщина).

И когда шифровальщик грохает "вообще всё" (хотя я плохо представляю как можно рабочий PDC грохнуть до состояния отказа, но допустим) - просто стопается вся инфраструктура, поднимаются образы сред виртуализации (заботливо сохранённые заранее), вкатывается сценарий восстановления последнего полного бэкапа, накатываются дифферанциалки и последовательно стартуются все хосты начиная с инфраструктурников и PDC и заканчивая хранилищами.

При лютых объёмах данных делается временная перекоммутация сети, в отдельных случаях - даже СХД.

А то что мамкин админ написал в старт-посте - это про какую-то купи-продайку, в которой приходящий 1С-ник, который ещё и типа сисадмин :)))

Компании уровня СДЭК работают несколько иначе (при условии, что там директор по IT "по знаниям", а не "по связям")
 
[^]
blackangel87
29.05.2024 - 13:58
1
Статус: Offline


Юморист

Регистрация: 10.01.14
Сообщений: 553
Цитата (Bobekbrat @ 29.05.2024 - 13:38)
Ну как бы план хорош. Но весь цимес в том что в бэкапе могут находится уже зашифрованые данные трехмесячной давности. Пока шифрует шифровальщик обычно сидит тихо предоставляя все данные в расшифрованом виде. Может сидеть тихо достаточно долго. А потом "зравстуйте! Вы приехали".

Ну а это глубина бэкапов и возможностей СХД.
Если не жмотиться.

Размещено через приложение ЯПлакалъ
 
[^]
andysh888
29.05.2024 - 13:59
1
Статус: Offline


Ярила

Регистрация: 20.12.11
Сообщений: 1424
Цитата (Пупырчик @ 29.05.2024 - 13:53)
ТС, Что ты сделаешь в данном случае? Да у меня были холодные бекапы на съемном диске. Сеть поднял за 5 часов. Телефонию делали люди пару недель. Гребанные электрики.

Такого у меня не было.

Но вообще в текущей серверной стоит 4 уровня защиты по питанию, включая защиту от перегрузов, 2 "порошковых гранаты" и газовая система пожаротушения.

И да, холодные бэкапы в другом здании. Для них отдельное оптоволокно между зданиями.
 
[^]
Пупырчик
29.05.2024 - 13:59
0
Статус: Offline


Пупырчаааааа

Регистрация: 14.05.14
Сообщений: 568
Просто так. У нас подстанция была под серверной. Электрики там профилактику замутили. Вырубали на ночь. Включается ИБП. Кондей отрубился. Как я потом узнал, какой то мудак решил на скрутку медь/алюминий подключить кондей.

Было это еще до моего устройства на работу. Розетка была за шкафом снята и в ней сделали скрутку.

Дали ток. Кондей сказал нихе*ра себе и начал всё это дело охлаждать. Серваки работали часов 6 точно без охлаждения.

Загорелась скрутка. За шкафом. В шкафу пол-тонны инструкций от всего. Результат на фото.

Домен, я кстати успел вытянуть на новый BDC и через 5 минут сервак сдох.
 
[^]
vasyav2
29.05.2024 - 14:07
2
Статус: Offline


Ярила

Регистрация: 12.12.13
Сообщений: 2436
Ну, восстановили вы всё, а завтра, если не устранить причину взлома, вам опять всё зашифруют.
 
[^]
Понравился пост? Еще больше интересного в Телеграм-канале ЯПлакалъ!
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей) Просмотры темы: 32035
0 Пользователей:
Страницы: (9) « Первая ... 3 4 [5] 6 7 ... Последняя » [ ОТВЕТИТЬ ] [ НОВАЯ ТЕМА ]


 
 



Активные темы






Наверх