| 0
- 26.05.2015 - 23:54
|
Имеется локальный сервер, на котором крутится zabbix + mysql под него. Все было хорошо, пока не упал сервер по причине пропажи электричества. В первый раз включил рековери=1 исторические таблицы оказались битыми и при обращении к ним из cli вызывало логаут. Сделал экспорт живых таблиц, дробнул базу залил живые данные, создал исторические таблицы. Исторические данные пропали, но хоть восстановил работоспособность. Сегодня повтор, да такой что писец. Сервер стартанул только на рековери=6. Куча страшных ошибок в логах. Видимо придется откатится на бекап. Собственно вопрос: как настроить мускл чтобы он был более устойчив к потере питания? Можно принебречь последними данными, но чтоб сервак поднимался сам.     | | |||
| 1
- 27.05.2015 - 00:33
|
0-40KHYTbIU > А просто по питанию защитить? | | |||
| 2
- 27.05.2015 - 06:22
| Файловая система? UPS? | | |||
| 3
- 27.05.2015 - 11:52
|
Вам в помощь: 1) http://habrahabr.ru/post/63394/ 2) mysql cluster http://www.opennet.ru/docs/RUS/mysqlcluster/ у меня есть вторая виртуалка, полностью идентичная. На неё каждый день льются конфиги с мастера скриптом, а так же транзакционные логи mysql. Соб-но всё, что надо сделать в случае падения основного сервера - изменить IP на интерфейсе slave-сервера. На slave есть те же хосты, те же карты, в общем - полный клон мастера (только с другим IP). Это не совсем относится к zabbix, просто mysql-репликация. А такая фигня как у вас происходила и у меня по тому, что INNODB очень не любит любые действия, производимые с mysql нештатно. В частности, пока не сделаешь set global read_only=on; не рекомендуется делать mysqldump и вообще любые действия с изменением структуры, переносом баз\таблиц и т.д. | | |||
| 4
- 27.05.2015 - 16:16
|
1-Pass > там стоит упс, но во время коллапсов когда электричество пропадает надолго, получаем падение. 2-droidman > виртуалка это в виртуалбоксе там линукс, наверное ехт4. 3-Лаврентий > хотелось бы более простой способ Есть мысли в крайнем случае мигрировать на постгрес, если там обстоят дела лучше или на MyISAM но я в это не разбираюсь, может теже яйца. | | |||
| 5
- 27.05.2015 - 19:02
|
4-40KHYTbIU > ИБП без портов? Решается установкой более нового или карты расширения в старый. | | |||
| 6
- 28.05.2015 - 14:07
| а что тут сложного? Есть пошаговые инструкции по настройке mysql репликации, а сменить IP в настройках интрфейса - одна строка в конфиге. | | |||
| 7
- 28.05.2015 - 15:39
| 6-Лаврентий > Это подразумевает наличие второй железки. Меня интересует программное решение, которое делает mysql более стойким к потере питания, готов пожертвовать частью данных, например минутой. | | |||
| 8
- 28.05.2015 - 20:16
| Делай бэкап каждую минуту ))) | | |||
| 9
- 29.05.2015 - 02:11
|
Какую чушь все пишут. Какое зеркало базы данных для мониторилки? Если есть вторая железка - лучше поднять вторую мониторилку. Да и чем оно(и бекап вместе с ним) поможет в данной ситуации? Цитата:
Как вариант, попробуйте включить innodb_flush_log_at_trx_commit посмотреть, может где-то еще включено кеширование. Например, на raid-контроллере (или внешней хранилке) отключите writeback, если не уверены в продолжительности работы батарейки (особенно учитывая, что у вас "коллапсы" и "на долго"). А какая файловая система? | | |||
| 10
- 29.05.2015 - 08:10
| А для чего по вашему собирается зеркало баз данных? Вы когда-нибудь видели заббикс с 9546 узлами? И как вторая мониторилка поможет в случае падения первой? Мне прям интересно, как так можно клиентом заббикса писать сразу в две базы. ИМХО вы не разобрались в вопросе уважаемый, и сразу - чушь | | |||
| 11
- 29.05.2015 - 13:39
| Цитата:
Цитата:
Цитата:
http://www.opennet.ru/openforum/vslu...ID15/4085.html Поймите, зеркало базы в данном случае почти вообще не полезно. Разве что, как резервная копия(но для резервного копирования лучше применять резервное копирование, а не зеркала, raid). Оно не уменьшит время простоя. | | |||
| 12
- 29.05.2015 - 14:42
|
в данном конкретном случае при любом отказе мастера (я имею в виду основного сервера zabbix) весь мониторинг переключается на slave, расхождение в НСИ составляет несколько секунд. Все время простоя равно времени переключения с мастера на slave (ествественно, все переключения - скриптом, без рук). И после перехода ковыряйте мастера сколько угодно. Хотите на него вернуться - ваше дело, хотите перестроить slave на master - тоже можно. Есть и другой вариант если master - это виртуалка на hyper-v - делать реплику на другой кластер, там тоже 5 минут простоя | | |||
| 13
- 29.05.2015 - 14:47
| а за запись сразу на 2 сервера - спасибо, не знал такого ) | | |||
| 14
- 29.05.2015 - 15:00
|
Так, а откуда здесь уже появился слейв заббикса? Мы же о зеркале базы данных говорили. А зачем слейву зеркало базы данных? У него же своя база. | | |||
| 15
- 29.05.2015 - 16:02
|
В какой сфере ит забикс является сервисом столь важным чтоб простой у него считался минутами? Делать ежедневную полную копию и достаточно. Если хотите можно копию делать аш два раза в день. Репликация БД страхует только от физического падения, логические ошибки она не устранит. Для физического резервирования существуют другие механизмы. | | |||
| 16
- 29.05.2015 - 17:48
|
вообще-то система мониторинга - важный элемент. Я знаю конторы (например, диспетчерское управление у энергетиков), где она - ключевой элемент инфраструктуры. Плюс, если вы хотите всем рассказывать, что ваш цод tier3 (и больше) - нужно дублировать все элементы инфраструктуры. В том числе и систему мониторинга. А вот ежедневные бекапы, имхо, не так ценны. Конечно, для аналитики может быть полезно знать среднюю нагрузку на каналы за неделю, но в случае большой аварии можно и подождать неделю, собрать новую статистику. А для разбора полетов интересно, что было перед аварией, а не за сутки до нее. | | |||
| 17
- 29.05.2015 - 19:18
|
все это конечно познавательно и интересно, но почему ups не гасит сервер, по остаточному заряду батарей? э втыкаем большую батарейку, умываем руки и уповаем на innodb зачет) | | |||
| 18
- 29.05.2015 - 19:24
|
17-gloomymen > 5 пост, было уже. | | |||
| 19
- 29.05.2015 - 19:36
| 18-Pass > очевидно формулировка 5-го поста не пробила барьер в сознании | | |||
| 20
- 31.05.2015 - 00:09
|
Автору в 0: apcupsd какой нить чтоб сервер штатно выключался при потере питания и включался при подаче. странно что этого нет. Видимо нет денег на новый ибп? Тогда могу предложить вариант: экономим сто рублей чужих денег строя велосипед из говна и палок, который тем неменее работает :) Строим так: У иннодб и экстрадб вообще с этим плохо, с восстановлением после потери питания. По этому бекапы на самом деле спасут, не зря тут о них писали. Но нужно делать их ну там каждые в 30 минут (инкрементальный будет быстр) если делать чем нить типа xtrabackup, партиционируя при этом таблички с историческими данными так же раз в 30 минут. При креше БД останется только восстановить последние патиции таблиц исторических данных (скриптом автоматически к примеру) и все, при потере питания имеем потерю истории за пол часа и никаких проблем вида "а старта нет ли сейчас моя БД?" Итого экономим 100 рублей работодателя и строим велосипед такой, шо потом хрен кто разберется, но зато бесплатно :) Еще можно что то типа percona xtradb cluster, но если все стоит в одном цоде/здании и питание пропадает одновременно и сервера без авто тушения - то мертвому припарка, ток жить сложнее. 15 - в любой, где хостов на мониторинге тыс 200 к примеру. Да даже если 1...2 тыс серверов, уже будут мычать со всех сторон, если мониторинг сдох. | | |||
| 21
- 31.05.2015 - 00:12
| Как то айпад сильно много за меня решает какие буквы писать, сорри.. | | |||
| 22
- 31.05.2015 - 02:14
|
Очередной "не читал постановку задачи, но лучше всех знаю как надо". А чем здесь поможет бекап? Как он может сделать так, чтобы сервак "включился сам"? Кстати, вы прям человек из анекдота: - Как узнать, что у человека айпад? - Подождать пару минут, он сам всем об этом сообщит. | | |||
| 23
- 31.05.2015 - 12:23
|
А если внимательно читать, то можно прочитать, что про бекап (из говна и палок) я написал потому, что предположил отсутствия у автора возможности потушить и запустить сервер автоматически. вам не нравится айпад? Зачем всем об этом сообщать )) лучше предложите как автору с максимальным извращением и нулевыми вложениями получить гарантированно работающую базу Zabbix после потери питания. | | |||
| 24
- 31.05.2015 - 14:16
|
Ну, тему UPS в этой теме уже в третий раз поднимается... Так еще раз скажите, при чем здесь бекап? Вот как его наличие чудесно поможет в указанной ситуации. Нет, мне они безразличны. Просто наблюдение о людях. Смешно, как они пытаются всем показать наличие ай-чегонибудь. Но чтобы прям на форуме о этом писать - такого еще не видел. | | |||
| 25
- 31.05.2015 - 16:13
|
Читаем вопрос в сабже: "Собственно вопрос: как настроить мускл чтобы он был более устойчив к потере питания? Можно принебречь последними данными, но чтоб сервак поднимался сам." Настройка бекапа раз в час + партиционирование с таким же интервалом + восстановление из бекапа последних партиций (можно даже автоматическое) в таблицах с историческими данными позволит быстро и без проблем запустить мускул, если у него покрешились таблицы. Это именно то, что просил автор! Надо же, никогда не задумывался о таком моменте при упоминании слова айпад. Возможно вы проецируете свое внутреннее видение вопроса на других? Поверьте я не пытаюсь никому показать сколько и чего в наличии. Нынче айдевайсы есть даже у пятиклашек. Смешно же )) Я лишь написал что айпад (ну проще мне так писать, чем писать планшет, буков меньше) сам за меня попортил орфографию, что досадно.. А еще у меня в подписи на всех мобильных девайсах стоит "отправлено с iPhone/iPad" :) И я считаю это чертовски удобным! Человек читая почту сразу видит, что я ответил на письмо на ходу и что я не на рабочем месте.. И продолжает диалог уже в этом контексте.. | | |||
| 26
- 31.05.2015 - 17:35
|
А если подумать немного поглубже? В частности, почему на иннодб так сильно крешатся таблицы? У меня подозрение включенный writeback + плохую батарейку (или другую причину потери части данных на хранилище). Следовательно, я был бы не слишком уверен в локальном бекапе, а автоматическое восстановление с внешнего - отдельная задача, зависящая от инфраструктуры автора. Здесь нужно решить более простую задачу: почему так сильно повреждаются данные. А в этом самое прикольное. Все (из тех, кого я видел) владельцы ай-техники так себя ведут. Достаточно в течение 2-3 минут не реагировать на продемонстрированный ай-девайс, как они сами его покажут. Цитата:
| | |||
| 27
- 01.06.2015 - 21:11
|
Крошатся потому что много кеширования (конечно включен врайтбэк, самоубийство на заббикс-БД его отключать, еще есть кеш ос и кеш иннодб) + заббикс очень своеобразно работает с субд. Иногда вызывая просто необъяснимые без поллитра ситуации. nnodb_flush_log_at_trx_commit по умолчанию в мускуле и так в единичке, менять на 2 или 0 - только гарантированно убивать бд заббикс при потере питания. Хотя мож автор и крутил это параметр.. Автор отзовись! По опыту использования innobackupex + партиций - это шикарнейший инструмент для бекапа/рестора мускула под нагрузкой и на лету и автоматически. Скидывать бекапа по сети (там при сжатии инкрементальные бекапы мизерные) думаю не составит труда, заббикс же что то мониторит, сеть есть, не сам в себе де он стоит.. | | |||
| 28
- 01.06.2015 - 21:14
| sed /Крошаться/крэшатся/ и т.д. - сорри, айпад туповат :) | | |||
| 29
- 01.06.2015 - 22:19
|
Вот такие настройки были добавлены после первого креша: innodb_file_per_table innodb_flush_method=O_DIRECT innodb_log_file_size=1G innodb_buffer_pool_size=4G УПС стоит и по идее должен был тушить сервер безболезненно, но не случилось. | | |||
| 30
- 02.06.2015 - 00:51
|
Автор, ответь. Что там с настройками writeback, контроллером, батарейкой... да и вообще, опиши дисковую подсистему Цитата:
Если включен writeback, а батарейка мертвая - что уж там, можно просто в рамдиске работать. | | |||
| 31
- 02.06.2015 - 09:25
|
О! Вот и автор! Ну если без стеба, то наверное стоит услышать ответы от автора на следующие вопросы: 1 - Сколько хостов на мониторинге? Или какой NVPS? 2 - Какой размер БД zabbix? 3 - Какая субд (перкона/мария/мускуль)? Уакой движок (innnodb/xtradb)? 4 - Аpcupsd (или аналог) стоит? Настроен? Работает штатно? 5 - Есть ли ошибки на ФС после восстановления питания? 6 - Конфиг мускула сюда (тока без комментов, кратенько). 7 - Описание сервера сюда (чтобы оценить насколько правильный конфиг мускула). 8 - Есть аппаратный рейд? есть BBU? Что с ними? как настроены? Или может луны с СХД подключены? Опиши, вон уже массово просим.. 9 - Чем/как бекапится БД? По поводу тюнинга мускула под Zabbix есть неплохая шпаргалка: http://www.zabbix.com/img/zabconf201...rence_2014.pdf Чьёрт побьери! Пишу с работы, не с айпада, ни одной опечатки! | | |||
| 32
- 02.06.2015 - 09:25
| ыыыы - нет, есть все таки, есть! | | |||
| 33
- 02.06.2015 - 11:22
|
Мопед не мой... Помогаю товарищу с его "домашним" сервером. Хост винда с виртуалбоксом + УПС с проводом, в ней крутится несколько виртуалок одна из них с zabbix server. Ответы на 31: 1. Менее 50 агентов. 2. ХЗ, вечером посмотрю, сколько после последнего восстановления, думаю в районе нескольких сот мегов максимум. 3. СУБД mysql 5, версию могу посмотреть вечером. 4. Утверждается что да. 5. Были ли ошибки в логах fsck после восстановления? Посмотрю. 6. Выложил в 29, остальное по умолчанию, никаких настроек кеширования и прочего нет. 7. см. начало поста. 8. Рейд аппаратный. Подробности спрошу. 9. mysqldump по крону | | |||
| 34
- 02.06.2015 - 12:39
|
о как! Если это виртуалка - то может ее в суспенд/хибернейт/четамеще_умеет_виртуалбокс при шутдауне винды? А винду уже корректно тушить через ИБП. Если там 50 агентов - то база там крошечная. Нафига там mysql? Запилите Zabbix на sqlite. Тупо дампить ее и все 9хоть мускул хоть эскулайт), раз в час/день (на сколько критична потеря данных). | | |||
| 35
- 02.06.2015 - 15:37
|
В общем картина понятна, что мускул не настроить. Рекомендации выданы, всем спасибо. | | |||
| 36
- 02.06.2015 - 18:07
|
Ага. Даж если отключить кеш ос, всё равно остается кеш иннодб, который полностью никак не выпилить (если мне не изменяет память) - и шанс положить БД будет всегда. Тем более заббикс чемпион практически по затрачивание БД запрсами на ровном месте.. А владелец мопеда зачем заббиксом балуется игрушечным? Это д ж не серьезно! Могу предложить ему побаловаться взрослой инсталляцией заббикса - четко около 200 тыс хостов, 5 мускуло-БД суммарным объемом 10 терабайт. Денег будем там платить, все дела. А если еще и пхп/питон/перл (хоть одно чето) знает - ваще печеньками кормить.. | | |||
| 37
- 02.06.2015 - 18:08
| Айпад опять не дает по человечески написать.... Ититьеговлевоеухо! | | |||
| 38
- 02.06.2015 - 19:15
| Цитата:
Все, что может быть потеряно, будет восстановлено из транзакшн лога. Цитата:
Цитата:
| | |||
| 39
- 02.06.2015 - 19:34
| видимо я этого никогда не пойму, ну почему у нас так любят удалять гланды через любое отверстие кроме штатного? | |
Интернет-форум Краснодарского края и Краснодара |
