Textpattern - на русском языке

форум общения русскоязычных пользователей CMS Текстпаттерн

Вы не зашли.

#1 15-12-2009 22:39:50

Ser
добро
Откуда: moscow
Зарегистрирован: 30-11-2005
Сообщений: 47
Вебсайт

Чрезмерная нагрузка на сервер баз данных MySQL

Получил от системного администратора хостинга (TimeWeb.ru) такое письмо:

   

Ваш аккаунт xxx систематически оказывает чрезмерную нагрузку на сервер баз данных MySQL.
    По данным статистики нагрузка на MySQL:

    13 декабря - 1894
    12 декабря - 1827
    11 декабря - 2004
    10 декабря - 2325
    9 декабря - 1796

    превышает допустимые значения на текущем тарифном плане.
    Детально информацию о нагрузке Вы можете посмотреть в панели управления
    В течение 7 дней (до 21декабря 2009 включительно) Вам необходимо принять меры для существенного снижения нагрузки.
    Если оптимизация сайтов невозможна, дальнейшее качественное обслуживание Вашего аккаунта в нашей системе будет возможно только на тарифном плане "Eterno"

Что бы это значило и как с этим бороться, кто-нибудь знает? Новый тарифный план в 5 раз дороже.

Может чего-то намудрил? Итак коротко о сайте. В корне основной сайт на Textpattern 4.20, папка forum - Punbb 1.3.4. и совсем недавно добавил в папке cpg - Coopermine fotogallery 1.4.25. Все три части в отдельных базах данных. Все раздельно, без какой-либо интеграции. Где-то проскакивало, сейчас не помню где, что галерея вроде дает много запросов к базе, но там всего то пока фоток 150.

Неактивен

 

#2 16-12-2009 10:30:48

the_ghost
ять
Откуда: Минск
Зарегистрирован: 01-05-2007
Сообщений: 1957
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

Включаете режим отладки и смотрите в исходном коде сайта запросы и вермя их исполенения. У меня на мастерхосте при достаточно напичканом сайте на страницу идет около 40-50 запросов при суммарном их времени около 700 мс и время генерации - 700-800мс (т.е. время работы php после сбора данных с mysql). При 1500 просмотров в сутки проблем никаких с хостером нет.

Есть еще один сайт, там запросы попроще, время mysql - 100-200 мс и генерация - 300-400 мс. В сутки около 15 тысяч просмотров - хостер молчит. Попробуйте сопоставить со своими данными - возможно хостер обнаглел? smile

И какую размерность имеют цифры в ваших данных? smile


.      Создание шаблонов для Textpatern http://textpattern.ru/forum/viewtopic.php?id=1665 (<txp:make_template quality="best" />)
КОНСУЛЬТАЦИИ по Textpattern - ICQ#8458496, nemiga@gmail.com <txp:if_question><txp:pay /></txp:if_question>
       Список всех тегов - http://textbook.textpattern.net/wiki/in … _Reference

Неактивен

 

#3 16-12-2009 10:34:29

makss
наш
Зарегистрирован: 21-10-2008
Сообщений: 208
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

что означает вторая колонка?  кол-во запросов к sql в сутки?


aks_rss : RSS parser and aggregator | http://makss.uaho.net/plugins/aks_rss
aks_table : Simple tables in TxP (Ctrl+C, Ctrl+V) | http://makss.uaho.net/plugins/aks_table

Неактивен

 

#4 16-12-2009 15:01:12

Ser
добро
Откуда: moscow
Зарегистрирован: 30-11-2005
Сообщений: 47
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

the_ghost написал:

И какую размерность имеют цифры в ваших данных? smile

makss написал:

что означает вторая колонка?  кол-во запросов к sql в сутки?

Цитирую из панели управления сайтом:

Нагрузка на MySQL имеет следующие ограничения:
    * Виртуальный хостинг (тарифные планы Year, Century, Optimo, Millennium) - до 1000 единиц
    * VIP хостинг Eterno - до 2500 единиц
    * Premium хостинг - до 5000 единиц

Что за единицы мне сказать трудно.

Неактивен

 

#5 16-12-2009 15:06:34

Ser
добро
Откуда: moscow
Зарегистрирован: 30-11-2005
Сообщений: 47
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

the_ghost написал:

Включаете режим отладки и смотрите в исходном коде сайта запросы и время их исполнения.

Боюсь, что здесь я пас. Ни где включать, ни где смотреть я не знаю.

Неактивен

 

#6 16-12-2009 15:45:31

the_ghost
ять
Откуда: Минск
Зарегистрирован: 01-05-2007
Сообщений: 1957
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

smile Настройки - Главные.
Потом открываем сайт, открываем исходный код - и смотрим где и какие запросы прожорливые.

Вопрос - в последние дни перед письмом хостера проводились ли какие работы на сайте? Может быть трафик подскочил?


.      Создание шаблонов для Textpatern http://textpattern.ru/forum/viewtopic.php?id=1665 (<txp:make_template quality="best" />)
КОНСУЛЬТАЦИИ по Textpattern - ICQ#8458496, nemiga@gmail.com <txp:if_question><txp:pay /></txp:if_question>
       Список всех тегов - http://textbook.textpattern.net/wiki/in … _Reference

Неактивен

 

#7 16-12-2009 19:21:07

Ser
добро
Откуда: moscow
Зарегистрирован: 30-11-2005
Сообщений: 47
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

the_ghost написал:

smile Настройки - Главные.
Потом открываем сайт, открываем исходный код - и смотрим где и какие запросы прожорливые.

Спасибо, это я вполне осилю, я думал нужно лезть куда-то в панель управления сайтом, а в txp вполне.

the_ghost написал:

Вопрос - в последние дни перед письмом хостера проводились ли какие работы на сайте? Может быть трафик подскочил?

!,5 мес назад я сменил хостинг и сначала около месяца нагрузку никто не считал, видимо, дали обустроиться. Окло 10 дней стали считать нагрузку и она оказалась высокой, но может быть она и была изначальной. Правда еще добавка, учитывая. что все равно места много - 2 гига, а весь сайт занимает около 200 мегабайт, я наконец-то решился установить еще и фотогалерею - coopermine, попробовал все три, включая gallery2 и zenphoto. Наиболее переведенной и простой показалась coopermine, может она и задрала показатели. Где-то я читал, что у галерей много запросов к базам.

Трафик подскочил сразу после переезда, сайт залетал на новом хостинге, количество посетителей увеличилось с 200 до 500, посещений с 600 до 1800. Поэтому вряд ли это сыграло роль.

Отредактированно Ser (16-12-2009 19:24:32)

Неактивен

 

#8 30-12-2009 04:57:48

A5
земля
Зарегистрирован: 08-07-2008
Сообщений: 116

Re: Чрезмерная нагрузка на сервер баз данных MySQL

Cайт на ТаймВеб, похожие параметры по посещению дают загрузку 10% и по процессору, и по базе.
Число запросов к базе - от 30 до 100. Текстпаттерн, скорее всего, ни при чём.

Неактивен

 

#9 30-12-2009 09:24:11

Ser
добро
Откуда: moscow
Зарегистрирован: 30-11-2005
Сообщений: 47
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

A5 написал:

Текстпаттерн, скорее всего, ни при чём.

Приблизительно тоже мне ответили про punBB. Интересно, что нагрузка на процессор и до 10% не дотягивает, а на MySQL в 1,5-2 раза выше.

Может плагины поотключать? Но их не так уж и много и логически грузить базы данных не должны.
Активные плагины:
ob1_modified-0.51,
cbs_category_list-0.5,
zem_contact_lang-4.0.3.03,
pap_contact_cleaner-0.1,
zem_contact_reborn-4.0.3.17m,
etz_pg-0.10,
ob1_googlenav-2.0m,
zem_article_info-0.1,
rss_admin_db_manager-4.0.1,
rah_textile_bar-0.3.5

Неактивен

 

#10 27-01-2010 13:51:31

advan
ю
Откуда: Mk
Зарегистрирован: 05-11-2006
Сообщений: 835
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

Пару недель назад стал падать сайт. Примерно раз в 2 дня. По словам хостера это от большого числа запросов к сайту (БД) и от того, что скрипты обращаются сами на себя... Кто-нибудь может подсказать, что это значит и как решить данную проблему?

Данные для размышления

Сервер: Apache, MySQL 5.0.51a-24+lenny2+spu1, PHP 5.2.6-1+lenny4; стоит только один этот сайт. Неделю назад был другой сервер с четвертыми php и sql, но тоже сайт падал, причем на этом сервере находилось еще 3-4 сайта.

Сайт: TXP 4.2.0, плагины zem_contact_reborn-4.0.3.12-rus-4.0.3.12m, rah_ip_range-0.1, rss_auto_excerpt-0.5, dvk_comment_notify-0.1m, smd_random_banner-0.41, ob1_pagination-2.5m, prad_image_index-0.4.0m, smd_gallery-0.51, ob1_title-4.1, pap_xpoll-0.1m, rss_admin_show_adv_opts-0.1m, rss_article_edit-0.1, fpx_image_import-0.4, tru_tags-3.1m, rah_textile_bar-0.3.5, smd_lib-0.36.

Нагрузка на сайт по данным Яндекса за декабрь-январь (в день): посещаемость стабильно 700-800 посетителей, просмотров не больше 4000, но как раз 2 недели назад замечено резкое увеличение просмотров аж в 2раза!; запросов в секунду 3-6.

Отладка:

<!-- Runtime:    0.1173 -->
<!-- Query time: 0.021842 -->
<!-- Queries: 34 -->
<!-- Memory: 3962Kb, <txp:if_excerpt> --> — тут меня смущает txp:if_excerpt
<!-- txp tag trace:
[SQL (0.000253915786743): select name, data from txp_lang where lang='ru-ru' AND ( event='public' OR event='common')]
[SQL (0.000481843948364): select name, code, version from txp_plugin where status = 1 AND type IN (0,1) order by load_order]
[SQL (0.000147819519043): select name,code,version from txp_plugin where status = 1 AND name='smd_lib']
[SQL (0.000167846679688): select name, val from txp_prefs where prefs_id=1 AND user_name='']
[SQL (0.000102043151855): select * from tru_tags_prefs where 1]
[SQL (0.0001220703125): select page, css from txp_section where name = 'default' limit 1]
[SQL (0.000805854797363): select host from txp_log where ip='xxx.xxx.xx.xx' limit 1]
[SQL (0.000335931777954): insert into txp_log set `time`=now(),page='/',ip='xxx.xxx.xx.xx',host='xxx.xxx.xx',refer='',status='200',method='GET']
[SQL (0.000126123428345): select user_html from txp_page where name='all']

По остальной части отладки -

the_ghost написал:

... смотрим где и какие запросы прожорливые.

каковы конкретные показатели прожорливости? smile Самая большая цифра у меня - 9.51290130615E-5

В последнее время каких-либо значительных изменений / дополнений на сайте не было. Новые плагины не устанавливались.
На ТХП есть несколько других сайтов - на них проблем вроде нет. Но там конечно и объем контента и посещаемость в разы меньше.


Знакомьтесь на здоровье - http://love.kachok.ru  /  Я в PHP ниПХПуя незнаю! :)

Неактивен

 

#11 27-01-2010 15:11:46

makss
наш
Зарегистрирован: 21-10-2008
Сообщений: 208
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

размер базы, случайно, не ограничен?  логами она не раздувается?
самое простое: для начала вырубить логи, толку от них все-равно нет.

потом посмотреть какие страницы чаще всего запрашиваются и сделать их дебаг.

не в тему: начиная с TXP 4.2 плагин rss_admin_show_adv_opts - бесполезен, т.к. 4.2 уже сама все делает.


aks_rss : RSS parser and aggregator | http://makss.uaho.net/plugins/aks_rss
aks_table : Simple tables in TxP (Ctrl+C, Ctrl+V) | http://makss.uaho.net/plugins/aks_table

Неактивен

 

#12 27-01-2010 15:28:10

advan
ю
Откуда: Mk
Зарегистрирован: 05-11-2006
Сообщений: 835
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

makss написал:

размер базы, случайно, не ограничен?  логами она не раздувается?
самое простое: для начала вырубить логи, толку от них все-равно нет.

Да вроде нет.
БД:       25.92 МБ
Таблиц : 51
Строк :   277 836
Из-за логов размер доходил до 32,5 МБ, но таких проблем не было.

makss написал:

потом посмотреть какие страницы чаще всего запрашиваются и сделать их дебаг.

Эт как? smile Тупо через статистику просмотров?

makss написал:

не в тему: начиная с TXP 4.2 плагин rss_admin_show_adv_opts - бесполезен, т.к. 4.2 уже сама все делает.

СПС! После апдейта хотел удалиь, да забыл видимо smile


Знакомьтесь на здоровье - http://love.kachok.ru  /  Я в PHP ниПХПуя незнаю! :)

Неактивен

 

#13 27-01-2010 16:19:47

the_ghost
ять
Откуда: Минск
Зарегистрирован: 01-05-2007
Сообщений: 1957
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

Я задавал вопрос на оф форуме про смущающий <txp:if_excerpt /> в отладке. Ответили, что это вроде тег, тег, который выполнялся на момент замера времени. По сути - не важная часть smile

А конкретно до падения сайта - runtime (время генерации страницы) и sql time (общее время запросов к базе) в полном порядке... Возможно, стоит посмотреть другие страницы сайта. Чаще всего проблема возникает на страницах списка статей - например, все статьи нужного тега, или все статьи из категории.

Ну и попробуйте loadimpact.com - веселый сайт smile У меня на masterhost среднее время генерации страницы ок. 0.7 секунда, время запросов - 0.5-0.7 секунд. И ничего, работает smile


.      Создание шаблонов для Textpatern http://textpattern.ru/forum/viewtopic.php?id=1665 (<txp:make_template quality="best" />)
КОНСУЛЬТАЦИИ по Textpattern - ICQ#8458496, nemiga@gmail.com <txp:if_question><txp:pay /></txp:if_question>
       Список всех тегов - http://textbook.textpattern.net/wiki/in … _Reference

Неактивен

 

#14 27-01-2010 16:55:27

advan
ю
Откуда: Mk
Зарегистрирован: 05-11-2006
Сообщений: 835
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

the_ghost написал:

А конкретно до падения сайта - runtime (время генерации страницы) и sql time (общее время запросов к базе) в полном порядке... Возможно, стоит посмотреть другие страницы сайта. Чаще всего проблема возникает на страницах списка статей - например, все статьи нужного тега, или все статьи из категории.

Судя по статистике от Яндекса - с того дня, когда сайт упал в первый раз, количество просмотров главной страницы подскочило с ~60 до почти 90%! На главной выводятся список новостей - 8 штук, по 1 штуке из 3 других секций, последние сообщения с форума (punbb), ну и по мелочам...

the_ghost написал:

Ну и попробуйте loadimpact.com - веселый сайт smile У меня на masterhost среднее время генерации страницы ок. 0.7 секунда, время запросов - 0.5-0.7 секунд. И ничего, работает smile

Status: Test timed out


Знакомьтесь на здоровье - http://love.kachok.ru  /  Я в PHP ниПХПуя незнаю! :)

Неактивен

 

#15 02-02-2010 10:51:02

advan
ю
Откуда: Mk
Зарегистрирован: 05-11-2006
Сообщений: 835
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

Сравнил данные со статистики посещаемости и данными host-tracker.com - пики резкого возрастания просмотров не всегда совпадают с падением сайта ...
Да и вообще очень странное увеличение просмотров наблюдалось.. При этом посетителей особо не прибавилось.

http://advan.qipru.users.photofile.ru/photo/advan.qipru/96328525/xlarge/115025094.jpg

DDoSили?

PS : Сейчас пока тьфу-тьфу все нормально ))


Знакомьтесь на здоровье - http://love.kachok.ru  /  Я в PHP ниПХПуя незнаю! :)

Неактивен

 

#16 02-02-2010 11:21:58

the_ghost
ять
Откуда: Минск
Зарегистрирован: 01-05-2007
Сообщений: 1957
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

DDOS - давольно дорогое удовольствие... Может просто наплыв ботов поисковиков? smile


.      Создание шаблонов для Textpatern http://textpattern.ru/forum/viewtopic.php?id=1665 (<txp:make_template quality="best" />)
КОНСУЛЬТАЦИИ по Textpattern - ICQ#8458496, nemiga@gmail.com <txp:if_question><txp:pay /></txp:if_question>
       Список всех тегов - http://textbook.textpattern.net/wiki/in … _Reference

Неактивен

 

#17 02-02-2010 11:24:40

advan
ю
Откуда: Mk
Зарегистрирован: 05-11-2006
Сообщений: 835
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

Буду надеяться что так smile


Знакомьтесь на здоровье - http://love.kachok.ru  /  Я в PHP ниПХПуя незнаю! :)

Неактивен

 

#18 25-10-2010 17:43:34

sgm
добро
Зарегистрирован: 26-01-2007
Сообщений: 48

Re: Чрезмерная нагрузка на сервер баз данных MySQL

Здравствуйте! Чрезмерной нагрузки на сервер у меня нет, но более подходящего места для своего сообщения не нашла. Пожалуйста, помогите советом по данному вопросу. Уже около месяца два посетителя ежедневно, иногда по несколько раз в день, делают следующее.

1. Открывает 1-2 тысячи раз подряд один и тот же файл. IP посетителя российский, пока постоянный. Браузер Opera. Обе мои статистики одинаково считают эти клики как отдельные. Когда этот посетитель на сайте, сайт заметно замедляется, по-видимому из-за того, что одна из статистик не успевает считать столько кликов подряд.

2. Открывает один и тот же файл, при этом добавляет к названию много-много букв, типа sitename/title/index.html/index.html/.... Этот длинный URL приводит в искомый (имеющийся) файл на сайте, т.к. TxP видимо игнорирует эти добавки после /title/. В админ-панели стоит ограничение на длину URL 250 знаков, только этим количество вводимых им букв и ограничивается. IP посетителя российский, меняется периодически, причем вчера и сегодня уже три разных посетителя стали делать такую же вещь.

У меня вопрос, насколько вредны эти действия для сайта и можно ли что-то предпринять для противодействия. В Admin стоят настройки Accept comments - No; Logging - None. Спасибо.

Неактивен

 

#19 25-10-2010 19:45:06

the_ghost
ять
Откуда: Минск
Зарегистрирован: 01-05-2007
Сообщений: 1957
Вебсайт

Re: Чрезмерная нагрузка на сервер баз данных MySQL

Статистика не может замедлять сайт - все они ведут подсчет на своем сервере. Я бы просто проигнорировал это - может быть кто-то запустил сканер уязвимостей и ваш сайт попал под его действие. Такое случается очень часто и не зависит от сайта, его тематики и т.п.

Эти действия безвредны, т.к. считаю, что известных уязвимостей для txp нет. Если ip посетителя-шутника постоянный, можете щаблокировать его через .htaccess


.      Создание шаблонов для Textpatern http://textpattern.ru/forum/viewtopic.php?id=1665 (<txp:make_template quality="best" />)
КОНСУЛЬТАЦИИ по Textpattern - ICQ#8458496, nemiga@gmail.com <txp:if_question><txp:pay /></txp:if_question>
       Список всех тегов - http://textbook.textpattern.net/wiki/in … _Reference

Неактивен

 

Board footer

RSS   Rambler's Top100
Powered by PunBB
Textpattern.ru