Nano Hash - криптовалюты, майнинг, программирование

Как уменьшить загрузку ЦП, когда Google и Bing сканируют сайт Magento?

Я уже некоторое время сталкиваюсь со странной ситуацией, и мне нужно руководство по этому поводу.

Проблема: В течение последних двух дней наш веб-сайт работал очень медленно по сравнению с тем, что было при запуске сервера. Мы думали, что это проблема темперамента. Но теперь он стал очень медленным, и страница загружается не менее 3 минут. Я также проверил, что загрузка ЦП каким-то образом достигла 100%, и полагаю, что это может быть вызвано сканированием.

Мы привлекаем третью сторону для SEO и динамического ремаркетинга Google и рекламы нашего веб-сайта magento. я твердо верю, что эти вещи должны сканировать мой сайт для индексации в поисковой системе.

Я видел, что Google и Bing регулярно сканируют наш сайт. Вы можете назвать это ботом Google и ботом Bing, и внезапно он увидел самый большой всплеск.

Посмотрите на скриншот: https://www.dropbox.com/s/2c4u04rhtbi99j0/Screenshot%202015-11-14%2014.16.41.png?dl=0

При этом самый большой всплеск вызван одновременно bing и google, а меньшие — только ботом google.

Итак, у меня только что был быстрый вопрос по этому поводу?

Ребята, как вы думаете, если IP-адрес бота будет занесен в белый список, возникнут ли у нас проблемы с SEO, рекламой в Google и динамическим ремаркетингом, потому что тогда он не позволит этому IP-адресу сканировать наш сайт???

Это спам или боты, сканирующие наш магазин, что приводит к сокращению времени отклика магазина, что может повлиять на рейтинг в поисковых системах и конверсии в нашем магазине??

Может ли большой тип экземпляра AWS помочь нам решить нашу проблему с использованием ЦП? Примечание. Мы уже используем тип экземпляра m3.large. .

nginx amazon-web-services php magento magento-1.9.1
15.11.2015

  • Проблема с поисковыми системами заключается в том, что они сканируют все, что по сути означает атаку типа «отказ в обслуживании» на вашем сайте. Вы можете внедрить CDN, например CloudFlare (дешевле) или Akamai (дорого), что может снять часть нагрузки. Если вы уже используете AWS, CloudFront тоже может быть хорошим вариантом... 15.11.2015
  • Хорошо, буду использовать Cloudfront, а потом посмотрим, но не могли бы вы сообщить мне, как Cloudfront может помочь, если мы загрузим на него css, js n media, папки скинов. Я знаю некоторые основы, хотя я не настолько эксперт в SysOps AWS, не так хорош в системном администрировании. 15.11.2015
  • С другой стороны, убедитесь, что сервер хорошо настроен (уровень кэширования, php, Nginx, база данных, файловая система). Поэтому, чтобы помочь вам с этим, опубликуйте файлы конфигурации с логами здесь, пожалуйста. Уровень кэширования в Nginx может значительно снизить нагрузку на базу данных и файловую систему. 15.11.2015

Ответы:


1

Это спам или боты, сканирующие наш магазин, что приводит к сокращению времени отклика магазина, что может повлиять на рейтинг в поисковых системах и конверсии в нашем магазине??

Боты и сканеры могут вызвать устойчивый всплеск трафика и ресурсов для одного сервера magento. Независимо от того, что используется для повышения производительности magento, например: кэширование magento по умолчанию, настройки nginx или apache, установленные расширения и т. д.

Может ли большой экземпляр AWS помочь нам решить нашу проблему с использованием ЦП?? Примечание. Мы уже используем экземпляр типа m3.large.

Безусловно, инстанс Burstable t2.large может быть более экономичным и лучше справляться с всплесками трафика, например вызванными ботами. Пока у вас есть полупредсказуемый шаблон трафика. Подобно более высокому трафику в течение дня и более низкому ночью, экземпляр получит кредиты, которые он может использовать, чтобы превысить нормальную загрузку ЦП, см. это для подробного объяснения:

https://aws.amazon.com/blogs/aws/low-cost-burstable-ec2-instances/

Самой большой помощью, которую я увидел, был правильно настроенный robots.txt для magento. Он гарантирует, что сканеры направляются в нужные места, гарантируя, что ваш сервер должен обслуживать только те страницы, которые ему нужны. Этот пост — отличное место для начала:

https://magento.stackexchange.com/questions/14891/how-do-i-configure-robots-txt-in-magento

В инструменте для веб-мастеров Google и Bing после подтверждения домена вы можете при необходимости изменить скорость сканирования.

Вы также можете реализовать блокировку реферального спама с помощью Nginx, см.:

https://github.com/Stevie-Ray/referrer-spam-blocker

03.01.2017
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..