Скачать с ютуб CloudFlare: Как подключить и настроить защиту сайта от ботов и накрутки ПФ? - Soltyk.ru в хорошем качестве

CloudFlare: Как подключить и настроить защиту сайта от ботов и накрутки ПФ? - Soltyk.ru

Рассказываю про сервис CloudFlare, используемый для защиты сайтов от ботов, накрутки поведенческих факторов, спама, DDOS-атак. И какие настройки повлияли на SEO - ранжирование в поисковых системах Яндекс и Google. ВНИМАНИЕ! Видео устарело! Эти настройки уже не работают для защиты от накрутчиков ПФ на 05.2024. В данный момент у меня уже другая методика защиты и правила WAF. Могу настроить за отдельную плату. Тайм-коды, оглавление видео в YouTube: 0:00 Введение. Что такое CloudFlare.com? 0:36 Регистрируемся в CloudFlare.com 0:53 Проверяем свой сайт на блокировку Роскомнадзором 1:19 Добавляем сайт в CloudFlare 1:36 Выбираем бесплатный тарифный план в CloudFlare 1:43 DNS-записи домена и их сверка с записями на хостинге 3:03 Прописываем NS-записи CloudFlare вместо NS-записей хостинга в регистраторе доменных имен, ждем обновления до 48 часов 4:07 Включаем DNSSEC 4:46 Настраиваем SSL/TLS - настраиваем безопасное подключение и сертификаты 6:10 Настраиваем WAF (Web Application Firewall) - 5 правил безопасности брандмауэра, которые отсекают около 90% ботов на сайт 6:27 Создаем правила в WAF. Виды блокирования 7:09 1 правило. Разрешаем Белых ботов 7:36 2 правило. Выдаем капчу: кто не SSL или имеет IPV6 8:52 3 правило. Выдаем капчу,кто не HTTP2+ или с пустым реферером 9:58 4 правило. Блокируем плохие парсеры 10:15 5 правило. Плохие страны - на усмотрение CloudFlare 10:50 Смотрим отчет География в Яндекс.Метрике 11:46 Включаем Bot Fight Mode - обнаружение JavaScript у ботов 12:14 Включаем Early Hints - предзагрузка страниц, ускорение 12:35 Сбрасываем кеш Purge Cache - Purge Everything 12:53 Включаем Browser Cache TTL - Respect Existing Headers 13:10 Включаем Crawler Hints - ускоряем индексацию поисковиками (возможно используют IndexNow) 13:56 Page Rules - настраиваем 3 правила базовых редиректов на уровне брандмауэра используя Forwarding URL + 301 - Permanent Redirect 15:33 Включаем Normalize URLs to origin - убираем двойные слеши и закодированные символы в URL, приводим к стандарту 15:43 Включаем 0-RTT Connection Resumption - повышаем производительность при повторных визитах 15:57 Включаем gRPC - для снижения использования полосы пропускания, уменьшения задержек и ускорения 16:15 Включаем Pseudo IPv4 - для поддержки сервером IPv4 при посещениях с IPv6 16:28 Внимание Maximum Upload Size - больше 100 МБ пользователи не смогут загрузить на сайт! 17:07 Смотрим отчеты 17:41 Анализируем отчет файервола - сколько ботов и прошедших проверку 18:14 Как накручивают сайт, делают отказы - как выявить и результаты после включения защиты 21:35 Включаем отображение роботного трафика в отчетах Яндекс.Метрики 22:22 Турбо-страницы Яндекса и ботный трафик 22:55 Как CloudFlare влияет на посещаемости с органики? 23:08 Смотрим отчет по страницам в Яндекс Вебмастер 24:03 Смотрим отчет по страницам в Google Search Console 24:37 Смотрим отчет Тренды в Яндекс Вебмастер 25:16 Как анализировать влияние CloudFlare на SEO 25:24 Заключение 26:15 Что делать, если CloudFlare запретят в РФ? После завершения настройки DNS - отправляем обновление DNS по кнопке "Check nameservers". Используемые инструменты: https://cloudflare.com/ - Сервис защиты https://blocklist.rkn.gov.ru/ - Сервис для проверки ограничений на домене от Роскомнадзора Шаблон 1 правила: (cf.client.bot) or (http.user_agent contains "Mail.RU_Bot") or (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") or (http.user_agent contains "msnbot") or (http.user_agent contains "Googlebot") Шаблон 2 правила: (ip.src in {::/0} and not ip.geoip.asnum in {13238}) or (not ssl and not ip.geoip.asnum in {13238}) Шаблон 3 правила: (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"} and not ip.src in {ВАШ_IP_АДРЕС_С_КОТОРОГО_ПАРСИТЕ_СВОЙ_САЙТ} and not ip.geoip.asnum in {13238}) or (http.referer eq "" and not ip.src in {ВАШ_IP_АДРЕС_С_КОТОРОГО_ПАРСИТЕ_СВОЙ_САЙТ} and not ip.geoip.asnum in {13238}) Шаблон 4 правила: (http.user_agent contains "Abonti") or (http.user_agent contains "AspiegelBot") or (http.user_agent contains "aggregator") or (http.user_agent contains "AhrefsBot") or (http.user_agent contains "Aport") or (http.user_agent contains "asterias") or (http.user_agent contains "Baiduspider") or (http.user_agent contains "hloader") or (http.user_agent contains "httplib") or (http.user_agent contains "HTTrack")... Шаблон 5 правила: (ip.geoip.country ne "RU" and ip.geoip.country ne "BY" and ip.geoip.country ne "KZ") Подписывайтесь на YouTube-канал. Мой телеграм канал "Заметки по SEO Soltyk.ru": https://t.me/soltykseo SEO-блог: https://soltyk.ru/ Алексей Солтык, SEO-специалист из Санкт-Петербурга. Контакты: https://soltyk.ru/kontaktyi Мои кейсы по SEO: https://soltyk.ru/cases #cloudflare #ddos