Как провести SEO аудит своего сайта с помощью программы Screaming Frog Seo Spider

Рубрика:Блоговедение
как провести аудит сайта

Всем привет!

Чтобы к вашему сайту хорошо относились поисковики (яндекс и google), он должен быть правильно оптимизирован по всем требованиям.

А чтобы узнать, есть ли какие-то недочеты в оптимизации, необходимо провести сео аудит своего сайта.

В сегодняшней статье я как раз и расскажу, как провести аудит сайта при помощи одной специальной программы. Называется она Screaming frog seo spider.

Сегодня 23 февраля! Пользуясь случаем поздравляю всех мужчин с днем защитника отечества! Будьте сильными, смелыми, достойными и защищайте своих женщин!

Коротко о программе

Screaming Frog – бесплатная программа, если на вашем ресурсе менее 500 страниц. Для меня это условие пока выполняется. Но через год скорей всего уже придется платить.

Очень жаль, что интерфейс программы на английском языке. Но тем не менее разобраться во всем не так уж и сложно. У меня получилось, получится и у вас =)

Есть разные версии для работы как на windows, так и на Mac и на Ubuntu.

Подробнее можно почитать на официальном сайте вот здесь http://www.screamingfrog.co.uk/seo-spider/

программа Screaming frog

Экономия собственного бюджета

Делая аудит своего сайта самостоятельно, вы сэкономите немалые деньги. Например, компания 1PS.ru выполняет seo аудит за 2980 рублей.

Аудит от компании 1PS.ru

Как по мне, то это дорого для обычного блоггера. Поэтому рекомендую вам освоить некоторые азы сео оптимизации. А программа Screaming Frog в комплекте с моими рекомендациями вам поможет в этом.

А если вы всё равно не хотите сами во всем разбираться, то я скоро обновлю  страницу со своими услугами и добавлю туда аудит сайта и еще кое-что =)

Обзор интерфейса программы

Про скачивание и установку программы я рассказывать не буду. Здесь нет никаких премудростей. Главное не перепутайте версию. Если у вас на компьютере стоит Windows, то качайте установочный фай именно для windows.

В остальном проблем возникнуть не должно.

После запуска программы на главном окне наверху вы увидите поле. В него необходимо вставить адрес главной страницы вашего ресурса. И нажмите кнопку «Start».

Сканирование ресурса в программе

Запускается процесс. Длительность этой процедуры зависит от количества страниц и, конечно же, от скорости вашего сервера, то есть от скорости вашего хостинга.

На блоге уже статья про определение скорости хостинга. Читайте ее здесь.

Теперь осталось пробежаться по основным вкладочкам и посмотреть, что интересного они могут нам рассказать.

Вот список всех вкладок слева направо:

  • Internal
  • External
  • Protocol
  • Response Codes
  • URL
  • Page Title
  • Meta Descriptions
  • Meta Keywords
  • H1
  • H2
  • Images
  • Ajax
  • Custom
  • Analytics
  • Search Console

Я уже походил по всем вкладкам и нашел полезную и интересную для себя информацию только на первой половине. Поэтому и расскажу только про них.

Для тех, кому лень читать, я специально записал видео. Получилось оно довольно длинным (30 минут):

Internal

Здесь находятся все странички, находящиеся на сайте.  С помощью фильтра можно посмотреть на все html или css странички. Есть и другие виды.

Фильтр

Лично для меня здесь нет ничего интересного, просто ради ознакомления.

External

А здесь находится уже более ценная информация – исходящие внешние ссылки с вашего ресурса.

Как известно, таких ссылок много быть не должно. А если они и есть, то они должны вести на авторитетные трастовые ресурсы.

Я уже немного почистил свои внешние ссылки. Остались только линки на сервис граватар, смартреспондер и еще одна. Эту одну ссылку мне оставили в комментариях и я пока решил не убирать ее.

Внешние ссылки

«Хорошо» – скажете вы. «Ссылки мы нашли, а как их убрать то?»

Через Screaming Frog, конечно же, убрать ничего не получится. Но вот узнать, на каких именно страницах находятся эти внешние ссылки, очень легко.

Для этого просто выделите нужную ссылку.  Далее смотрим вниз и переходим там во вкладку inlinks. Появится табличка, в которой в колоне «From» — адрес вашей статьи с внешней ссылкой, а в колонке «To» — адрес страницы, куда ведет ссылка.

Нахождение внешних ссылок

Кликайте правой кнопкой мыши по каждой строчке (их может быть несколько) и в контекстном меню нажимайте на «Open From in Browser».

Откроется страничка вашего сайта, переходите в режим редактирования и либо удаляйте ссылку, либо скрывайте ее. О том, как скрывать ссылки, я скорей всего еще напишу в будущем.

Response Codes

А эта очень даже важная вкладка.  Она показывает коды ответа сервера при запросе страниц вашего сайта.

  • код 2xx (Success) означает, что всё отлично,
  • код 3xx (Redirection) – это редиректы
  • код 4xx (Client Error) – ошибка, когда страница не найдена
  • код 5xx (Server Error) – это грубая ошибка, когда какие-то проблемы на сервере.

Каждый код можно открывать отдельно, используя всё тот же фильтр.

На моем сайте сейчас все отлично. Ошибок нет вообще. В редиректах находятся только ссылки на граватар. Это нормально.

Кстати совсем недавно были и другие редиректы. Дело в том, что я изменил адрес одной своей статьи. Но на момент смены адреса на эту статью уже ссылались другие мои статьи, их было порядка двадцати.

В итоге образовалось 20 редиректов, перенаправляющих со старого адреса на новый. Мне пришлось зайти на каждую статью и вручную заменить ссылку.

Также если в фильтре выбрать значение «Blocked by Robots.txt»,  то вы увидите все разделы сайта, которые скрыты от роботов посредством файла Robots.txt.

Страницы закрытые от роботов

Как видно, у меня скрыта папка с настройками всех плагинов (wp-content/plugins), страница Feed и одна картинка, название которой начинается на «Feed» — так уж ей повезло =)

А вообще я скрываю от индексации всё ненужное в основном с помощью файла .htaccess. Но это уже совсем другая тема. Как-нибудь расскажу.

Page Title и Meta Descriptions

На этих вкладках можно проанализировать теги тайтл и дескрипшн, которые мы прописываем с помощью специального сео плагина. Я использую Seo by Yoast.

Тег keyword я не заполняю, так как по последним сведениям поисковики не обращают внимания на этот тег.

Благодаря фильтру легко определить следующие проблемные тайтлы:

  • Missing – пустые
  • Dublicate – одинаковые
  • Same as H1 – совпадающие с заголовком
  • Длиннее 65 или короче 30 символов

Фильтр по тайтлам

Первых трех вообще быть не должно. Хотя у меня есть теги тайтл, совпадающие с заголовком H1.

Но таких страниц у меня всего 12, и я скорей всего это исправлю в ближайшем будущем.

Тайтлы совпадающие с H1

А что касается длины тега Title, то я их стараюсь умещать в тот интервал, который мне подсказывает плагин Seo by Yoast.

Что касается тега Descriptions, то здесь практически всё аналогично.  Но проблем у меня здесь немного больше.

Например, есть статьи и страницы с пустым тегом. Это, как правило, статьи, которые я не затачивал под конкретный ключ. Это статьи о себе, о своей жизни, о своем блоге, отчеты.

Также есть страницы с одинаковым содержимым тега descriptions. Это так называемые страницы пагинации. Это скорей всего убрать не получится.

В общем на этом обзор программы Screaming Frog Seo Spider окончен. Рекомендую вам самим поковыряться в этот программе, попереходить по всем вкладкам, поизучать свой блог.

Уверен, вам будет интересно.

Мне вот очень нравится так изучать свой блог. Могу часами сидеть, особенно если много ошибочек и недочетов.

Если же вам не нравится этим заниматься, то снова могу порекомендовать профессионалов из компании 1PS.ru.

Если понравилась статья, то поделитесь ею со своими друзьями в социальных сетях, используя специальные кнопки ниже.

Также подписывайтесь на обновления блога, чтобы не пропустить новый и очень интересный материал.

Всем пока и до скорых встреч!

С уважением! Абдуллин Руслан

Как провести SEO аудит своего сайта с помощью программы Screaming Frog Seo Spider
Оценка: 5 Всего голосов: 6
Понравился блог? Подпишись, чтобы получать новые статьи на почту и быть в курсе всех событий!
Ваш email:
Ваше имя:
email рассылки Конфиденциальность гарантирована

Комментарии пользователей (57)

  1. Евгения Куварина

    Интересная программа, надо будет попробовать. Правда, мой основной блог, возможно имеет больше страниц, но у меня есть и другие поменьше, хоть их проверю

    Ответить
    • Абдуллин Руслан

      Программа и правда очень интересная. Мне очень нравится. Рекомендую попробовать

      Ответить
    • Анютка Незабудка

      А каким способом проводите вы аудит своего сайта, на котором более 500 страниц? Ведь аудит сайта все равно приходится делать.

      Ответить
    • Александр

      Наверно Евгения проводит аудит обычными сервисами Яндекса или другими. Можно заказать платный аудит или с помощью платной версии Screaming Frog.

      Ответить
      • Надежда Введенская

        Что такое обычные сервисы Яндекса для проведения аудита? Насколько я знаю, таких не существует.

        Ответить
      • Валентина

        Когда программка имеет бесплатный вариант, то она имеет гораздо больше пользователей. Это должно быть выгодно сервису.

        Ответить
        • Надежда Введенская

          Люди всегда ищут халяву. И наличие бесплатности вовсе не означает, что у сервиса возрастет число платных клиентов.

          Ответить
          • Валентина

            Я имела ввиду, что у программки вначале возрастёт число бесплатных клиентов. А уж потом они, если пожелают, перейдут в платные.

  2. Миша

    Хорошая программа, вот у меня в некоторых статьях H1 и Title одинаковые, надо будет исправлять.

    Ответить
    • Абдуллин Руслан

      Желательно конечно поправить. Но я считаю, что это не грубая ошибка =)

      Ответить
  3. Вадим

    Классная програмка. Только жаль, что бесплатная версия обрабатывает всего 500 страниц. Уже не хватает для полной проверки своего блога. :(

    Кстати, как раз сегодня искал бесплатные аналоги. =) На самом деле есть другие варианты, просто настолько детальная информация в них не отображается. Посмотрим, может еще что найдется.

    Ответить
    • Абдуллин Руслан

      Ничего себе, Вадим =)

      А я то думал, что у тебя статей 200 написано, а оказывается уже за 500! Когда это ты успел?

      Ответить
    • Александр

      Насколько быстро работает Screaming frog seo spider для 500 страниц? Интересно было бы узнать принцип её работы и насколько точно она определяет исходяие ссылки.

      Ответить
  4. Вадим

    На самом деле правильно думал. =) Их действительно в районе 200. Было бы их 500 посещалка, думаю, в разы больше была бы. Пока статей даже немного меньше, чем на этом блоге.

    Там дело немного в другом. Вордпресс создает отдельную страницу для каждой картинки, а их у меня, насколько помню, далеко за 500. Программа учитывает эти адреса, хоть в индекс они и не попадают.

    Пока как-то не заморачивался по этому поводу. При необходимости настройки проги посмотрю на предмет изменения глубины сканирования по уровню вложенности. Кстати не сталкивался с такими настройками?

    Ответить
    • Абдуллин Руслан

      Вадим, так по моему в плагине seo by yoast есть настройка специально для этого. Раздел «дополнительно», вкладка «постоянные ссылки». Нужно поставить галочку на «Перенаправить URL вложения на URL родительской записи».

      Насколько я понимаю в этом случае при переходе на страницу картинки происходит автоматическая переадресация на основную статью.

      Ответить
  5. Вадим

    По идее так и должно быть. Однако опять же это редирект, сами страницы то никуда не деваются. Да и в информации о базовой настройке плагинов не припомню, чтобы этот пункт надо было отмечать. На этом блоге тоже не вижу, чтобы редирект на картинки срабатывал.

    А вообще ситуация, конечно, интересная. Надо подумать.

    Кстати, всё хотел спросить — помнишь недавно было обновление Вордпресс с REST API и в структуре сайтов начала появляться ветка wp-json. Удалось ее убрать?

    Ответить
    • Абдуллин Руслан

      Просто у меня с картинками нет никаких проблем. И переадресация есть — я проверял =)

      А файл attachment.php у тебя в корне лежит?

      Плагин то Seo By Yoast обновляется частенько, иногда появляются вот такие новые функции.

      В структуре сайта эта веточка у меня до сих пор висит и наверно не исчезнет. В ней более чем 300 страниц, но в индексе ни одной. И это меня устраивает =)

      Ответить
  6. Надежда Введенская

    Я предпочитаю пользоваться сторонними сервисами. Не хочется захламлять свой компьютер. Тем более, что сейчас можно найти хорошие сервисы для аудита сайта.

    Ответить
    • Абдуллин Руслан

      Каждому свое =)

      Мне вот очень нравится эта программка

      Ответить
      • Надежда Введенская

        Я не спорю. Просто для меня важны другие критерии. Это мой сугубо личный подход. А вы, как понимаю, любите, чтобы все было под рукой.

        Ответить
  7. Анна Апрельская

    Первый раз слышу про эту программу, но обязательно поизучаю ее на выходных. Как раз начала серьезно заниматься своим сайтом — чистить исходящие ссылки, исправлять битые, удалять лишние картинки и т.п. Так что программа будет полезной, тем более что пока вхожу в бесплатные лимиты)

    Ответить
    • Абдуллин Руслан

      Уверен, программа пригодится. Много полезной информации даёт

      Ответить
    • Анютка Незабудка

      Вы решили провести очень нужную работу для сайта, можно сказать необходимую. Удалять битые ссылки, чистить входящие и поудалять ненужные картинки нужно регулярно.

      Ответить
      • Надежда Введенская

        Это напоминает постоянную уборку квартиры. Как только человек что-то запускает, мусор начинает скапливаться горами. Вот так и с сайтом — чистить его надо постоянно.

        Ответить
        • Валентина

          Я бы не только аудит сайта сравнила с уборкой квартиры, а и саму работу с сайтом. Блогеры всё время что-то устанавливают, потом переустанавливают. В одном месте делают, а в другом уже переделывать надо...)))

          Ответить
          • Анюта

            Это вполне нормально. Пробуются новые программы, плагины-что то подходит, от чего то приходится отказаться. Поэтому это и есть своего рода уборка квартиры от ненужного.

          • Надежда Введенская

            Особенно, если учесть, что сам WordPress меняется. И соответственно, приходится искать под него новые плагины.

          • Валентина

            Да, это нормально для авторов блогов — это же постоянное усовершенствование своего блога, стремление добиться лучших результатов, отказ от всего не работающего на данный момент.

      • Александр

        Руслан, разве ссылки на сервис граватар, смартреспондер влияют на индексацию? Это доверенные ссылки, они должны быть безвредными.

        Ответить
        • Абдуллин Руслан

          В любом случае чем меньше внешних исходящих ссылок тем лучше. НО... они должны быть

          Ответить
          • Надежда Введенская

            Не сказала бы, что Смартреспондер как-то по особому котируется у поисковиков :-D . А вообще-то ссылок хватает. Любая кнопочка со ссылкой на соцсеть — это ссылка.

          • Абдуллин Руслан

            Такие ссылочки на соц сети у меня скрыты, то есть по сути не являются ссылками, но функцию свою выполняют

          • Александр

            Точно, ссылки можно закрыть от индексации. Надо же, знал об этой обыденной операции блогера, а из головы вылетело.

          • Надежда Введенская

            Для этого надо влазить в файлы шаблона. Скорее всего, у Руслана была такая договоренность при разработке. Иначе тяжело все менять.

          • Александр

            Есть плагины, закрывающие ссылки, опытные блогеры предпочитают код, но с кодом при обновлении могут быть проблемы.

          • Надежда Введенская

            Предпочитают код, потому что все стремятся уменьшить количество плагинов. Ведь они утяжеляют сайт.

          • Валентина

            Вот в этом встречается большое разночтение между блогерами. Одни считают, что исходящих ссылок с сайта не должно быть вообще, а другие — немного допускают.

    • Александр

      Не слышал о программе бесплатного аудита. Первоначальное мнение — хорошая и нужная рограмма. Незачем отдавать три тысячи рублей за аудит, если есть возможность сделать бесплатно.

      Ответить
      • Надежда Введенская

        Таких программ много. Этими сервисами хорошо пользоваться на начальном этапе. А потом уже, когда все отработано, переходить к платным версиям

        Ответить
      • Александр

        Платные сервисы те же бесплатные, но с некоторым ограничением. Платный сервис нужен для очень, очень продвинутого блогера.

        Ответить
        • Надежда Введенская

          Или же для тех, кто зарабатывает деньги на поддержке сайтов. Таких людей тоже очень много.

          Ответить
          • Валентина

            Вон какие сайты рисованные с портретами блогера и даже всей его семьи сейчас модны, значит, много же дизайнеров трудится на помощи и поддержке самих блогеров.

        • Александр

          Так уж и много. Блогеров в любом случае в десятки раз больше. Скорее достаточно, но не много.

          Ответить
          • Валентина

            Что значит, блогеров больше в десятки раз?

            Да по статистике ежедневно открываются тысячи новых сайтов и блогов. Вот и подумать только — сколько же людей находит работу по их обслуживанию.

  8. Александр

    Зачем было вручную менять 20 ссылающихся ссылок на статью, был же редирект. Чем плох редирект при смене адреса статьи?

    Ответить
    • Абдуллин Руслан

      Редирект вроде и не плох, но лучше все таки без него =)

      Ответить
      • Надежда Введенская

        А это разные вещи. Редирект предназначен для робота, чтобы перенаправить его на нужную страницу, с той, которой, чаще всего, уже нет.

        Ответить
    • Александр

      Лучше без редиректа конечно. При переезде на другой адрес к другому хостеру было бы накладно менять вручную все ссылки.

      Ответить
  9. Надежда Введенская

    От хостера редирект не зависит. Он привязывается к имени сайта, т.е. конкретному домену.

    Ответить
  10. Диля

    Полезный материал, особенно для нас, новичков. Я и не знала про ситуацию с картинками, отметила для себя, что нужно воспользоваться редиректом. И спасибо, что сделали обзор этого сервиса, ведь для новых блогов он наиболее понятен и доступен.

    Ответить
  11. Анюта

    Делать аудит своего сайта самостоятельно действительно очень экономно и выгодно. Мне тоже нравится подолгу копаться, переходить туда-сюда и исправлять ошибки и недочеты.

    Ответить
  12. Надежда Введенская

    Периодический аудит нужен всегда. Ибо ошибки могут возникать буквально на пустом месте. Лучше заметить их сразу, чем потом получить бан от поисковиков.

    Ответить
  13. Роман

    Спасибо за видео, заметил на вашем канале есть видео про смартреспондер, предлагаю вам обновить видео и записать про новый сервис mailerlite. скоро он будет популярный так как Евгений Попов его активно рекламирует, а вы получите дополнительный трафик !!!

    Ответить
    • Абдуллин Руслан

      Да, надо будет что-то делать с этими устаревшими видео

      Ответить
      • Валентина

        Вот в этом смысле жалко блогеров. Что-то делают, пишут статьи, выпускают видео... А потом многие из них теряют актуальность.

        Возможно, такова жизнь...Блогера , в том числе...)

        Ответить
        • Абдуллин Руслан

          Поэтому нужно писать постоянно. И по возможности старое редактировать. Вот мне редактировать лень.

          Редактирую иногда только с целью поднять в поиске или добавить партнёрок.

          А вот следить за актуалтностью — это очень затратно по времени

          Ответить
          • Валентина

            Одновременно и идти вперёд и подтягивать хвосты не у каждого получается. Но тут уж дело выбора, ведь никто не заставляет силком идти в блогинг?

Правила комментирования
author-photo
автор блога:
Я в социальных сетях
25 руб. Добавить ссылку
Надежда Вв.21
Валентина 21
Николай5
Безумная партнерка