Всем привет!
Чтобы к вашему сайту хорошо относились поисковики (яндекс и google), он должен быть правильно оптимизирован по всем требованиям.
А чтобы узнать, есть ли какие-то недочеты в оптимизации, необходимо провести сео аудит своего сайта.
В сегодняшней статье я как раз и расскажу, как провести аудит сайта при помощи одной специальной программы. Называется она Screaming frog seo spider.
Сегодня 23 февраля! Пользуясь случаем поздравляю всех мужчин с днем защитника отечества! Будьте сильными, смелыми, достойными и защищайте своих женщин!
Коротко о программе
Screaming Frog – бесплатная программа, если на вашем ресурсе менее 500 страниц. Для меня это условие пока выполняется. Но через год скорей всего уже придется платить.
Очень жаль, что интерфейс программы на английском языке. Но тем не менее разобраться во всем не так уж и сложно. У меня получилось, получится и у вас 
Есть разные версии для работы как на windows, так и на Mac и на Ubuntu.
Подробнее можно почитать на официальном сайте вот здесь http://www.screamingfrog.co.uk/seo-spider/
Экономия собственного бюджета
Делая аудит своего сайта самостоятельно, вы сэкономите немалые деньги. Например, компания 1PS.ru выполняет seo аудит за 2980 рублей.
Как по мне, то это дорого для обычного блоггера. Поэтому рекомендую вам освоить некоторые азы сео оптимизации. А программа Screaming Frog в комплекте с моими рекомендациями вам поможет в этом.
А если вы всё равно не хотите сами во всем разбираться, то я скоро обновлю страницу со своими услугами и добавлю туда аудит сайта и еще кое-что
Обзор интерфейса программы
Про скачивание и установку программы я рассказывать не буду. Здесь нет никаких премудростей. Главное не перепутайте версию. Если у вас на компьютере стоит Windows, то качайте установочный фай именно для windows.
В остальном проблем возникнуть не должно.
После запуска программы на главном окне наверху вы увидите поле. В него необходимо вставить адрес главной страницы вашего ресурса. И нажмите кнопку «Start».
Запускается процесс. Длительность этой процедуры зависит от количества страниц и, конечно же, от скорости вашего сервера, то есть от скорости вашего хостинга.
На блоге уже статья про определение скорости хостинга. Читайте ее здесь.
Теперь осталось пробежаться по основным вкладочкам и посмотреть, что интересного они могут нам рассказать.
Вот список всех вкладок слева направо:
- Internal
- External
- Protocol
- Response Codes
- URL
- Page Title
- Meta Descriptions
- Meta Keywords
- H1
- H2
- Images
- Ajax
- Custom
- Analytics
- Search Console
Я уже походил по всем вкладкам и нашел полезную и интересную для себя информацию только на первой половине. Поэтому и расскажу только про них.
Для тех, кому лень читать, я специально записал видео. Получилось оно довольно длинным (30 минут):
Internal
Здесь находятся все странички, находящиеся на сайте. С помощью фильтра можно посмотреть на все html или css странички. Есть и другие виды.
Лично для меня здесь нет ничего интересного, просто ради ознакомления.
External
А здесь находится уже более ценная информация – исходящие внешние ссылки с вашего ресурса.
Как известно, таких ссылок много быть не должно. А если они и есть, то они должны вести на авторитетные трастовые ресурсы.
Я уже немного почистил свои внешние ссылки. Остались только линки на сервис граватар, смартреспондер и еще одна. Эту одну ссылку мне оставили в комментариях и я пока решил не убирать ее.
«Хорошо» – скажете вы. «Ссылки мы нашли, а как их убрать то?»
Через Screaming Frog, конечно же, убрать ничего не получится. Но вот узнать, на каких именно страницах находятся эти внешние ссылки, очень легко.
Для этого просто выделите нужную ссылку. Далее смотрим вниз и переходим там во вкладку inlinks. Появится табличка, в которой в колоне «From» — адрес вашей статьи с внешней ссылкой, а в колонке «To» — адрес страницы, куда ведет ссылка.
Кликайте правой кнопкой мыши по каждой строчке (их может быть несколько) и в контекстном меню нажимайте на «Open From in Browser».
Откроется страничка вашего сайта, переходите в режим редактирования и либо удаляйте ссылку, либо скрывайте ее. О том, как скрывать ссылки, я скорей всего еще напишу в будущем.
Response Codes
А эта очень даже важная вкладка. Она показывает коды ответа сервера при запросе страниц вашего сайта.
- код 2xx (Success) означает, что всё отлично,
- код 3xx (Redirection) – это редиректы,
- код 4xx (Client Error) – ошибка, когда страница не найдена,
- код 5xx (Server Error) – это грубая ошибка, когда какие-то проблемы на сервере.
Каждый код можно открывать отдельно, используя всё тот же фильтр.
На моем сайте сейчас все отлично. Ошибок нет вообще. В редиректах находятся только ссылки на граватар. Это нормально.
Кстати совсем недавно были и другие редиректы. Дело в том, что я изменил адрес одной своей статьи. Но на момент смены адреса на эту статью уже ссылались другие мои статьи, их было порядка двадцати.
В итоге образовалось 20 редиректов, перенаправляющих со старого адреса на новый. Мне пришлось зайти на каждую статью и вручную заменить ссылку.
Также если в фильтре выбрать значение «Blocked by Robots.txt», то вы увидите все разделы сайта, которые скрыты от роботов посредством файла Robots.txt.
Как видно, у меня скрыта папка с настройками всех плагинов (wp-content/plugins), страница Feed и одна картинка, название которой начинается на «Feed» — так уж ей повезло
А вообще я скрываю от индексации всё ненужное в основном с помощью файла .htaccess. Но это уже совсем другая тема. Как-нибудь расскажу.
Page Title и Meta Descriptions
На этих вкладках можно проанализировать теги тайтл и дескрипшн, которые мы прописываем с помощью специального сео плагина. Я использую Seo by Yoast.
Тег keyword я не заполняю, так как по последним сведениям поисковики не обращают внимания на этот тег.
Благодаря фильтру легко определить следующие проблемные тайтлы:
- Missing – пустые
- Dublicate – одинаковые
- Same as H1 – совпадающие с заголовком
- Длиннее 65 или короче 30 символов
Первых трех вообще быть не должно. Хотя у меня есть теги тайтл, совпадающие с заголовком H1.
Но таких страниц у меня всего 12, и я скорей всего это исправлю в ближайшем будущем.
А что касается длины тега Title, то я их стараюсь умещать в тот интервал, который мне подсказывает плагин Seo by Yoast.
Что касается тега Descriptions, то здесь практически всё аналогично. Но проблем у меня здесь немного больше.
Например, есть статьи и страницы с пустым тегом. Это, как правило, статьи, которые я не затачивал под конкретный ключ. Это статьи о себе, о своей жизни, о своем блоге, отчеты.
Также есть страницы с одинаковым содержимым тега descriptions. Это так называемые страницы пагинации. Это скорей всего убрать не получится.
В общем на этом обзор программы Screaming Frog Seo Spider окончен. Рекомендую вам самим поковыряться в этот программе, попереходить по всем вкладкам, поизучать свой блог.
Уверен, вам будет интересно.
Мне вот очень нравится так изучать свой блог. Могу часами сидеть, особенно если много ошибочек и недочетов.
Если же вам не нравится этим заниматься, то снова могу порекомендовать профессионалов из компании 1PS.ru.
Если понравилась статья, то поделитесь ею со своими друзьями в социальных сетях, используя специальные кнопки ниже.
Также подписывайтесь на обновления блога, чтобы не пропустить новый и очень интересный материал.
Всем пока и до скорых встреч!
С уважением! Абдуллин Руслан
Загрузка...
РегРу 
SendPuls 
Seolib 
Интересная программа, надо будет попробовать. Правда, мой основной блог, возможно имеет больше страниц, но у меня есть и другие поменьше, хоть их проверю
Программа и правда очень интересная. Мне очень нравится. Рекомендую попробовать
А каким способом проводите вы аудит своего сайта, на котором более 500 страниц? Ведь аудит сайта все равно приходится делать.
Наверно Евгения проводит аудит обычными сервисами Яндекса или другими. Можно заказать платный аудит или с помощью платной версии Screaming Frog.
Что такое обычные сервисы Яндекса для проведения аудита? Насколько я знаю, таких не существует.
Когда программка имеет бесплатный вариант, то она имеет гораздо больше пользователей. Это должно быть выгодно сервису.
Люди всегда ищут халяву. И наличие бесплатности вовсе не означает, что у сервиса возрастет число платных клиентов.
Я имела ввиду, что у программки вначале возрастёт число бесплатных клиентов. А уж потом они, если пожелают, перейдут в платные.
Хорошая программа, вот у меня в некоторых статьях H1 и Title одинаковые, надо будет исправлять.
Желательно конечно поправить. Но я считаю, что это не грубая ошибка
Классная програмка. Только жаль, что бесплатная версия обрабатывает всего 500 страниц. Уже не хватает для полной проверки своего блога.
Кстати, как раз сегодня искал бесплатные аналоги.
На самом деле есть другие варианты, просто настолько детальная информация в них не отображается. Посмотрим, может еще что найдется.
Ничего себе, Вадим
А я то думал, что у тебя статей 200 написано, а оказывается уже за 500! Когда это ты успел?
Насколько быстро работает Screaming frog seo spider для 500 страниц? Интересно было бы узнать принцип её работы и насколько точно она определяет исходяие ссылки.
На самом деле правильно думал.
Их действительно в районе 200. Было бы их 500 посещалка, думаю, в разы больше была бы. Пока статей даже немного меньше, чем на этом блоге.
Там дело немного в другом. Вордпресс создает отдельную страницу для каждой картинки, а их у меня, насколько помню, далеко за 500. Программа учитывает эти адреса, хоть в индекс они и не попадают.
Пока как-то не заморачивался по этому поводу. При необходимости настройки проги посмотрю на предмет изменения глубины сканирования по уровню вложенности. Кстати не сталкивался с такими настройками?
Вадим, так по моему в плагине seo by yoast есть настройка специально для этого. Раздел «дополнительно», вкладка «постоянные ссылки». Нужно поставить галочку на «Перенаправить URL вложения на URL родительской записи».
Насколько я понимаю в этом случае при переходе на страницу картинки происходит автоматическая переадресация на основную статью.
По идее так и должно быть. Однако опять же это редирект, сами страницы то никуда не деваются. Да и в информации о базовой настройке плагинов не припомню, чтобы этот пункт надо было отмечать. На этом блоге тоже не вижу, чтобы редирект на картинки срабатывал.
А вообще ситуация, конечно, интересная. Надо подумать.
Кстати, всё хотел спросить — помнишь недавно было обновление Вордпресс с REST API и в структуре сайтов начала появляться ветка wp-json. Удалось ее убрать?
Просто у меня с картинками нет никаких проблем. И переадресация есть — я проверял
А файл attachment.php у тебя в корне лежит?
Плагин то Seo By Yoast обновляется частенько, иногда появляются вот такие новые функции.
В структуре сайта эта веточка у меня до сих пор висит и наверно не исчезнет. В ней более чем 300 страниц, но в индексе ни одной. И это меня устраивает
Я предпочитаю пользоваться сторонними сервисами. Не хочется захламлять свой компьютер. Тем более, что сейчас можно найти хорошие сервисы для аудита сайта.
Каждому свое
Мне вот очень нравится эта программка
Я не спорю. Просто для меня важны другие критерии. Это мой сугубо личный подход. А вы, как понимаю, любите, чтобы все было под рукой.
Первый раз слышу про эту программу, но обязательно поизучаю ее на выходных. Как раз начала серьезно заниматься своим сайтом — чистить исходящие ссылки, исправлять битые, удалять лишние картинки и т.п. Так что программа будет полезной, тем более что пока вхожу в бесплатные лимиты)
Уверен, программа пригодится. Много полезной информации даёт
Вы решили провести очень нужную работу для сайта, можно сказать необходимую. Удалять битые ссылки, чистить входящие и поудалять ненужные картинки нужно регулярно.
Это напоминает постоянную уборку квартиры. Как только человек что-то запускает, мусор начинает скапливаться горами. Вот так и с сайтом — чистить его надо постоянно.
Я бы не только аудит сайта сравнила с уборкой квартиры, а и саму работу с сайтом. Блогеры всё время что-то устанавливают, потом переустанавливают. В одном месте делают, а в другом уже переделывать надо...)))
Это вполне нормально. Пробуются новые программы, плагины-что то подходит, от чего то приходится отказаться. Поэтому это и есть своего рода уборка квартиры от ненужного.
Особенно, если учесть, что сам WordPress меняется. И соответственно, приходится искать под него новые плагины.
Да, это нормально для авторов блогов — это же постоянное усовершенствование своего блога, стремление добиться лучших результатов, отказ от всего не работающего на данный момент.
Руслан, разве ссылки на сервис граватар, смартреспондер влияют на индексацию? Это доверенные ссылки, они должны быть безвредными.
В любом случае чем меньше внешних исходящих ссылок тем лучше. НО... они должны быть
Не сказала бы, что Смартреспондер как-то по особому котируется у поисковиков
. А вообще-то ссылок хватает. Любая кнопочка со ссылкой на соцсеть — это ссылка.
Такие ссылочки на соц сети у меня скрыты, то есть по сути не являются ссылками, но функцию свою выполняют
Точно, ссылки можно закрыть от индексации. Надо же, знал об этой обыденной операции блогера, а из головы вылетело.
Для этого надо влазить в файлы шаблона. Скорее всего, у Руслана была такая договоренность при разработке. Иначе тяжело все менять.
Есть плагины, закрывающие ссылки, опытные блогеры предпочитают код, но с кодом при обновлении могут быть проблемы.
Предпочитают код, потому что все стремятся уменьшить количество плагинов. Ведь они утяжеляют сайт.
Вот в этом встречается большое разночтение между блогерами. Одни считают, что исходящих ссылок с сайта не должно быть вообще, а другие — немного допускают.
Не слышал о программе бесплатного аудита. Первоначальное мнение — хорошая и нужная рограмма. Незачем отдавать три тысячи рублей за аудит, если есть возможность сделать бесплатно.
Таких программ много. Этими сервисами хорошо пользоваться на начальном этапе. А потом уже, когда все отработано, переходить к платным версиям
Платные сервисы те же бесплатные, но с некоторым ограничением. Платный сервис нужен для очень, очень продвинутого блогера.
Или же для тех, кто зарабатывает деньги на поддержке сайтов. Таких людей тоже очень много.
Вон какие сайты рисованные с портретами блогера и даже всей его семьи сейчас модны, значит, много же дизайнеров трудится на помощи и поддержке самих блогеров.
Так уж и много. Блогеров в любом случае в десятки раз больше. Скорее достаточно, но не много.
Что значит, блогеров больше в десятки раз?
Да по статистике ежедневно открываются тысячи новых сайтов и блогов. Вот и подумать только — сколько же людей находит работу по их обслуживанию.
Зачем было вручную менять 20 ссылающихся ссылок на статью, был же редирект. Чем плох редирект при смене адреса статьи?
Редирект вроде и не плох, но лучше все таки без него
А это разные вещи. Редирект предназначен для робота, чтобы перенаправить его на нужную страницу, с той, которой, чаще всего, уже нет.
Лучше без редиректа конечно. При переезде на другой адрес к другому хостеру было бы накладно менять вручную все ссылки.
От хостера редирект не зависит. Он привязывается к имени сайта, т.е. конкретному домену.
Полезный материал, особенно для нас, новичков. Я и не знала про ситуацию с картинками, отметила для себя, что нужно воспользоваться редиректом. И спасибо, что сделали обзор этого сервиса, ведь для новых блогов он наиболее понятен и доступен.
Делать аудит своего сайта самостоятельно действительно очень экономно и выгодно. Мне тоже нравится подолгу копаться, переходить туда-сюда и исправлять ошибки и недочеты.
Периодический аудит нужен всегда. Ибо ошибки могут возникать буквально на пустом месте. Лучше заметить их сразу, чем потом получить бан от поисковиков.
Спасибо за видео, заметил на вашем канале есть видео про смартреспондер, предлагаю вам обновить видео и записать про новый сервис mailerlite. скоро он будет популярный так как Евгений Попов его активно рекламирует, а вы получите дополнительный трафик !!!
Да, надо будет что-то делать с этими устаревшими видео
Вот в этом смысле жалко блогеров. Что-то делают, пишут статьи, выпускают видео... А потом многие из них теряют актуальность.
Возможно, такова жизнь...Блогера , в том числе...)
Поэтому нужно писать постоянно. И по возможности старое редактировать. Вот мне редактировать лень.
Редактирую иногда только с целью поднять в поиске или добавить партнёрок.
А вот следить за актуалтностью — это очень затратно по времени
Одновременно и идти вперёд и подтягивать хвосты не у каждого получается. Но тут уж дело выбора, ведь никто не заставляет силком идти в блогинг?
Для проведения технического аудита сайта рекомендую посмотреть в сторону SiteAnalyzer — бесплатный аналог программ для аудита и технического анализа сайта. При этом по набору функций практически не уступает платным аналогам.