Миграция сайта может быть вызвана разными причинами. Это одна из процедур, при выполнении которых ни веб-мастера ни SEO-специалисты не чувствуют себя уверенно и комфортно. Как правило, владельцы сайтов заранее интересуются о возможных потерях трафика или даже дохода. В свою очередь специалисты по SEO хотят быть уверенными в том, что придерживаются лучших практик и избегают распространённых ошибок, чтобы свести потери трафика к минимуму.
Хочу предупредить, что описанное руководство по миграции сайта не является исчерпывающим и не претендует на звание идеального или универсального. Но, тем не менее, надеюсь, что оно будет полезно как веб-мастерам, так и SEO-специалистам.
1-й этап: Устанавливаем цели, средства и процесс
Здесь мы рассмотрим полный план миграции: основные цели, временные ограничения, доступные ресурсы. Этот этап является основополагающим, очень важно выделить достаточно времени и усилий сейчас, чтобы позже не возникло проблем из-за недоработки.
1.1: Устанавливаем цели
Важно поставить перед собой конкретные цели, чтобы на конечном этапе можно было оценить успешность проведенной работы. Так выглядят типичные цели:
- минимум потери трафика;
- минимум падения позиций;
- управление ключевыми позициями;
- управление основным трафиком;
- всё вышеупомянутое.
1.2: Оценим время и затраты
У Вас в запасе должно быть достаточно количество времени на выполнение всех процедур, иначе Вам придётся работать днями и ночами, чтобы восстановить упавшие вниз позиции сайта. Очень важно, чтобы Вы понимали всю важность и риск данной операции.
1.3: Будьте честны с клиентом
Миграция каждого конкретного сайта отличается от других и имеет свои особенности. Следовательно, предыдущий Ваш успех совсем ничего не гарантирует. Если Вы работаете на клиента, то дайте ему понять, что у поисковых систем нет чёткой пошаговой инструкции для таких мероприятий, а есть только общепризнанные лучшие практики, советы авторитетных экспертов.
1.4: Разработайте полный процесс миграции
Хоть и есть некоторые руководства на этот счёт, но всё же важно разработать чёткий и безупречный процесс, который должен учесть:
- старую архитектуру сайта;
- новую архитектуру сайта;
- технические ограничения обеих платформ.
1.5: Сообщите о плане миграции всем участникам
Как только планирование миграции будет закончено, необходимо сообщить о его деталях владельцу сайта и тому, кто будет его осуществлять. Все должны понимать, что нельзя допускать ошибок, т.к. любое недоразумение может закончиться очень плачевно.
Большинство агентств по веб-разработке склонно недооценивать процесс миграции сайта просто потому, что очень редко этим занимаются в отличие от подъёма нового сайта. Например, часто бывает так, что они не выделяют нужных ресурсов для тестирования редиректов со старых URL-адресов на новые. Заставить их осознать и реально оценить объём работы – обязанность специалиста по SEO, т.к. он должен понимать важность процесса лучше всех.
Чтобы миграция веб-сайта закончилась успешно, все участники должны сотрудничать и вовремя взаимодействовать друг с другом, т.к. некоторые операции должны быть завершены в течение определённого времени.
1.6: Найдите подходящее время
Независимо от того, насколько Вы организованы и компетентны, дела всегда могут пойти не так как нужно. Поэтому процесс миграции не должен проводиться во время большой занятости или, например, перед Рождеством.
Если целевой сайт о путешествиях, то не нужно заниматься этим процессом в летнее или весеннее время, когда он генерирует наибольшее количество дохода.
Срочная миграция – также не лучшая идея, лучше отложить её по возможности на свободное время.
2-й этап: Действия на целевом сайте
Существует несколько типов миграции сайта в зависимости от того, что конкретно меняется. Возможные изменения:
- хостинг / IP-адрес;
- доменное имя;
- структура URL-адресов;
- архитектура сайта;
- контент;
- дизайн.
Самые кардинальные миграции включают многие или все из вышеперечисленных изменений. В рамках этой статьи мы рассмотрим только самые распространённые и сложные случаи, когда сайт подвергается полному изменению архитектуры, структуры URL-адресов и контента.
Когда планируется менять хостинг, то новый нужно обязательно тщательно протестировать на наличие потенциальных проблем. Также обратите внимание на то, в каком географическом регионе хостинг расположен физически.
При смене доменного имени обратите внимание на следующее:
- Содержит ли новое/старое доменное имя больше/меньше ключевых слов?
- Используете ли Вы национальный домен верхнего уровня для нового имени сайта? Повлияет ли это на ранжирование?
2.1: Просканируйте целевой сайт
Используя подходящий софт (например, Xenu Link Sleuth, Screaming Frog, Integrity для Mac) просканируйте целевой сайт и убедитесь в том, что все редиректы настроены правильно и работают. Моё любимое ПО для этих целей — Xenu Link Sleuth. Программа очень проста и надёжна в использовании. Все просканированные URL-адреса нужно сохранить, т.к. позже их нужно будет обрабатывать в Excel. Я рекомендую Вам следующую конфигурацию программы:
- число параллельных потоков должно быть небольшим, чтобы избежать тайм-аутов;
- максимальная глубина сканирования позволит обойти весь сайт полностью;
- существующие редиректы будут показаны как ошибки.
2.2: Сохраните важные страницы
Жизненно важно сохранить все URL-адреса, имеющие внешние ссылки. От этого напрямую зависит возможность сайта высоко ранжироваться в результатах поиска. Что делать со ссылочным весом – другой вопрос, сейчас главное – сохранить эти драгоценные URL-адреса.
Open site explorer предлагает большое количество информации о наиболее важных страницах сайта:
- авторитет страниц;
- количество внешних ссылок;
- социальные сигналы (лайки в Facebook, твиты и др.).
На этом скриншоте было обнаружено несколько важных ошибок сервера с ответом 404, которые в идеале должны были использовать 301 редирект на релевантную страницу сайта:
Тем, кто предпочитает использовать этот софт, рекомендую обратить внимание на показатель ACRank, чем он выше, тем больший ссылочный вес имеет страница. Сохраните все данные у себя в формате CSV.
Если нет возможности использовать Open site explorer или Majestic SEO, то воспользуйтесь Google Webmaster Tools. Нажмите на “Ваш сайт в интернете”, а затем “Ссылки на Ваш сайт”, здесь Вы найдёте страницы сайта, на который наиболее часто ссылаются. Сохраните CSV-файл себе на компьютер.
Альтернативный способ – экспортировать все URL-адреса из Google Analytics, которые хотя бы раз посещались в течение года.
- Проиндексированные страницы в Google
Сохранить топ 500 или топ 1000 проиндексированных страниц в Google может показаться сомнительной задачей, но это действительно имеет свои преимущества. Используя Scraperbox, выполните поиск в Google в формате site:www.vash-site.com и сохраните топ проиндексированных адресов. С помощью этого шага можно выявить:
- 404 страницы, которые всё ещё находятся в индексе;
- URL-адреса, которые не были обнаружены на предыдущих этапах.
Опять же, сохраните полученные результаты в электронной таблице.
2.3: Сохраните страницы 404
Миграция сайта – отличное время для того, чтобы привести всё в порядок на сайте. Особенно если у Вас большой сайт нужно разобраться со всеми ошибками, чтобы не перетащить их с собой. К тому же у некоторых страниц с ответом 404 могут быть качественные внешние ссылки.
Экспортировать страницы с такой ошибкой можно прямо из Webmaster Tools в Диагностика->Ошибки сканирования. Просто сохраните таблицу в CSV-файле.
С каждой такой страницы должен быть настроен редирект на наиболее подходящую страницу по ключевым словам и по содержанию.
2.4: Измерьте производительность сайта
Этот шаг необходим в том случае, если меняется платформа сайта. Часто бывает так, что новая CMS намного лучше справляется со своими прямыми обязанностями, но плохо влияет на быстродействие сайта в целом. Если производительность ухудшится на порядок, то это может повлиять на индексацию нового сайта.
2.5: Измерьте позиции сайта
Этот шаг нужно сделать перед тем, как будет запущен новый сайт. Нужно сохранить детализированный отчёт о позициях сайта в результатах поиска. Чем больше ключевых слов будет в отчёте, тем лучше. Он будет использован как точка отсчёта для дальнейших сравнений. Для этой задачи в сети предостаточное количество софта.
3-й этап: Составление карты редиректов
На этом этапе страницы (URL-адреса) старого сайта должны быть поставлены в соответствие страницам нового. Для тех страниц, URL-адрес которых не изменяется не о чем волноваться. Этот процесс требует много внимания и концентрации. В зависимости от размера сайта этот процесс может быть сделан вручную, что займёт немало времени или автоматически. Второй вариант, бесспорно, ускорит и облегчит Вам работу, а также вряд ли повлияет на качество.
Не существует какого-то магического рецепта, просто нужно следовать этому принципу: “ВСЕ уникальные, полезные и авторитетные страницы старого сайта должны быть поставлены в соответствие идентичным или очень похожим страницам на новом сайте. Для этого должен использоваться 301 редирект”.
Обязательно используйте только 301 редирект (постоянный), потому что он передаёт большинство ссылочного веса на новый сайт. Использование же 302 редиректа (временного) не рекомендуется, т.к. Вы рискуете потерять заработанные позиции сайта в поисковой выдаче из-за того, что этот способ не передаёт ссылочный вес.
Составление карты редиректов (пошагово)
- Закиньте все URL-адреса, сохранённые во время второго этапа в новую таблицу (мы назовём её Таблица 1).
- Используя Excel, избавьтесь от повторяющихся адресов.
- Заполните заголовки страниц, используя инструмент SEO for excel.
- Используя этот же инструмент, проверьте заголовки ответов сервера. Все страницы с ответами 404 поместите в отдельную таблицу. В Таблице 1 должны остаться только страницы с ответом 200.
- В новую таблицу (Таблица 2) поместите все URL-адреса нового сайта (используя программу для сканирования).
- Повторите шаг №3 для Таблицы 2.
- Используя функцию Excel VLOOKUP, сопоставьте адреса между двумя таблицами.
- Идентичные адреса (если такие есть) должны быть удалены из Таблицы 1, т.к. они уже существуют на новом сайте и не требуют редиректов.
- Страницы с ответом 404, которые мы поместили в отдельную таблицу в шаге №4, должны быть проверены на наличие качественных внешних ссылок. Для этого можно использовать SEO Moz API, Majestic SEO API и др.
- Все “сочные” страницы, найденные в предыдущем шаге, должны быть добавлены в Таблицу 1.
- В идеале все оставшиеся страницы в Таблице 1 должны быть перенаправлены, используя 301 редирект. В Таблицу 1 нужно добавить новую колонку (“новый URL-адрес”) и заполнить её адресами страниц нового сайта. Это можно сделать вручную, подбирая идентичные или наиболее подходящие страницы по ключевым словам и контенту, или же автоматизировано с помощью скрипта.
- Ещё раз проверьте на повторяющиеся адреса колонку со старыми страницами и удалите таковые, если есть.
- В завершении нужно настроить редиректы. Прописывать вручную тысячи редиректов – не лучший вариант. Нужно использовать регулярные выражения и шаблоны, если Вы с ними плохо знакомы – обратитесь за помощью к программистам.
4-й этап: Новый сайт на тестовом сервере
На этом этапе очень часто случаются ошибки, поэтому очень важно всё тщательно протестировать.
4.1: Закройте доступ для поисковых роботов
Прежде всего, нужно убедиться в том, что никакая часть нового сайта недоступна поисковым роботам. Вот несколько способов сделать это:
- Закрыть доступ в robots.txt (не рекомендовано)
Этот способ не стоит использовать, т.к. Google всё равно будет индексировать сайт (но не его содержимое). Если Вы все же выберите этот способ, то используйте эти строки в robots.txt:
User-Agent: *
Disallow: /
- Добавьте директиву meta robots с параметром noindex на все страницы (не рекомендовано)
Это также не лучший вариант. После того как Вы уберёте эту директиву, может пройти несколько дней или несколько недель пока поисковые роботы начнут сканировать Ваш сайт.
- Защитите тестируемое приложение паролем (рекомендуется)
Это эффективное решение, но также может вызвать некоторые проблемы. Вам будет трудно просканировать веб-сайт защищённый паролем, если конечно Вы не будете использовать Xenu Links Sleuth.
- Разрешите доступ к веб-сайту только с определённых IP-адресов (рекомендуется)
Это самый удобный и безопасный способ. Разрешите доступ только для IP-адресов Ваших рабочих компьютеров.
4.2: Подготовьте файл robots.txt
Вот самый базовый вариант, разрешающий доступ всем поисковым роботам и указывающий путь к карте сайта в формате XML:
User-agent: *
Allow: /
Sitemap: http://aistkafe.ru/sitemap.xml
Однако при надобности некоторые части сайта могут быть исключены. Например, внутренний поиск, страничная навигация, которые генерируют много адресов с идентичным содержанием.
4.3: Подготовьте XML-карту сайта
Используя Ваш любимый софт, сгенерируйте XML-карту сайта. Для больших сайтов можно разбить карту на две части. XML-файл нужно проверить на наличие битых ссылок.
Google Webmaster Tools позволяет протестировать XML-карту сайта перед тем, как она будет использоваться. Это делается во избежание разного рода ошибок.
4.4: Подготовьте HTML-карту сайта
Несмотря на то, что XML-карты сайта должно быть достаточно для поисковых роботов, HTML-вариант ещё больше облегчит их работу, а также пригодится посетителям.
4.5: Устраните проблемы с битыми ссылками
Используйте программу для сканирования сайта на внутренние и внешние битые ссылки, а затем исправьте их. Помните, что не стоит пользоваться 302 редиректом.
4.6: Проверьте 301 редиректы
Это самый важный шаг данного этапа. Каждый URL-адрес, который подвергается редиректу, должен быть проверен. Также используйте специальный софт для этого.
4.7: Оптимизируйте редиректы
Если время позволяет, то редиректы должны быть оптимизированы для максимальной производительности. Во время работы сайта каждый из редиректов висит в памяти сервера. Когда клиентом запрашивается конкретная страница, сервер сопоставляет её каждому редиректу в списке. Таким образом, чем короче список, тем быстрее клиент получит ответ. Как уже говорилось ранее – используйте регулярные выражения для сокращения нагрузки на сервер и увеличения быстродействия Вашего приложения.
4.8: Решите проблемы с дублированным содержанием
Чем раньше Вы решите подобные проблемы, тем лучше. А проблем может быть великое множество:
- адреса с закрывающим слешем и без;
- стандартные файлы индексов (например, http://aistkafe.ru/index.php);
- разный регистр букв в адресах;
- разные протоколы (например, http и https);
- возможность получить доступ к сайту по IP-адресу;
- адрес сайта с www и без;
- внутренний поиск сайта, генерирующий идентичные результаты для разных запросов.
4.9: Мониторинг сайта
Убедитесь, что используете сервис для наблюдения за доступностью сайта, например, Uptime Robot. Каждый раз, когда сайт не отвечает, Вы будете оповещены по электронной почте, Twitter (кстати, следуйте за мной) или с помощью SMS.
5-й этап: Запускаем новый сайт
Когда всё будет готово можно открывать сайт для индексации поисковыми роботами. Все страницы полностью войдут в индекс поисковиков в течение 2-х или 4-х недель.
5.1: Сообщите Google о своём сайте через Webmaster Tools
Если доменное имя было изменено, то уведомите Google, используя свой аккаунт в Google Webmaster Tools. Если же доменное имя остаётся прежним, то поисковые роботы рано или поздно просканируют новые страницы.
5.2: Ручные проверки
Неважно как хорошо всё выглядит, нужно ещё несколько раз просканировать сайт на наличие каких-либо ошибок. Важные вещи:
- аномалии в файле robots.txt;
- директива meta robots с параметром noindex или nofollow;
- 302 редиректы. Их нужно заменить на 301;
- проверьте Webmaster Tools на наличие ошибок;
- проверьте XML и HTML-карту сайта на наличие ошибок;
- проверьте на отсутствие или несоответствие заголовков и описаний страниц;
- убедитесь в том, что несуществующие страницы возвращают 404 ошибку;
- убедитесь в том, что код отслеживания от Google Analytics присутствует на всех страницах;
- измерьте производительность нового сайта и сравните со старыми данными.
5.3: Следите за ошибками сканирования
В инструментах для веб-мастеров от каждого солидного поисковика можно увидеть информацию об ошибках сканирования страниц Вашего сайта. Разберитесь с каждой из них, если таковые есть.
5.4: Обновите самые важные входящие ссылки
Используя CSV-файл, созданный в шаге 3.2, определите с помощью специального софта наиболее качественные и важные внешние ссылки. Постарайтесь связаться с веб-мастерами, которые владеют нужными Вам сайтами, попросите их изменить адреса ссылок.
5.5: Стройте новые внешние ссылки
Генерируя новые, свежие внешние ссылки на сайт, Вы компенсируете небольшие потери вызванные редиректами. Также новые ссылки ускорят индексацию сайта.
5.6: Устраните внутренние 301 редиректы
Необходимо устранить внутренние 301 редиректы, т.к. они увеличивают нагрузку на сервер и немного распыляют ссылочный вес.
6-й этап: Оцените успех
Когда сайт начал свою работу на полную мощь, нужно оценить тяжёлую работу, которую мы проделали. Но не спешите делать какие-то выводы, прежде чем пройдёт хотя бы месяц. Не важно какая ситуация с трафиком или ранжированием, будьте терпеливы. Вот на что нужно обратить внимание:
- индексация (можно проверить в Google Webmaster Tools, смотрите на скриншоте ниже);
- ранжирование в поисковых системах;
- кэш Google;
- производительность сайта в Webmaster tools — можно установить плагин Page Speed для Chrome и для FireFox (ниже представлен скриншот с примером аномалии после миграции сайта).