Чтобы проиндексировать свой сайт с приложением AJAX, первым делом надо указать поисковому роботу, что он поддерживает схему сканирования AJAX. Это можно сделать с помощью специального маркера в хэш-фрагменте (той части URL, которая находится после символа #). Хэш-фрагмент, который представляет уникальное состояние страницы, должен начинаться с восклицательного знака. Например, если приложение AJAX содержит URL наподобие следующего:

www.example.com/ajax.html#mystate

он должен выглядеть так:

www.example.com/ajax.html#!mystate

Если сайт поддерживает эту схему, то он будет считаться доступным для сканирования AJAX. Это означает, что поисковый робот увидит содержание приложения, если сайт предоставит снимок HTML.

Предположим, нужно внести в индекс следующий URL: www.example.com/index.html#!mystate. С вашей стороны требуется предоставить поисковому роботу снимок HTML для данного URL, чтобы можно было проиндексировать его содержание. Как сервер узнает, когда надо отобразить снимок HTML, а не обычную страницу? Ответ заключается в URL, по которому производит запрос поисковый робот. Он изменяет каждый URL AJAX на временный (например, www.example.com/ajax.html#!mystate становится www.example.com/ajax.html?_escaped_fragment_=mystate). Первый URL мы называем "красивым URL", а второй – "некрасивым URL".

Это важно по двум причинам.

• Хэш-фрагменты никогда (по определению) не отправляются серверу в запросе HTTP. Иными словами, поисковому роботу необходим какой-то способ дать серверу знать, что ему нужно содержание для URL www.example.com/ajax.html#!mystate.


• С другой стороны, сервер должен определить, что ему нужно отобразить снимок HTML, а не отправить браузеру обычную страницу. Снимок HTML – это все содержание страницы после выполнения кода JavaScript. Последнее, что требуется со стороны вашего сервера, – это отобразить поисковому роботу снимок HTML для www.example.com/index.html#!mystate (т. е. исходного URL).

Примечание. Во время преобразования поисковый робот экранирует некоторые символы фрагмента. Чтобы извлечь первоначальный фрагмент, нужно разэкранировать в нем все символы %XX (например, %26 должно стать "&", %20 – пробелом, %23 – символом "#", а %25 – символом "%").

Теперь, когда получен первоначальный URL и известно, какое содержание запрашивает поисковый робот, осталось создать снимок HTML. Существует несколько способов сделать это.

• Если большой объем содержания формируется с помощью JavaScript, для получения снимка HTML лучше воспользоваться хедлесс-браузером, например HtmlUnit. Либо можно воспользоваться другим инструментом вроде crawljax или watij.com.


• Если большая часть содержания формируется с помощью серверной технологии вроде PHP или ASP.NET, то можно воспользоваться существующим кодом, заменив фрагменты веб-страницы, связанные с JavaScript, статическим или серверным кодом HTML.


• Можно создать автономную статическую версию страницы. Например, многие приложения отрисовывают содержание из базы данных, которое затем визуализируется браузером. Вместо этого можно создать отдельную HTML-страницу для каждого URL AJAX. Это примерно те же рекомендации, что и предыдущие рекомендации Google для Hijax.

Некоторые из ваших страниц могут не иметь хэш-фрагментов. Например, для главной страницы лучше использовать адрес www.example.com, а не www.example.com#!home. Исходя из этого, предусмотрено специальное решение для страниц без хэш-фрагментов.

Чтобы проиндексировать эти страницы без хэш-фрагментов, нужно включить в HTML-заголовок страницы специальный метатег. Внимание! Данное решение предназначено только для страниц с содержанием Ajax. Его не следует использовать, если содержание Ajax на странице отсутствует, поскольку в результате добавления метатега возрастет нагрузка как на ваши серверы, так и на серверы Google. Метатег имеет следующий вид:

Этот тег указывает поисковому роботу, что сканировать нужно "некрасивую" версию данного URL. В соответствии с вышеописанным соглашением поисковый робот временно ставит в соответствие "красивому URL" соответствующий "некрасивый URL". Иными словами, если поместить в заголовок страницы www.example.com, то поисковый робот временно поставит в соответствие этому URL адрес www.example.com?_escaped_fragment_= и запросит его с вашего сервера. Сервер должен отобразить снимок HTML, соответствующий www.example.com.

Обратите внимание на одно важное ограничение, касающееся данного метатега: его единственным допустимым значением является "!". Иными словами, метатег будет всегда иметь точно такой вид: , что указывает на пустой хэш-фрагмент, но не страницу с содержанием AJAX.

Поисковые роботы используют файлы Sitemap в дополнение к обычному сканированию. Ваш файл Sitemap должен содержать версии URL, которые должны отображаться в результатах поиска, поэтому в большинстве случаев это будет http://example.com/ajax.html#!foo=123 (а не http://example.com/ajax.html?_escaped_fragment_=foo=123), в противном случае входная страница сайта (домашняя страница, например) не будет отображаться в результатах поиска как #!. Например, если нужно, чтобы в результатах поиска отображалось http://example.com/, укажите http://example.com/ в файле Sitemap с метатегом в теге своего документа. Подробнее см. в других статьях о файлах Sitemap.