В интернете довольно много информации, касательно написания оптимизированного под поисковики контента. Но сегодня мне хочется поговорить об обратной ситуации, когда контент на сайте уже есть, но он не оптимизирован под какие либо ключевые слова. Т.е. это просто тематический текст, или даже пользовательский контент, вроде комментариев в блогах или постов на форуме.

Как правило, такой контент тяжело оптимизировать (особенно если его много), это крайне трудозатратная и неблагодарная работа. Но есть способ получить более чем ощутимый прирост низкочастотного трафика на этот контент, лично мне, порой, удавалось поднять траф более чем в два раза, для этого я и использую нижеприведенную военную хитрость. Похожий механизм, кстати, применяют автоматические системы продвижения, вроде сеопульта, но, в силу налагаемых ограничений (и тормозов), эффективно использовать их (на нормальных объемах) у меня не получилось. Да и не наш это метод, переплачивать непонятно за что.

Идея состоит в подборе ключевых слов для каждой из страниц сайта таким образом, чтобы эта страница действительно была релевантна этим ключевым словам. Для каждого ключевого слова будет производиться поиск по имеющемуся контенту, в результате чего будет выбрана страничка, которая максимально релевантна данному ключевику. В результате применения описываемой ниже идеи, образуется список ссылок на страницы сайта, в анкоре которых релевантные им ключевые слова. как примененять полученные ссылки каждый решает сам, я например тысячами скупаю копеечные размещения в sape.

Так вот, чтобы сделать это, нам понадобятся ключевые слова, той же тематики, что и сайт, и некий поисковый механизм для нахождения релевантных соответствий. Про то, где взять ключевики сказано уже немало, способов много, выбирайте наиболее подходящий вам. Можете напарсить, можете купить, но главное, постарайтесь достать как можно больше, и именно низко- или среднечастотные.

А в качестве поискового механизма я применяю бесплатную программу «Яндекс.Сервер», которую можно скачать вот тут. Я использую Win-версию для домашнего компа, и всем доволен, если вы нет, то выбирайте подходящую для вашей ОСи (домашней или серверной), главное запомните, что парсер в итоге, лучше будет запускать на ней же.

Я.С вполне можно использовать как для русского языка, так и для английского. Но если захотите, то можете забить и состряпать, к примеру, кастомный поиск по вашему сайту от самого гугла, но тут уже я вам не советчик, для парсинга видимо понадобятся прокси, т.к. запросов, как правило, очень много.

Устанавливается Я.С парой кликов, не будем подробно останавливаться на этом, займемся дальнейшей настройкой. Основной конфигурационный файл называется yandex.cfg и лежит основном каталоге программы (у меня на Win7 — c:\Program Files (x86)\Yandex\Server\yandex.cfg). Там же, в подкаталоге data, лежит файл yandex-server-manual.pdf, содержащий всю документацию по программе, куда можете сунуться, если что-то пойдет не так.

Программа состоит из двух важнейших компонентов, это индексатор и, собственно, сервер. Давайте настроим индексатор для обработки страниц нашего сайта. Открываем конфиг и видим там простейшую xml-структуру, в которой за коллекции документов отвечают парные теги Collection, а за источники данных парные теги DataSrc. Источники данных описываются внутри тегов коллекций, и тех, и других, может быть несколько.

Для простоты понимания, считайте, что коллекция, это тот самый «индекс» поисковой системы, в который так желают попасть все вебмастера. К примеру, в конфиге уже есть одна коллекция, с одним источником данных, для индексации pdf-документов. Источники данных, это представленная в том или ином виде информация, по которой должен осуществляться поиск. Это могут быть веб-сайты, директории с файлами (pdf, txt, doc и пр.), БД и т.д. Не будем углубляться в подробности, сейчас это не важно, в дальнейшем можете сами почитать мануал и найти всё, что вам нужно (например, можете запретить индексировать некоторые маски урлов, которых почему-либо нету в robots.txt, или наоборот, разрешить только определенные). А сейчас поправим конфиг для индексации нашего сайта.

Замените расположенную в конфиге тестовую коллекцию:

<Collection>
<DataSrc id=»webds»>
Config -w www.domain.ru
</DataSrc>
</Collection>

Замените «www.domain.ru» на свой и можно запускать Я.С, для этого воспользуйтесь ярлыком на рабочем столе, или файлом admin.bat, всё в той же директории программы. После этого должно открыться окно браузера с адресом «http://localhost:17000/admin»:

Легко догадаться, что это админка, из которой можно управлять работой индексатора и сервера, сейчас, как мы видим, отключены оба. Для начала стартуем индексатор, жмакнув серую кнопку «i»:

Внимание: как и любой поисковый краулер, наш паук загрузит для обработки все найденные страницы сайта, начиная с корня. Если страниц очень много, то это может сожрать немало трафика и занять довольно долгое время. Поэтому, когда страниц дофига, имеет смысл ставить Я.С прямо на тот же сервер, где располагается сайт. Либо можно скопировать весь сайт (или только его БД) к себе на локальную машину, у Я.С есть все средства для работы с БД, курите мануал, там всё просто.

Когда индексатор закончит работу (кнопочка снова будет серой), можете запускать сервер, нажав кнопку «s»:

Теперь кликнув ссылку «Безымянная коллекция» можно увидеть строку поиска, похожую на настоящую яндексовскую. Поиграйтесь с ней, всё должно искаться. На этом подготовительный этап завершен, можно переходить непосредственно к подбору, который реализуется посредством парсинга выдачи нашего сервера. Оптимальнее всего парсить Хрефером, т.е. он многопоточный, но если его нету, то можно воспользоваться вот этим php-скриптом, работает он медленно, но работает. В один каталог с ним нужно положить файл keywords.txt с ключевыми словами. На выходе будет файл result.txt со ссылками, в скрипте можно выбрать (строки 25-27), в каком формате их отдавать (просто линк, html или bb-код), выбирайте нужный. Всё в utf-8 кодировке. Для запуска на домашнем компе можете заюзать Denwer.

Желаю успехов! 🙂

Автор статьи: hiend.