Простой и бесплатный пример PHP парсера (parser) статистики ключевых слов с wordstat Яндекс.
Понятно, что перед тем как продвигать сайт, нужно определиться с ключевиками. это не сложный, но кропотливый труд. Для того же чтоб найти что-то стоящее, нужно перелопатить кучу данных. Поэтому здесь не обойтись без средств автоматизации процесса. В данной заметке я хочу остановиться на создании PHP парсера данных с wordstat Яндекс.
И так. Основная проблема при парсинге данных с сервиса статистики ключевых слов wordstat Яндекс заключается в наличии капчи. Обойти ее не так уж и сложно. Достаточно передать в запросе куку fuid01, генерируемую при обработки капчи. Другими словами, вам понадобится зайти на сервис, сделать запрос, указав символы с картинки и получить содержание требуемой куки.
Т.к. я не собираюсь замахиваться на эпосы и прочие великие труды человечества, то опишу лишь процесс получения содержания куки fuid01 в браузере Firefox (использую версию 8.0). В общем, запускаем Firefox. Считаем, что запрос в wordstat уже сделан и кука создана. Жмем кнопку «Firefox» в левом верхнем углу окна браузера. В меню выбираем: Настройки > Настройки (я ничего не путаю).
В открывшемся окне «Настройки», переходим на вкладку «Приватность». Здесь нас интересует блок «История». Выбираем в списке Firefox «будет использовать ваши настройки хранения истории» и жмем появившуюся кнопку «Показать куки…».
В окне «Куки», в поле «Поиск» введите имя интересующей нас куки, т.е. «fuid01». В списке должно отобразиться найденное. Выберите одну из предложенных кук и в поле информации, выделите и скопируйте ее «Содержимое».
Бесплатно скачать PHP парсер wordstat Яндекс можно здесь . Сразу скажу, что это лишь пример, работа которого заключается в парсинге ключевых слов и выводе их на экран, но все по порядку.
Первое, что вам надо понять – все данные представлены в кодировке UTF-8. Так что если что не забудьте сконвертировать данные. Более того, на некоторых серверах с этим может возникнуть проблема, подробней . Следующий нюанс заключается в том, что для работы скрипта понадобится поддержка . В остальном все достаточно просто.
Содержание куки fuid01 мы присваиваем переменной $fuid01 . По сути, это значение задается в curl_setopt() через CURLOPT_COOKIE , но для удобства я вывел его отдельно. Далее нас интересует массив $params — это переменные, передаваемые в запросе к wordstat Яндекс. В качестве примера я ограничился простейшим вариантом, так что обошлось без динамики. В частности, парсится только первая страница выдачи: "page" => 1 , значение text получается через GET, ну а для региона выбрана Москва : "geo" => 1 .
Понятно, что идентификатор региона, в случае если нужен другой, придется уточнять. Для этого заходим на wordstat Яндекс, кликаем ссылку «Уточнить регион…» и выбираем требуемое.
Сделав запрос, в URL надо посмотреть значение требуемого параметра. Следует отметить, что если выбрано более одного региона, их идентификаторы будут перечислены через запятую.
Дальше идет запрос к сервису статистики и парсинг данных wordstat Яндекс. Последнее имеет один небольшой нюанс. Дело в том, что wordstat Яндекс выводит статистику в виде двух таблиц: «что искали со словом…» и «что еще искали люди, искавшие…» — я же использовал только первую. Впрочем, там нет ничего сложного. Регулярные выражения достаточно простые. Думаю, разберетесь. Удачи!
Самое первое, что потребуется выяснить: что такое парсить. Возможно, Вы знаете это определение, а даже если и нет, понять будет легко. Парсить (Parsing) – значит собирать информацию из какого-либо источника с последующей обработкой данных. Если говорить о частных случаях, парсинг в seo (по-другому парсинг поисковой выдачи) – это сбор и анализ статистики запросов пользователей.
Поисковые системы тоже используют парсинг. Так, поисковые роботы парсят, анализируя веб-страницы и занося информацию о них в базу данных поисковиков.
Яндекс.Вордстат – сервис очень полезный в seo. Но работать с ним возможно только при наличии аккаунта Яндекс. Он позволяет подбирать ключевые слова на основе запросов пользователей, чтобы далее составить из них семантическое ядро.
Первым делом, необходимо определить тематику. Что Вы продаете? Какие услуги Вы предоставляете? Определив свою тематику и что будете запрашивать, можно начинать пользоваться Вордстат.
В строку поиска вводите свой запрос. И расширяете его с помощью выданных результатов.
Результаты формируются в две колонки. Цифра рядом с запросом – прогнозируемое количество показов в месяц, которое можно получить, выбрав понравившийся запрос ключевой фразой. Прогноз идет за последние 30 дней до даты обновления статистики.
Можно настроить, чтобы выдача показывалась по регионам. Если Вы предоставляете услуги только в Москве, выберите вкладку «Все регионы» (она находится чуть ниже поисковой строки) и настройте под себя.
В левой колонке все фразы со словами Вашего запроса, и слова в ней отсортированы по убыванию частоты показов. Вам важно сразу выделить те варианты расширенных ключей, которые будут являться для вашего проекта целевыми. Целевые - это те запросы, по которым пользователь, вводящий запрос в поисковую систему, может найти нужное ему на Вашем сайте. Целевые фразы будут более низкочастотными, и пользователи, пришедшие по ним с выдачи, смогут найти то, что хотели, а значит не покинут Ваш сайт сразу. Вам важны эти посетители, ведь именно они могут совершить целевое действие – купить товар или заказать услугу.
Проверьте выбранные фразы – исключите те, у которых частотность близка к нулю. Для этого используйте оператор “ “ (Кавычки).
После чего переходите к правой колонке.
В правой колонке показываются запросы, похожие на Ваши. Собрав нужное, не забудьте проверить фразы оператором “ “ (Кавычки).
Набрав достаточное количество ключевых фраз, Вы приступаете к следующему этапу: делите фразы по частотности. На этом Ваша работа с Вордстатом завершена.
По некоторым ключевым словам Вордстат выдает неправильную информацию. Как же ее проверить? Перейдите на вкладку «История запросов» и обратите внимание на статистику.
Показания статистики представлены в 2-х графиках: абсолютное и относительное.
Абсолютный показатель – это фактическое значение показов в разные периоды времени. А относительный показатель – это отношение показов по интересующему запросу к общему числу показов в сети. Он демонстрирует популярность запроса среди всех других.
Если график относительного значения выше абсолютного, то, может быть, идет автоматическая накрутка запроса, или интерес к запросу выше нормы. Возможно, это связано с сезоном. Так спрос на лыжи выше зимой.
Процесс парсинга можно автоматизировать. В этом случае возможно использование не только платных и бесплатных программ, но и расширений для браузера.
1. Расширение для браузера Yandex Wordstat Assistant. Устанавливаете его в браузер, и при работе с Яндекс.Вордстат слева появится панель, в которую вы сможете собрать понравившиеся ключевые слова.
2. Key Collector – программа платная, но высокофункциональная.
Один из наиболее популярных модулей в Rush Analytics – парсер Яндекс Вордстат, и это не случайно. При сборе семантического ядра необходимо точно знать частотность собранных запросов, чтобы правильно расставить приоритеты по продвижению и избавится от «мусорных» и нулевых запросов. Часто стоит задача пробить несколько десятков тысяч запросов на частотность в Яндексе, но это не совсем простая задача для самописных парсеров Вордстата и десктопных программ, и вот почему:
Учитывая все трудности которые могут возникнуть при парсинге Вордстата, мы сделали свой парсер Wordstat максимально быстрым, удобным и устойчивым к максимальному количеству проблем, связанных с парсингом:
Если вам нужен скоростной сбор частотностей Яндекс Wordstat – Rush Analytics лучшее решение, особенно если вам нужно собирать большие объемы данных. Для пользователей с потребностью сбора боле 100 000 запросов в месяц предусмотрены индивидуальные условия, просто напишите в нашу поддержку на
) Для работы парсера SE::Yandex::WordStat необходимы аккаунты Яндекс. Аккаунты можно зарегистрировать с помощью парсера или просто добавить существующие аккаунты в файл files/SE-Yandex/accounts.txt в формате:
[email protected];password
[email protected];password2
...Нажмите, чтобы раскрыть...
окна москва
"окна москва"
!окна!москваНажмите, чтобы раскрыть...
Окна!москва - 10368, updated: 16/05/2013
keywords:
окна москва: 32367
пластиковые окна москва: 8994
окна пвх москва: 4813
купить окна москва: 2561
окна цены москва: 1706
москва работа окна: 1547
вакансии окна москва: 1187
деревянные окна москва: 1087
служба +одного окна москва: 1021
...
additional keywords:
производство окон пвх: 8512
окна rehau: 15686
окна salamander: 1576
окна kbe: 3798
окна кбе: 6089
окна кве: 3227
остекление балконов: 83216
беседки: 471213
остекление лоджий: 26366
офисные перегородки: 18740
монтаж окон: 26223
...Нажмите, чтобы раскрыть...
| Параметр | Значение по умолчанию | Описание |
|---|---|---|
| Pages count | 10 | Количество страниц для парсинга |
| Region | All | Регион поиска |
| Remove + from keywords | ☐ | Удалять символ плюса (+) из найденных запросов |
| Use AntiGate | ☐ | Определяет использовать ли AntiGate для обхода каптч |
| AntiGate preset | default | Необходимо предварительно настроить парсер Util::AntiGate - указать свой ключ доступа и другие параметры, после чего выбрать созданный пресет здесь |
| AntiGate preset for Login | default | Пресет AntiGate для логина. Необходимо предварительно настроить парсер Util::AntiGate с параметрами, после чего выбрать созданный пресет здесь |
| Use Accounts | ☑ | |
| First sleep | 50 | Задержка после первого запроса при использовании AntiGate для экономии каптч |
| Use session | ☑ | Сохраняет хорошие сессии для дальнейшего использования |
| Mobile only | ☐ | Получать статистику только для мобильного трафика |
| Remove bad accounts | ☑ | Автоматическое удаление аккаунтов с неверным логин/паролем или требующих подтверждения по телефону |
Яндекс Вордстат - это один из базовых сервисов для SEO-оптимизаторов, работающих в Рунете. Штатный инструмент системы позволяет искать ключевые фразы из поисковой выдачи - высоко-, средне- и низкочастотные - используя для этого операторы для повышения эффективности поиска и настройку геолокации. В среде оптимизаторов процесс сбора ключевых запросов, релевантных тематике сайта, называется парсингом.
Специалисты проводят парсинг Яндекс, чтобы сформировать семантическое ядро - лингвистический «костяк» для будущего контента, который наиболее точно отражает нишу или услугу, которую предлагает сайт. Для этого есть собственный инструмент для поиска в Яндексе - Yandex Wordstat Assistant, который можно бесплатно привязать к аккаунту. С его помощью удобно собирать и выгружать собранные ключевые слова в таблицу Excel.
Вы можете пользоваться этим инструментом, но только в том случае, если у вас относительно небольшой сайт, где семантическое ядро составляет не более тысячи запросов. Если объем работы по сбору семантического ядра гораздо больше (например, для интернет-магазина с множеством товаров), то парсить выдачу Яндекса вручную с помощью Wordstat Assistant будет неоправданно долго. Целесообразнее делать это с помощью специальных программ и онлайн-сервисов - бесплатных, условно бесплатных и платных (например, Key Collector).
Рассмотрим основные принципы работы с Вордстат, а также популярные средства для автоматического сбора поисковых запросов.
Парсинг выдачи Яндекса - это процесс сбора поисковых запросов по заданной тематике (с помощью базовых маркеров). С Yandex Wordstat Assistant можно легко получить основную информацию для формирования семантического ядра - поисковые запросы, количество показов в месяц по каждой фразе, а также схожие по тематике слова, помогающие расширить охват целевой аудитории. Парсер Wordstat позволяет получить информацию по словам и по регионам, при этом система ориентируется именно на сайты.
Если хотите выполнить расширенный поиск, включающий не только Яндекс, но и социальные сети и другие поисковые системы, необходимо воспользоваться универсальными инструментами, например, A-Parser. Этот программный продукт отличается удобством в работе, но для эффективной работы с ним нужно купить прокси для парсинга.
В какой среде бы Вы ни работали, используйте универсальную схему сбора семантического ядра:
Рассматриваем основной алгоритм работы с Вордстат и парсим Яндекс для сбора семантики на примере сайта агентства недвижимости. Допустим, нам нужно составить перечень релевантных ключевых запросов, соответствующих базовому маркеру «аренда квартир».
Совет! Обращайте внимание на подсказки типа «вместе с этим ищут» в соседнем поле выдачи результатов парсинга - это поможет вам охватить больше аудитории при составлении SEO-контента.
Чтобы облегчить себе задачу по ручному парсингу, используйте операторы Яндекс. Например, поставив в конце поисковой фразы знак «!», вы зафиксируете окончание поискового запроса, и система будет искать слова именно в этой словоформе. Оператор «-» (минус) позволит убрать лишние слова, а квадратные скобки «» - зафиксировать порядок слов в запросе.
Специалисты советуют сочетать ручной и автоматический выбор запросов для составления семантического ядра, особенно для новичков. Пользуясь штатным инструментом Яндекс Вордстат Ассистент, вы нарабатываете навыки интуитивного подбора поисковых фраз, которые приводят на сайт целевых клиентов с помощью средне- и низкочастотных ключей. Высокочастотные фразы не всегда работают, особенно в конкурентной нише.
Если у вас нет времени на ручной парсинг в Яндекс Вордстат, используйте специальные инструменты. В интернете можно найти различное программное обеспечение, но большинство русскоязычных специалистов по SEO-оптимизации делают парсинг выдачи Яндекса с помощью Key Collector.
Это десктопный продукт, позволяющий создавать и хранить в локальной памяти компьютера проекты для каждого сайта, загружать и сохранять файлы и делать парсинг ключевых слов в соответствии с региональными настройками. Программа требует привязки к аккаунту. Для работы с ключевыми поисковыми запросами в Кей Коллекторе имеются пиктограммы основных поисковых систем в Рунете (в нашем случае это Yandex-парсер, хотя можно выбрать Google, Bing и другие).
Среди других полезных сервисов для SEO такие:
Специалисты утверждают, что Кей Коллектор - это самая удобная и функциональная программа, позволяющая значительно облегчить жизнь оптимизатора. У нее есть множество полезных опций для точной настройки параметров парсера Yandex (например, глубины поиска, избирательного поиска запросов по базовой частотности и т.п.).
Но у программы есть нюанс - она платная. Стоимость лицензии составляет 1800-1900 рублей по электронному и безналичному расчету соответственно.
Совет! Если по какой-то причине вы не хотите пользоваться этим продуктом, можете попробовать его бесплатный аналог «Словоёб». Подойдет и более простой вариант - Букварикс - бесплатный сервис для сбора ключевых слов и формирования семантического ядра.
Парсинг Яндекс Вордстат можно делать самостоятельно и с помощью специальных программ. Ручной сбор посредством инструмента Wordstat Assistant оправдывает себя в том случае, если ваша ниша имеет узкую направленность и мало конкурентов, а перечень поисковых запросов относительно невелик. При больших объемах работ рекомендуется пользоваться специальными программами для парсинга и аналитики.
