Начиная с 2005 года Google использует большую фокус-группу по всему миру для проверки своих результатов поиска и качества веб-страниц, которые высоко ранжируются алгоритмом. Людей работающих в этой программе называют специалистами по качеству и, как Вы понимаете, выполняемая ими работа очень важна для SEO-специалистов во всём мире.
Google рекламировал вакансию специалиста по качеству ещё в далёком 2004 году. Однако сегодня эти люди не работают на Google. Они работают на такие фирмы-исполнители как Lionbridge, Leapforce, Butler Hill и, возможно, другие. По информации, которую предоставляет Lionbridge, эта компания имеет более 4,500 работников, оценивающих результаты поиска по всему миру. Веб-сайт компании Leapforce не сообщает, сколько людей у них работает, но в списке их вакансий можно увидеть такие названия: «оценщик поисковых машин», «оценщик социальных поисковых машин» и «эксперт по качеству поиска».
Специалисты по оценке качества поиска стали более известны широкой массе людей после нескольких случаев, когда руководства по работе от Google для этих работников были выложены в интернет. Были случаи, когда веб-мастера также замечали, что переходы на их сайт были совершены по реферальной ссылке, которая генерируется специально для оценщиков.
После того как Дженнифер Ледбеттер написал об этой программе прошлой осенью, один из специалистов по качеству заключил контракт с нашим сайтом. Он хотел пролить свет на некоторые моменты, о которых было написано. Начиная с того времени с несколькими перерывами на выходные я вёл переписку с этим человеком … который в добавок к тому, что работает в Lionbridge специалистом по оценке качества поиска, ещё и умудряется работать на американское SEO-агенство.
Чтобы убедиться, что этот человек, которого я никогда не встречал, действительно специалист по качеству поиска, я попросил его сделать несколько скриншотов веб-сайта, в котором протекает его работа. Пару из них я вставил в статью. А вот изображение домашней страницы специалиста по качеству поиска. В момент запечатления список заданий был пуст.
Ниже представлен диалог, в котором мы общаемся о процессе приёма на работу, о том, на что эти специалисты смотрят, оценивая веб-сайт, о разных заданиях, которые они выполняют и многое другое.
Вопросы и ответы со специалистом по оценке качества поиска в Google
Q: Расскажи как, когда и почему ты начал работать в программе по оценке качества.
A: Я начал работать в Lionbridge в мае 2011 года. Я искал работу, потому как мой работодатель сказал мне, что мне урежут зарплату. Пришлось искать дополнительный источник дохода. Я начал искать вакансии во всех нормальных компаниях и наткнулся на специалиста по качеству поиска. Звучало здорово, так что я незамедлительно отправил им своё резюме. На следующий день мне ответили. Мне сказали, что компания была бы рада иметь такого работника и что мне нужно всего лишь пройти несколько несложных тестов. Это была лёгкая часть.
Q: В описании работы упоминался Google?
A: Нет, сначала о Google я ничего не знал. Но после того как они связались со мной, сразу же рассказали, что работа будет связана с Google.
Q: Так ты знал, что это будет связано с Google. А в какой момент ты узнал, что будешь оценивать результаты поиска Google?
A: Я знал это перед тем, как меня приняли на работу.
На мой взгляд, SEO-сообщество кое-что не понимает, эта программа не связана с SEO или ранжированием. Эта программа направлена на улучшения алгоритма Google. Например, соседние по очерёдности задания показывают, как изменились результаты поиска после внесения изменений в алгоритм. Google не нанимает рейтинговые агентства, чтобы оценивать веб-сайты. Он нанимает их, чтобы оценивать, как хорошо результаты поиска соответствуют запросам пользователей.
Q: Давай поговорим о процессе приёма на работу. Как я понял, были тесты, сложные?
A: У меня было шесть дней, чтобы выполнить обе части тестирования. Вторая часть стала доступной только после того как я выполнил первую.
Они прислали мне PDF-документ, в котором было 24 теоретических вопроса. Отвечать на каждый из них нужно было в форме эссе. Вопросы были разработаны так, чтобы проверить мою способность принимать новые правила и применять их в различных ситуациях. Один из них был о спаме и о том, что делать, если сайт не выдаёт никаких признаков спама, но всё-таки создаётся такое чувство, что он спамный. Это было самое сложное тестирование в моём немалом опыте.
Только после того как я сдал тестирование, меня допустили к практическому экзамену, в котором было больше чем 140 вопросов. В этом экзамене были реальные результаты поиска, которые мне нужно было оценить. Для того чтобы меня приняли на работу нужно было набрать 90 или более процентов в каждой из четырёх категорий (крайне важные сайты, полезные, релевантные и бесполезные или офф-топик сайты).
Q: Какими были вопросы?
A: Вот пример, задаваемых вопросов:
Запрос [crispy cream], Английский (США)
Адрес: http://www.treblebooster.com/
Я заходил на эту страницу – хочу подчеркнуть этот момент, потому что в некоторых блогах писалось, что оценщик может решить соответствует она результатам поиска или нет, даже не заходя по ссылке, после чего присвоить ей рейтинг. Конечно же, это зависит от оценщика, но правильный ответ здесь – полезный из-за орфографии. Если бы юзер напечатал «Krispy Kreme», то правильным результатом был бы – офф-топик.
На экзамене было 143 подобных вопроса. Хорошие были времена.
Q: Контактируешь ли ты каким-то образом напрямую с Google? Или ты общаешься только с Lionbridge?
A: Контакта с Google у меня нет, только с Lionbridge.
Q: Было ли какое-то обучение после того как тебя приняли на работу?
A: После того как я устроился на работу, у нас был еженедельный двухчасовый вебинар с тестовыми заданиями для выполнения. Это было очень интенсивное обучение. В течении первых четырёх недель мне нужно было комментировать каждую оценку, которую я давал. Эти комментарии были рассмотрены и также прокомментированы, таким образом я получал отзыв на каждую свою оценку.
Q: В какой момент у тебя появилось пособие специалиста по качеству поиска?
A: Я получил его, когда меня приняли на работу. По сути это просто список типичных задач, которые мы выполняем с примерами того, как их оценивать.
Q: Как Lionbridge (или Google) описывает это пособие?
A: Они называют его руководством, а не пособием.
Хоть мы и говорим о руководствах, хочу сказать об одной вещи, которая меня поразила – на каждый оцениваемый сайт компания имеет более одного оценщика. Я думаю (я не уверен, но опираюсь на комментарии, оставленные другими оценщиками), что на каждый оцениваемый сайт приходится около шести специалистов по качеству поиска. Если я оценю сайт как полезный, а кто-то другой оценит его как офф-топик, то мы должны прийти к общему мнению (путём комментирования и обсуждений), а затем подтвердить оценку.
Q: Сколько ты зарабатываешь, и как часто тебе платят?
A: Я зарабатываю 14.5 долларов в час, а платят мне один раз в месяц. Но я работаю не более 20 часов в неделю, в месяц получается 80.
Q: В одной из последних статей о специалистах по качеству поиска сказано, что вы можете работать только один год, а после нужно подождать 3 месяца, прежде чем можно будет подать повторную заявку на работу. Это правда?
A: Я знаю, что они говорят якобы можно работать оценщиком только в течении года. Все коллеги, с которыми я общался, говорят, что пока ты качественно выполняешь свою работу, тебя не отстранят.
Q: Расписание полностью зависит от тебя или же приходится работать в установленное время?
A: Я сам составляю свой график, главное оставаться в пределах от 10 до 20 часов в неделю, чтобы они были довольны. Они очень строги, но позволяют отработать часы, которые ты пропустил. Так что если бы я отработал только 4 часа на прошлой неделе, то на этой неделе я мог бы работать 16 и более. Но в неделю разрешается работать не более 20 часов, я стараюсь работать максимум позволенного времени.
Также они очень строго относятся к твоей производительности. Существует определённое количество заданий, которое я должен выполнить в определённое время. Также если качество выполняемой мною работы не будет на высоте – меня уволят. Рабочий процесс контролируется очень хорошо.
Q: Ты сказал, что тебя уволят, если «качество выполняемой мною работы не будет на высоте». Как понять, что ты хорошо выполняешь свою работу? Мне кажется, что в большинстве случаев результаты поиска довольно таки субъективны.
A: Я согласен, что результаты поиска носят субъективный характер, но у них существует центр контроля качества, которые сообщает о твоём прогрессе с течением времени. Они отслеживают как много у тебя возвращённых результатов, как много времени тебе требуется, чтобы разобраться с проблемным рейтингом и т.д. Хотя оценка и зависит от меня, она должна быть похожа на оценки, которые дали другие агентства. Так что основные факторы – это время, которое ты тратишь на решение задач и количество возвращённых оценок.
Q: Они возвращают тебе задания – что это значит?
A: Это значит, что твоя оценка не совпала с другими оценщиками и тебе нужно достигнуть с ними согласованности.
Q: Получается что оценка результатов поиска – это групповой проект. Сложно ли достигнуть согласованности?
A: Бывает, что сложно согласиться со специалистами, которые не читали руководства как следует или только начали работать. Однако после нескольких обменов мнениями приходит модератор и решает кто прав. Модератор читает наши комментарии и после принимает решение.
Q: Как часто такое случалось на твоём опыте?
A: Не очень часто. Зачастую если ты чётко объясняешь свою точку зрения, то оценщики из других агентств соглашаются с тобой. Большинство таких разногласий появляется, когда содержимое сайта находится где-то между релевантным и офф-топиком. Также часто спорные моменты возникают с определением страницы как спам или нет.
Q: Что ты знаешь о модераторах? Это работники Lionbridge?
A: Да, они работают на Lionbridge. Это специалисты по оценке качества поиска, которых повысили.
Q: Вы занимаетесь только органическим поиском или ещё и рекламными объявлениями?
A: Чаще всего мы занимаемся результатами органического поиска, но бывают и задания с рекламными объявлениями.
Q: Ты помнишь примеры заданий, связанных с рекламой?
A: Не совсем. Большинство из них были связаны с размещением на странице, порядком в котором они представлены и т.д.
Q: Просматриваете ли вы специфические результаты поиска, такие как Места Google, Новости или Видео?
A: Да просматриваем. Я помню много заданий, где нужно было оценить результаты поиска на карте, соответствуют ли они запросу пользователей. В качестве дополнительного источника информации нам предоставляли список запросов, которые пользователь вводил до текущего. Также мы оцениваем новости, соответствуют ли они запросу и пришли ли они из доверенного источника. Что касается видео, то мы смотрим их и даём одну из четырёх оценок, о которых я говорил выше.
Q: Момент с Картами Google очень интересен. Получается, что вы занимаетесь не только одиночными запросами, но и иногда учитываете историю поиска пользователя? Бывают ли подобные задания с другими типами поиска?
A: Почти все задания содержат информацию о пользователях. Даже в простых запросах нам дают информацию о языке, на котором говорит пользователь и его месторасположении. Например, если пользователь ввёл слово «погода», то, скорее всего ему будет полезно узнать погоду в том месте, где он находится в данный момент. Дело не в том соответствует ли страница запросу, главное – чтобы она была полезна пользователю. Запросы к Google Maps (называемые локальными запросами) – единственные, к которым прилагается история того, что пользователь искал до этого.
Q: Помимо коллективного оценивания, которое ты описал выше, общался ли ты с другими специалистами? Если официальные или неофициальные места для этого?
A: Существует много таких мест – форумы и тому подобное на сайте Lionbridge, где оценщики могут пообщаться друг с другом. Но я никогда этого не делал, просто времени не хватало.
Q: Мог бы ты поделиться конкретным примером одного из твоих последних заданий?
A: Не могу вспомнить конкретные адреса, которые я оценивал, но ключевыми словами были «женские кроссовки Nike для бега». Мне дали 20 адресов для оценки (10 до смены алгоритма и 10 после) и я посетил каждый из них, чтобы оценить соответствующим образом. С таким узнаваемым брендом как этот определить качество содержания сайта совсем не трудно. Например, я думаю, что одним из результатов был официальный сайт «Nike», ему нужно было присвоить высший рейтинг. Там было несколько интернет магазинов, продающих обувь, я дал им оценку «полезный». Статье в википедии о Nike я дал оценку «частично релевантная», т.к. немногие женщины ищущие обувь захотят читать об истории компании.
Q: Ты всегда нажимаешь на ссылки и просматриваешь сайты для задания?
A: Да, я всегда это делаю, потому что я не могу составить мнение о сайте только по описанию. Никто не может, именно поэтому нам и дают ссылки.
Q: Когда ты переходишь на сайты по ссылкам из результатов поиска Google, на что ты обращаешь внимание?
A: Сначала я всегда проверяю на наличие сигналов о спаме – переполнение ключевыми словами, скрытый текст, хитрые редиректы и тому подобное. Когда я уже уверен в том, что это хороший сайт, я начинаю смотреть на страницу как человек, который написал такой запрос в Google. Я оцениваю, удовлетворит ли представленный на сайте контент мои потребности или нет. Иногда мне нужно оценить дизайн или разметку, но чаще всего – это оценка содержимого и определение того, будет ли целесообразно показать её пользователям.
Q: Ты смотришь когда-нибудь в исходники страницы? Вас учат этому?
A: В руководствах описаны поверхностные моменты, которые нам нужно знать. В основном мы ищем скрытые ключевые слова и другие тактики спама.
Ты упомянул о заданиях, которые связаны с дизайном и разметкой страницы, расскажи поподробнее.
В заданиях по дизайну нужно определить имеет ли страница хорошее соотношение основного содержания, дополнительного и рекламы. Также спрашивается, в общем, о дизайне, легко ли читается текст, ясно ли передаётся информация и тому подобное. Дело не в том красивая страница или нет, главное – легко ли пользователь может найти то, что ему нужно.
Q: Тебе дают конкретную веб-страницу для оценки дизайна или ты делаешь это для всех сайтов в результатах поиска?
A: Нет, это специфические задания, они не относятся к оценке ранжирования.
Q: Проверка орфографии и грамматики относится к заданиям по дизайну?
A: Я проверяю орфографию и грамматику во всех заданиях.
Q: Когда ты оцениваешь дизайн и разметку, твои критерии меняются в зависимости от того какой типа сайта ты просматриваешь? Например, от веб-страницы какого-то крупного бренда ожидаешь более профессионального дизайна, чем от веб-сайтов малого бизнеса?
A: Как было сказано ранее, я больше смотрю на удобство для пользователя, чем на фактический дизайн. Компания с простым дизайном будет оцениваться точно так же, как и большие компании с профессиональным дизайном до тех пор пока на обоих сайтах информация представлена в читабельном виде и на них легко ориентироваться. Например, страница, на которой трудно что-то разобрать из-за большого количества рекламы будет иметь низкий рейтинг.
Как много существует различных типов заданий? Руководства, которые я видел, начинаются словами «Вы будете работать над разнообразными типами рейтинговых проектов».
У нас действительно много разных типов заданий, но все они сгруппированы в четыре главные категории: оценка конкретного адреса, оценка до изменения алгоритма и после, экспериментальная оценка, и оценка результатов поиска. Большая часть заданий из экспериментальной категории, в которой уйма разных задач. На изображении перечислены все типы заданий и указано время, предполагаемое для их выполнения.
Q: А что за задания «Display Block» и «TTR»?
A: «Display Block», если я правильно помню, это группа изображений, которую мы оцениваем группой, а не по отдельности. «TTR» значит «Time to Rate» (время на оценку), с помощью которого они определяют, сколько времени понадобится на выполнение задания. Этот тип заданий включает в себя все остальные, в нём оценивается только время выполнения, но не качество.
Q: Старается ли компания подобрать для тебя задания в соответствии с тематиками, с которыми ты знаком или же приходится просматривать страницы сайтов с вещами, о которых ты не знаешь?
A: Если кто-то ищет «лучший корм для щенков», то не нужно каких-то специальных знаний для понимания того, что хочет найти пользователь. Большинство запросов именно такие. Однако, время от времени я получаю такие задания, для выполнения которых мне нужно найти дополнительную информацию и глубже изучить вопрос. Такая система не идеальна, но она работает.
Q: Как твоя работа влияет на результаты поиска в Google? Они говорят тебе что-то об этом?
A: Мне об этом не говорят; однако, я знаю, что алгоритм Google очень хорош, а мы его совершенствуем. Я вижу это по заданиям, в которых нужно сравнивать результаты поиска при старом алгоритме и при новом.
Q: Ты сейчас оцениваешь сайты? Как ты думаешь, как долго ты ещё будешь этим заниматься?
A: Сейчас я занимаюсь этим на выходных. Мне нравится это, буду работать здесь пока смогу.
Q: Знает ли Lionbridge и/или Google, что ты также работаешь в SEO-агентстве?
A: Нет. Я устроился туда работать, когда уже работал в Lionbridge.
Q: Ты знаешь ещё людей, которые одновременно являются специалистами по SEO и специалистами по оценке качества поиска?
A: Я не знаю никого лично, но я держу пари, таких как я немало.
Q: Какое у тебя мнение о результатах поиска Google? Изменилось ли оно после того как у тебя появилась эта работа?
A: Я всегда использовал Google, когда начинал свой сёрфинг в интернет. А теперь, когда я стал оценщиком, то использую его намного чаще и вижу улучшения в нём, которые происходят «за кадром».
Мне нравится то, что у Google есть группа людей, работающая над улучшением поискового движка. Я знаю, что есть такие люди, которые считают, что оценщики качества поиска делают ошибки и тем самым плохо влияют на их сайты, понижая в рейтинге. Могу сказать честно, они этого не делают. Ведь такие агентства как Lionbridge просто оценивают качество результатов поиска Google, а не сами сайты.
В каждой компании есть контроль качества. Неужели люди расстраиваются из-за того, что кто-то проверяет качество продуктов в том же McDonald’s? Я не вижу, чтобы Google делал что-то другое кроме улучшения качества предоставляемого продукта для своих пользователей.
Так что ответ на твой вопрос – да, моё мнение изменилось в лучшую сторону.
Источник: перевод статьи searchengineland.com
Автор статьи: Matt McGee
Автор перевода: Богдан Саенко