Как найти ваш сайт в поисковых системах и серверах
В некоторых поисковых системах и серверах найти ваш сайт в их базе данных достаточно легко, в некоторых - очень трудно. Далее мы рассмотрим поисковые системы, в которых достаточно легко можно узнать проиндексирован ли ваш сайт:
AltaVista
Чтобы узнать, проиндексирован ли ваш сайт, надо набрать следующее:
host:newip.ucoz.ru
host:www.newip.ucoz.ru
Приставка www имеет значение! Сайт может быть проиндексирован по разному.
Если эта страница есть в базе данных она будет показана.
Если вы введете следующую команду:
http://newip.ucoz.ru/load/ , то будут показаны все страницы, которые были
проиндексированы внутри данной директории.
Excite
AllTheWeb.com/FAST Search
Поиск сайта: url.host:newip.ucoz.ru
Поиск страницы: url.all:newip.ucoz.ru/load/index.htm
Google
Поиск сайта и страниц: site:newip.ucoz.ru обновление nod32 - вторым идет слово, по которому вы хотите найти страницы, где оно содержится
Inktomi: AOL Search, GoTo, HotBot, MSN Search
(движок поисковой системы Inktomi используется во всех вышеперечисленных поисковых системах)
Yandex
http://webmaster.yandex.ru/check.xml
Вводим в форму с www и без www
Как подружиться с поисковиками
Работа над интернет-проектами неизбежно связана с последующим продвижением созданного интернет-ресурса. Один из наиболее значимых моментов в этом процессе - это повышение позиций сайта в результатах выдачи поисковых систем.
Но, до того, чтобы достичь высоких позиций, сайт, прежде всего, должен быть добавлен в индекс поисковой системы.
Google.com
Руководство для веб-мастеров
Соблюдение правил, содержащихся в этом руководстве, поможет программе Google найти и индексировать Ваш сайт и определить его рейтинг. Даже если Вы решите не следовать этим советам, мы настойчиво рекомендуем внимательно прочитать "Рекомендации по обеспечению качества". Они содержат описание некоторых запрещенных действий, которые могут повлечь за собой полное удаление сайта из индекса Google. Удаленные сайты не показываются в результатах поиска на Google.ru и на всех партнерских сайтах Google.
Когда сайт будет готов, сделайте следующее:
• попросите разместить ссылки на него на других сайтах, посвященных похожим темам;
• передайте его в Google на странице http://www.google.com/addurl.html;
• передайте файл Sitemap с помощью наших инструментов Google для веб-мастеров. По таким файлам Google Sitemaps изучает структуру сайта и более полно индексирует веб-страницы;
• сообщите всем заинтересованным сайтам о том, что Ваши страницы опубликованы в Интернете;
• передайте сайт в подходящие каталоги, например в Open Directory Project и Yahoo!, и на отраслевые профессиональные сайты.
Правила дизайна и подбора содержания:
• создайте сайт с четкой иерархией и текстовыми ссылками. На каждую страницу должен быть переход хотя бы по одной статической текстовой ссылке;
• составьте для пользователей карту сайта со ссылками на его важные разделы. Если в ней окажется более или немногим менее ста ссылок, возможно, удобнее будет разбить ее на несколько отдельных страниц;
• сделайте сайт полезным и информативным. Страницы должны содержать четкое и точное описание содержания;
• подумайте, по каким ключевым словам пользователи будут искать Ваши страницы, и включите эти слова в текст на сайте;
• старайтесь сделать так, чтобы важные имена и названия, другое важное содержание и ссылки представляли собой текст, а не изображения. Сканер Google не распознает текст, содержащийся в изображениях;
• следите за тем, чтобы теги TITLE и ALT были точными и информативными;
• убедитесь в том, что все ссылки работают. Проверьте правильность кода HTML;
• если Вы решите использовать динамические страницы (то есть такие, в URL которых содержится символ "?"), учтите, что не все "пауки" поисковых систем сканируют динамические страницы так же успешно, как и статические. Советуем сократить длину и количество параметров;
• не размещайте на одной странице слишком много ссылок (не более 100).
Технические рекомендации:
• используйте для проверки сайта текстовый браузер, например Lynx, потому что большинство "пауков" поисковых систем видят сайт точно так же, как Lynx. Если из-за таких замысловатых ухищрений, как JavaScript, cookies, идентификаторы сеансов, фреймы, DHTML или Flash, просмотреть весь сайт с помощью текстового браузера не удается, то и "паукам" поисковых систем, возможно, будет трудно его сканировать;
• разрешите поисковым роботам сканировать Ваши сайты без идентификаторов сеансов и без аргументов, которые позволяют отслеживать пути их передвижения по сайту. Эти инструменты полезны для отслеживания поведения конкретного пользователя на сайте, но роботы читают сайты совершенно иначе. Эти инструменты могут привести к неполной индексации сайта, поскольку роботам не всегда удается исключить URL, которые выглядят по-разному, но на самом деле ведут на одну и ту же страницу;
• убедитесь, что веб-сервер поддерживает заголовок http If-Modified-Since. Он позволит серверу сообщать Google, изменилось ли содержание со времени прошлого сканирования. Поддержка этой функции сэкономит Ваш трафик и накладные расходы;
• воспользуйтесь размещенным на веб-сервере
файлом robots.txt. Он сообщает сканерам, какие каталоги можно сканировать, а какие нельзя. Следите за актуальностью содержания этого файла, чтобы случайно не заблокировать сканер поискового робота Google. Инструкции о том, как давать указания роботам, сканирующим сайт, приводятся на сайте http://www.robotstxt.org/wc/faq.html. Убедиться в том, что
файл robots.txt правильно используется, можно с помощью
robots.txt инструмента анализа в Google Sitemaps;
• если Ваша компания решит приобрести систему управления содержанием, проверьте, может ли она экспортировать содержание, чтобы позволить "паукам" поисковых систем его сканировать.
Рекомендации по обеспечению качества
Здесь перечислены самые распространенные формы обмана и мошеннических манипуляций. Однако Google может негативно отреагировать и на другие недобросовестные действия, которых нет в этом списке (например на использование неправильно написанных названий популярных веб-сайтов с целью обмана пользователей).
Если тот или иной способ обмана не указан на этой странице, это совсем не означает, что Google его одобряет. Веб-мастера, прилагающие усилия к соблюдению духа основных принципов существенно упрощают для пользователей работу в Интернете, а потому их сайты располагаются в списках результатов поиска выше, чем сайты тех, кто тратит время на поиски лазеек.
Если Вы считаете, что другой сайт нарушает рекомендации по обеспечению качества Google, сообщите об этом на странице http://www.google.com/contact/spamreport.html. Google предпочитает разрабатывать масштабируемые автоматизированные решения проблем, поэтому мы стараемся свести к минимуму "рукопашные бои" со спамом. Сообщения о спаме используются при создании масштабируемых алгоритмов, которые распознают и блокируют дальнейшие попытки рассылать спам.
Рекомендации по обеспечению качества:
основные принципы:
• создавайте страницы для пользователей, а не для поисковых систем. Не вводите пользователей в заблуждение и не публикуйте разное содержание для поисковых систем и для пользователей. Клоакинг - а это называется именно так - не приветствуется;
• не пытайтесь хитростью повысить рейтинг сайта в поисковой системе. Следуйте правилу: если Вы смогли бы без затруднений объяснить владельцу конкурирующего сайта, что Вы с ним сделали, значит, все правильно. Кроме того, полезно задаться вопросом, поможет ли это пользователям? Нужно ли было это делать, если бы поисковых систем не существовало?
• не участвуйте в схемах построения ссылок, разработанных для повышения рейтинга веб-сайта, а также PageRank. В частности, не размещайте ссылки на сайты, с которых рассылается спам, и на "неблагоприятных соседей" по сети, так как это может повредить Вашему рейтингу;
• не используйте для отправки информации о сайте, проверки его рейтинга и т.д. запрещенные компьютерные программы. Они поглощают вычислительные ресурсы и нарушают наши "Условия предоставления услуг". Google не рекомендует использовать программные продукты, отправляющие в поисковую систему автоматические и программные запросы, например WebPosition GoldTM.
Особые рекомендации по обеспечению качества:
• не используйте скрытый текст и скрытые ссылки;
• не применяйте клоакинг и скрытую переадресацию;
• не отправляйте в поисковую систему Google автоматические запросы;
• не перегружайте страницы словами, не относящимися к теме;
• не создавайте страницы, субдомены и домены, в значительной степени повторяющие содержание друг друга;
• не создавайте страниц, которые устанавливают вирусы, "троянских коней" или другие вредоносные программы;
• не используйте страницы портала, предназначенные исключительно для поисковых систем, и другие трафаретные приемы, например партнерские программы, где оригинальное содержание почти или совсем отсутствует;
• если Ваш сайт участвует в партнерской программе, убедитесь, что он приносит прибыль. Используйте уникальное и релевантное содержание, чтобы пользователи в первую очередь посещали Ваш сайт.
Если сайт не выполняет наши рекомендации по обеспечению качества, он может быть удален из нашего индекса. Если Вы определили, что сайт не соответствует этим требованиям, можно изменить сайт, чтобы соблюсти требования, и отправить запрос на повторное включение сайта в индекс.
Как добавить сайт в результаты поиска Google?
Сайты включаются в результаты поиска Google бесплатно и очень просто, для этого даже не нужно добавлять свой сайт в Google. Google - это полностью автоматизированная поисковая система. В ней используются программы "пауки", которые регулярно сканируют Интернет и находят сайты для внесения в индекс Google. В действительности, большинство сайтов, представленных в наших результатах, не включаются в индекс по заявке, а находятся и добавляются автоматически, когда "пауки" сканируют Интернет.
Чтобы проверить, включен ли сайт в наш индекс, выполните в Google поиск URL своего сайта. Например, при поиске [ site:www.google.ru ] Вы получите следующий результат: http://www.google.ru/search?hl=ru&q=site%3Awww.google.ru+
Хотя Google сканирует миллиарды страниц, некоторые сайты он неизбежно пропускает. Если наши пауки пропускают сайт, это может быть вызвано одной из следующих причин:
• сайт недостаточно хорошо связан многочисленными ссылками с другими сайтами в Интернете;
• сайт запущен после последнего сканирования, выполненного Google;
• дизайн сайта затрудняет эффективное сканирование его содержания;
• когда мы пытались произвести сканирование Вашего сайта, он оказался временно недоступен или мы получили ошибку при попытке его сканирования. С помощью инструментов Google для веб-мастеров можно узнать, не возникли ли ошибки при попытке сканирования сайта.
Нашей целью является честное и точное представление содержания Интернета. Для ее достижения мы предлагаем рекомендации и советы по созданию сайта, удобного для сканирования. Хотя нельзя гарантировать, что определенный сайт будет обнаружен нашими пауками, эти рекомендации должны повысить шансы на то, что сайт появится в наших результатах поиска.
Попробуйте создать и передать в Google подробную карту своего сайта с помощью Google Sitemaps. Google Sitemaps - это простой способ передать URL в индекс Google и получить подробные отчеты о показах Ваших страниц на Google. С помощью Google Sitemaps пользователи могут автоматически информировать нас обо всех своих страницах и вносимых в них изменениях. Помните, что передача файла Sitemap не гарантирует, что все страницы данного сайта будут просканированы или включены в результаты поиска.
Как создать удобный для Google сайт?
Что необходимо сделать
Наше руководство для веб-мастеров содержит технические рекомендации, советы по дизайну и обеспечению качества. Ниже приведены подробные советы по созданию удобного для Google сайта.
Предоставьте посетителям необходимую информацию.
Обеспечить высококачественное содержание Ваших страниц, особенно главной. Это единственное самое важное условие, которое нужно выполнить. Если Ваши страницы содержат полезную информацию, они привлекут многих посетителей, а веб-мастера будут создавать ссылки на Ваш сайт. Создавая полезный и информативный сайт, старайтесь, чтобы страницы содержали четкое и точное описание Вашей темы. Подумайте, по каким ключевым словам пользователи будут искать Ваши страницы, и включите эти слова в текст на сайте.
Постарайтесь, чтобы другие сайты ссылались на Ваш.
Ссылки помогают сканерам найти Ваш сайт и могут способствовать тому, что сайт будет чаще показываться в наших результатах поиска. Составляя результаты запроса, Google полагается на рейтинг страницы, или PageRank (это наша мера важности страницы), и усовершенствованные приемы сопоставления текста, что позволяет показывать страницы, которые являются важными и релевантными для каждого запроса. Google подсчитывает число голосов в пользу страницы для определения ее рейтинга, интерпретируя ссылку со страницы А на страницу В как голос страницы А в пользу страницы В. Голоса, подсчитываемые по страницам, которые сами по себе являются "важными", ценнее и помогают сделать "важными" другие страницы. Обратите внимание на то, что рейтинг сайтов в результатах поиска формируется автоматически, и мы не присваиваем ключевые слова сайтам вручную.
Учитывайте, что наши алгоритмы могут отличать настоящие ссылки от ненастоящих. Естественные ссылки на Ваш сайт создаются как часть динамического содержания Интернета, когда другие сайты находят, что содержание Вашего сайта полезно их посетителям. Неестественные ссылки на Ваш сайт размещаются здесь специально, чтобы поисковые системы считали его более популярным. Некоторые типы таких ссылок (например схемы построения ссылок и страницы портала) рассматриваются в нашем руководстве для веб-мастеров.
Чтобы проиндексировать и определить рейтинг сайта, полезны только естественные ссылки.
Убедитесь, что содержание сайта легко доступно.
Создавайте сайт с использованием структуры логических ссылок. На каждую страницу должен быть переход хотя бы по одной статической текстовой ссылке.
Чтобы проверить свой сайт, используйте текстовый браузер, такой как Lynx. Большинство "пауков" видят Ваш сайт так, как его увидел бы Lynx. Если из-за таких функций, как JavaScript, файлы cookie, идентификаторы сеансов, фреймы, DHTML или Macromedia Flash, просмотреть весь сайт с помощью текстового браузера не удается, то и у "пауков" могут возникнуть проблемы с его сканированием.
Решите, будете ли Вы создавать статические копии динамических страниц. Хотя индекс Google включает динамические страницы, они составляют лишь малую часть индекса. Если есть подозрения, что Ваши динамически созданные страницы (например URL, содержащие знаки вопроса) создают проблемы для нашего сканера, можно создать статические копии этих страниц. В этом случае не забудьте добавить динамические страницы в свой файл robots.txt, чтобы мы не считали их копиями.
Что не следует делать
Не заполняйте свои страницы списками ключевых слов, не пытайтесь публиковать разное содержание для поисковых систем и для пользователей, не создавайте страницы, предназначенные только для сканеров. Если сайт содержит страницы, ссылки или тексты, не предназначенные для посетителей, Google рассматривает их как вводящие в заблуждение и может игнорировать такой сайт.
Обращаться к услугам фирм по оптимизации поиска необязательно. Некоторые компании заявляют, что могут "гарантировать" высокий рейтинг Вашего сайта в результатах поиска. В то время как существующие на легальном положении консалтинговые фирмы действительно могут улучшить поток и содержание Вашего сайта, остальные используют нечестные приемы, пытаясь обмануть поисковые системы. Будьте осторожны. Если Ваш домен связан с одной из таких мошеннических фирм, он может быть исключен из нашего индекса.
Не используйте изображения, чтобы показывать важные имена и названия, другое содержание и ссылки. Наш сканер не распознает текст, содержащийся в картинках. Используйте теги ALT, если основное содержание и ключевые слова на Вашей странице нельзя перевести в обычный формат HTML.
Не создавайте многочисленные копии страницы под разными URL. Многие сайты предлагают только текстовые страницы или версии для печати, которые предлагают то же содержание, что и соответствующие страницы с картинками. Чтобы обеспечить включение выбранной Вами страницы в
результаты поиска, необходимо блокировать копии для наших пауков с
помощью файла robots.txt. Дополнительную информацию об использовании
файла robots.txt можно найти в разделе статьи
на сайте newip.ucoz.ru.
Источник: http://www.google.com/support/webmasters/
Yandex.ru
Как добавить сайт в вашу поисковую систему yandex?
Специально добавлять сайт не требуется - если на него есть ссылки на страницах других сайтов, он автоматически будет найден, и, скорее всего, проиндексирован. Если ссылок на сайт еще нет, вы можете воспользоваться формой «Добавить URL», чтобы сообщить роботу о существовании сайта.
Обратите внимание, что добавление URL не гарантирует, что сайт будет проиндексирован или проиндексирован быстро.
Я недавно добавил сайт, а он до сих пор не проиндексирован!
Возможно, с момента добавления прошло слишком мало времени.
Добавление URL не гарантирует, что он будет проиндексирован вообще, это лишь один из способов сообщить роботу поисковой системы, что появился новый сайт. Добавление полезно, если на сайт еще нет ссылок или их число незначительно - так робот быстрее его обнаружит.
Проверьте, не было ли сбоев на сервере в момент, когда робот Яндекса к нему обращался. Если сервер выдает ошибку, робот уходит, и повторно дойдет до сайта в порядке общего обхода.
Сотрудники Яндекса не могут ускорить добавление страницы в поисковую базу.
Как узнать, проиндексирован мой сайт или нет, и какие страницы есть в индексе?
Введите в форме «Проверить сайт» адрес своего сайта, либо воспользуйтесь операторами языка запросов host или rhost. В некоторых случаях страницы могут временно не показываться, несмотря на то, что они проиндексированы.
Сколько времени надо ждать, чтобы сайт попал в Яндекс?
Мы не прогнозируем сроки индексации сайтов, и не даем гарантий, что тот или иной сайт будет проиндексирован. Как правило, от момента узнавания роботом о сайте до появления его страниц в результатах поиска проходит от нескольких дней до двух недель.
Яндекс совсем не индексирует мой сайт. Почему?
Если какой-либо сайт еще не проиндексирован, это не означает, что роботу он неизвестен, возможно, робот еще не дошел до него, либо индексация сайта запрещена.
Почему индексация моего сайта запрещена?
Индексация сайта может быть запрещена либо по техническим причинам, если он нарушает стандарты и его невозможно корректно проиндексировать, либо за применение сайтом поискового спама.
Почему Яндекс проиндексировал так мало страниц на моем сайте?
Скорее всего, прошло слишком мало времени с момента, когда робот узнал о сайте.
Возможно, все ссылки на вашем сайте сделаны с помощью скриптов, и робот их не понимает. Измените их, либо создайте карту сайта, где есть прямые ссылки на все страницы сайта.
Проверьте, не было ли сбоев на сервере в момент, когда робот Яндекса к нему обращался. Робот, получив от сервера информацию об ошибке, уходит, и повторно дойдет до сайта в порядке общего обхода.
Если с сервером и структурой сайта все в порядке, не беспокойтесь, остальные страницы постепенно будут проиндексированы. В рунете сотни миллионов страниц, и мы не можем отдавать сильное предпочтение одним сайтам в ущерб другим.
Сайт сильно поменялся, а в Яндексе все по-старому. Как быть?
Дождаться переиндексации. Если сайт долго не меняется, робот начинает заходить на него реже, но он все равно помнит про него.
Мой сайт переехал (изменился URL). Что делать?
Сообщите роботу про новый сайт через форму «Добавить URL». Если между страницами старого и нового сайта сохранилось однозначное соответствие, проверьте, чтобы сервер, где расположен старый сайт, выдавал при обращении по старому URL ошибку 301 («Moved Permanently»), а поле Location указывало на соответствующий URL нового сайта. Если старый сайт был закрыт, можете ускорить его удаление из индекса, воспользовавшись формой «Удалить URL».
Может ли робот не индексировать заданные (служебные) участки текста?
Робот Яндекса поддерживает тег noindex, который позволяет решить эту проблему. В начале служебного фрагмента поставьте < noindex >, а в конце - < /noindex >, и Яндекс не будет индексировать данный участок текста.
У меня сайт на иностранном домене - Яндекс его будет индексировать?
Если на нем распознан русский текст, он будет проиндексирован автоматически. Если русского текста там нет, но вы считаете, что ваш сайт интересен пользователям Яндекса, напишите письмо службе поддержки с указанием вашего сайта и просьбой проиндексировать его.
Я добавил в Яндекс сайт через сервис автоматической регистрации в поисковых системах. Почему он не проиндексирован?
Добавлять сайты в нашу поисковую машину можно только при помощи формы на странице «Добавить URL». Согласно Лицензии на использование поисковой системы Яндекса, страницы, добавленные через автоматическую систему, не будут включены в базу.
Что такое робот поисковой системы и что он делает?
Робот (англ. crawler) хранит список URL, которые он может проиндексировать, и регулярно выкачивает соответствующие им документы. Если при анализе документа робот обнаруживает новую ссылку, он добавляет ее в свой список. Таким образом, любой документ или сайт, на который есть ссылки, может быть найден роботом, а значит, и поиском Яндекса.
Что неправильного в моем файле robots.txt? Почему Яндекс не подчиняется тому, что там написано?
Мы не имеем возможности проверять вручную robots.txt каждого сайта. Прочтите внимательно описание стандарта исключений для файла robots.txt, либо воспользуйтесь скриптом, который на основе анализа robots.txt сообщает, какие именно документы вы запретили для робота Яндекса.
Помогает ли для переиндексации директива Revisit-After?
Робот Яндекса ее игнорирует.
Что будет делать робот со страницей, на которой стоит redirect? А если используется директива refresh?
Как требует стандарт протокола HTTP, Яндекс, получив в заголовке ответа информацию, что данный URL является редиректом (коды 3хх), добавит в список адресов для обхода URL, на который ведет редирект. Если редирект был постоянный (код 301), либо на странице встретилась директива refresh, то старый URL будет исключен из списка обхода.
А как в логах сервера называется ваш робот? Ваш робот «ходит» с одного IP-адреса?
У Яндекса есть несколько роботов, которые представляются по-разному.
* Yandex/1.01.001 (compatible; Win16; I) - основной индексирующий робот
* Yandex/1.01.001 (compatible; Win16; P) - индексатор картинок
* Yandex/1.01.001 (compatible; Win16; H) - робот, определяющий зеркала сайтов
* Yandex/1.02.000 (compatible; Win16; F) - робот, индексирующий пиктограммы сайтов (favicons)
* Yandex/1.03.003 (compatible; Win16; D) - робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
* Yandex/1.03.000 (compatible; Win16; M) - робот, обращающийся при открытии страницы по ссылке «Найденные слова»
* YaDirectBot/1.0 (compatible; Win16; I) - робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса
IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов мы не разглашаем.
Кроме роботов у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.
* Yandex/2.01.000 (compatible; Win16; Dyatel; C) - «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
* Yandex/2.01.000 (compatible; Win16; Dyatel; Z) - «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
* Yandex/2.01.000 (compatible; Win16; Dyatel; D) - «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
* Yandex/2.01.000 (compatible; Win16; Dyatel; N) - «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.
У меня сайт на Flash-технологии, он будет проиндексирован?
Да, Яндекс индексирует Flash-документы.
У меня на сайте много страниц в формате RTF (PDF, DOC, XLS и т.д.) Они будут проиндексированы?
Яндекс, кроме стандартного HTML, индексирует следующие форматы: PDF, DOC, RTF и Flash.
Насколько критично, что мой сервер не выдает last-modified? Я пытался настроить, но ничего не вышло.
Во-первых, в результатах поиска не будет показываться дата рядом со страницами вашего сайта, а при сортировке по дате сайт не будет виден большинству пользователей.
Во-вторых, робот не сможет получить информацию о том, обновилась ли страница сайта с момента последней индексации, а так как число страниц, получаемых роботом с сайта за один заход, ограничено, изменившиеся страницы будут переиндексироваться реже.
Мой сервер не выдает кодировку, это критично? Я пытался настроить, но ничего не вышло.
Робот Яндекса хорошо определяет кодировку документов, поэтому отсутствие кодировки в заголовках сервера не помешает индексации сайта.
Сайт сделан с использованием фреймов. Яндекс в результатах поиска выдает внутренние страницы сайта. Что нам делать, ведь вся навигация разрушена?
Страница может с помощью JavaScript проверить, открыт ли родительский фрейм с навигацией, а если нет, открыть его.
Ваш робот пытается скачать битые ссылки с моего сайта. Почему?
Робот берет ссылки с других страниц, значит, на какой-то странице указаны некорректные ссылки на ваш сайт. Возможно, вы изменили структуру сайта, а ссылки, стоявшие на других веб-страницах, стали некорректными.
Вы перегрузили мой сервер. Пожалуйста, прекратите!
Для управления поведением роботов используется файл /robots.txt. Напишите в нем запрет для робота Яндекса.
Вы пытались скачать секретную информацию с нашего сервера. Пожалуйста, прекратите, мне она самому нужна.
Робот берет ссылки с других страниц, значит, на какой-то странице указаны ссылки на секретные страницы вашего сайта. Вы можете как закрыть их паролем, так и указать запрет для робота Яндекса в файле /robots.txt, и в том, и в другом случае робот не будет скачивать секретную информацию.
Моя страница периодически пропадает из результатов поиска. В чем дело?
Поисковая система Яндекс имеет кластерную архитектуру. Если в момент высокой нагрузки не ответил какой-то поисковый сервер, где случайно находилась ваша страница, в результатах поиска она не будет показана.
Могу ли я помочь роботу быстрее индексировать мой сайт?
Чтобы ускорить появление остальных страниц сайта в индексе, нужно, во-первых, исключить из индексации ненужную информацию, во-вторых, сообщать роботу о новых страницах:
• запретить в robots.txt индексацию страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, сайты-зеркала, документы на нераспространенных в рунете языках;
• создать карту сайта, то есть страницу или несколько страниц, на которых есть ссылки на все документы сайта;
• выдавать корректные заголовки ответа сервера (например, если страница не существует, выдавать ошибку 404, а если поступил запрос «If-Modified-Since», то выдавать код 304, если страница с указанной в запросе даты не изменилась);
• каждой уникальной странице сайта, по возможности, должен соответствовать только один URL. Распространенная причина появления дубликатов - генерация сайтом URL с незначащим параметром, изменение которого не приводит (или не всегда приводит) к изменению страницы.
Меня не устраивает заголовок и описание моего сайта в результатах поиска. Как это поменять?
Описание составляется автоматически на основе цитат из текста найденного документа, а заголовок - на основе тега документа title. Поменяв тексты и заголовки документов на вашем сайте, вы поменяете и описание сайта в результатах поиска.
Хочу, чтобы рядом с моим сайтом в результатах поиска показывалась пиктограмма. Как это сделать?
В корневой папке вашего сайта должен располагаться файл favicon.ico - это небольшая картинка (иконка) в специальном формате, которая отображается рядом с адресом вашего сайта в адресной строке браузера и рядом с названием вашего сайта в "Избранном" или в "Закладках" вместо стандартной, общей для всех иконки. Подробнее читайте в специальном хелпе.
Как я могу указать географическую принадлежность моего сайта?
Если сайт описан в Яндекс Каталоге, географическая принадлежность сайта определяется вручную; иначе предпринимается попытка определить его географию автоматически. На первом этапе на основании IP-адреса, URL и языка текстов на сайте производится классификация по странам. На втором этапе сайты, отнесенные к России, классифицируются по городам.
Кроме IP и домена анализируются страницы сайта, где ищутся блоки текста, похожие на контактную информацию. Поэтому наиболее простой способ указать географию ресурса - разместить на сайте полный (с индексом, телефонным кодом и именем города) и корректный адрес владельца.
Географическая принадлежность сайта важна при поиске с ограничением по региону, когда сайты из других регионов не показываются.
Основные принципы:
1. Создавайте сайты с оригинальным контентом или сервисом. Реклама не является той ценностью, ради которой пользователи приходят на сайт.
2. Думайте о пользователях, а не поисковых системах. Стали бы вы создавать сайт, страницу или ее элемент, если бы не существовало поисковиков? Приходят ли пользователи на ваш сайт или интернет-магазин не только из поисковых систем?
3. Ставьте ссылки, интересные пользователям вашего ресурса, помогающие найти связанную информацию или проанализировать предложение. Не ссылайтесь только потому, что вас попросили сослаться.
4. Дизайн должен помогать пользователям увидеть главную информацию, ради которой сайт создан.
5. Будьте честны. Привлечь пользователей по запросам, на которые ваш сайт не может достойно ответить, не значит удержать их. Обманутые пользователи уйдут и, возможно, вместе с ними уйдет с сайта робот поисковой системы.
Примеры к принципам:
Если в этом разделе не описан какой-то прием, помогающий повлиять на ранжирование сайта в Яндексе, это не значит, что мы его приветствуем. Следуйте здравому смыслу и духу описанных выше принципов.
Мы стараемся не индексировать или не ранжировать высоко:
• автоматически сгенерированный (бессмысленный) текст;
• сайты, копирующие информацию с других ресурсов и не создающие оригинального контента или сервиса;
• сайты, представляющие товары или информацию по партнерским программам, но не создающие для пользователя никакой добавленной ценности;
• страницы с невидимым или слабовидимым текстом или ссылками;
• сайты, отдающие разный контент пользователю и роботам поисковых систем («клоакинг»);
• страницы и сайты, единственной целью которых является перенаправление пользователя на другой ресурс, автоматически («редирект») или добровольно (реклама без контента);
• сайты, на которых из-за обилия навигационных меню, новостей, вспомогательной информации, рекламы трудно найти их основное содержание;
• страницы и сайты, ставящие ссылки исключительно для обмана поисковых систем и накачивания релевантности;
• сайты или группы сайтов, интенсивно ссылающиеся друг на друга («линкфармы»);
• ссылки, не являющиеся рекомендацией автора посетить ресурс.
Как найти ваш сайт в ( поисковиках ) поисковых системах и серверах
