Архив рубрики ‘ yandex ’

Товарищи оптимизаторы. Если вы до сих пор думаете над тем как узнать трастовость к сайту, или выбрать сайт, где разместить ссылки - то хватит думать. Все биржы предоставляют вам такие сведения.

Например - вы пытаетесь наиболее трастовые страницы на сайте, и используете сложные алгоритмы чтобы их вычислить.. К чему это? Есть известный ВСЕМ параметр pr - который как раз его показывает. Если у сайта есть возраст и есть pr, то эта страница уже лучше других. Значит она либо отлично перелинкована, либо имеет внешняки, либо малый процент отказов от поисковика (в данном случае google). К чему изобретать сложные формулы, когда у вас есть цифры?
Думаете яндекс не полюбит подобную страницу?
Обратим взор на другую часть оптимизаторов - они используют странные характеристики типа колличество входящих ссылок от yahoo, чтобы оценить сайт. Итого яндекс например показал тиц 80, а колличество входящих по yahoo 10 - то кому вы больше верите?:) Вы под кого раскручиваете сайт?

Просто наплыли такие мысли. Но алгоритма вычисления траста не существует.

P.S. Пост в первую очередь относится к trust xt. Неведомой величине, которой якобы стоит верить.

Google Bookmarks Digg del.icio.us Technorati Yahoo My Web News2.ru БобрДобр.ru Memori.ru МоёМесто.ru Mister Wong

Наконец сегодня додумал до логического конца алгоритм определения тематики и начал реализацию.  Сюда запишу его, чтобы не забыть детали. Алгоритм построен на теории нейронных сетей, и нужен мне в корыстных целях направленных на яндекс. Ценность алгоритма в том - что это будет первый алгоритм определения тематики сайта, который сможет реализовать почти любой программист. Надеюсь кому-нибудь пригодится.

Этап 1: Определение ключевых слов сайта

1) Получаем страницу
2) Убираем теги, и все кроме букв и пробелов. Знаки препинания заменяем на пробелы. (Цифры удалить!!!)
3) Разбиваем весь текст на слова, то есть делаем одномерный массив слов.
4) удаляем слова меньшие 2 букв
4) Каждое слово прогоняем через стеммер.  Я использую алгоритм Портера. Для тех кто не в курсе стеммер - это программа которая отбразывает от слова суффиксы и приставки, оставляя корень. Алгоритм Портера слаб, но пока сойдет. Как найду морфологический словарь - сменю на него.
5) При прогоне через стеммер создаем новый ассоциативный массив, где ключом будет само слово, а значением колличество повторений слова. Например (”Yandex” =>3, “Тиц” =>5) и т.д.
6) Упорядочиваем ассоциативный массив по убыванию колличества повторений.
7) Удаляем все слова повторяющиеся менее трех раз (колличество под вопросом).
8) В итоге мы получили ключевики сайта с их “тошнотой”. Обычно их на этом этапе 50-100 штук.
9) Проверяем каждый ключевик по базе общих слов не несущих тематику. Например слова: “меня”, “когда”, “сколько” и т.д. Я храню эти слова в отдельной таблице бд и написал отдельный скрипт, который позволяет их сформировать. Обойдя сотню сайтов мы набираем базу самых популярных не имеющих тематику слов.
Этап 2: Создаем тематическую базу

1) Для начала в бд нужно создать три таблицы: “слова”, “тематики” и “веса”.
Поля таблиц:
“Слова”: word_id, word
“Тематики”: theme_id, parent_id, theme
“Веса”: word_id, theme_id, ves
2) Заполняем таблицу тематик. Я для этих целей пользуюсь базой Ашманова (где-то 5000 тематик). Не использую ЯК, потому что сайты в него заносятся вручную, то бишь робот тут не причем. В нашем случае необходимо знать тематику, которую видит робот на обычных сайтов. Я не говорю что тематика по Ашманову совпадет с тем что определил робот яндекса, но нам это и не нужно. Представьте что по Ашманову у нас вышло “кпк” для донора и акцептора, а по яндексу “сотовые телефоны”.Не все ли равно?
3) Самый трудный момент. Выбираем нужную тему, например “интернет-ресуры”. Из найденных в первом этапе ключевиков страницы выбираем относящиеся к этой теме, и проставляем им коэффициенты, насколько сильно они относятся к данной теме (балл от 0 до 1). Позже будем корректировать это значение, сейчас это не суть важно. Это значение и будет синаптической силой. В сумме они дадут активацию нейрона к данной тематике.  В реальности это дает потрясающие возможности даже для многозначных слов. Например слово “лук” можно отнести и к кухне и к “охоте”. Это не повлияет на верность определения.
Этот момент трудный, потому что придется обойти множество сайтов, чтобы собрать хотя бы по 10 слов для каждой тематики. На деле десяти слов вполне достаточно. Итого необходимо 50000 слов, чтобы определить тему сайта по Ашманову. Кто-то скажет это много, но в день при нормальной оболочке можно легко собрать тысячу слов. Итого 50 дней пассивного труда.
4) Мы создали семантическое ядро для каждой тематики, и указали с каким весом относится к каждой теме определенное слово.

Этап 3: Узнаем тему неизвестных сайтов и корректируем результаты

1) Поскольку мы первоначально как-то обучили программу. Теперь покажу как ей пользоваться.
Для неизвестного сайта выполняем этап 1 и узнаем ключевые слова с “тошнотой”.  В результате полученные примерно 30 ключевиков проверяем по базе к каким темам они относятся и какие коэффициенты имеют.

Примитивный пример:
Текст “Лук и стрелы это лук”.
Лук тошнота 2. Тема “охота” вес 0.7.  Тема “кухня” вес 0.6.
Стрелы тошнота 1.  Тема “охота” вес 0.8.
Находим активацию нейрона:
К теме охота: 0.7*2+1*0.8=2.2
К теме кухня: 0.6*1=0.6

Поздравляю - тема текста определена.  Здесь также можно определить в % насколько текст относится к другим темам.
2) Возможно в прошлом этапе неверно проставлены коэффициенты и их нужно корректировать. Для этого необходим отдельный интерфейс, где выбрав тематику видишь все ключевые слова по ней с их коэффициентами. Изменяя коэффициенты мы усиливаем значение того или иного слова в определенной теме. При анализе множества сайтов мы приходим к стабильному результату.

Результат.

Данный алгоритм не нуждается в обсуждении его необходимости. Это каждый решает сам для себя. Мне плевать с колокольни если он вам не нужен:)

Для тех кто хоть что-то понял о том что я сказал - интересно услышать ваши мысли о его эффективности. У меня он уже почти реализован технически, и скоро начну пробовать. Если будет интерес к нему- прикручу как дополнительную услугу к линкфидатору или сделаю веб-сервис для проверки списка ссылок.

Google Bookmarks Digg del.icio.us Technorati Yahoo My Web News2.ru БобрДобр.ru Memori.ru МоёМесто.ru Mister Wong

Не могу об этом не написать.
Предыстория такова: я создал персонажа, которого обучил отвечать как любимый многими Платоша (Он представляет собой службу поддержки яндекса). Поговорить о своих проблемах с сайтами в реальном времени вы можете здесь: Платон Щукин.

Показав его народу на форумах серча и linkfeed-а, я получил кучу пожеланий ему и ответов.
Часть вы можете почитать на серче в разделе яндекса. Я ржу целый день:) Искуственный интеллект выдает поразительные вещи.
Сейчас опубликую самую смешную переписку на мой взгляд) Не знаю кто автор, но я реально валялся под сталом.

Read the rest of this entry

Google Bookmarks Digg del.icio.us Technorati Yahoo My Web News2.ru БобрДобр.ru Memori.ru МоёМесто.ru Mister Wong
Честно сказать, я был очень удивлен, когда увидел сколько человек решило поддержать мою военную компанию против яндекса, (начало: “Яндекс объявил войну мне, а я ему“). у моего блога откуда-то появились 90 с лишним читателей, и теперь я вхожу в 5000 популярных блогов по версии яндекса. Спасибо за помощь и внимание.
А теперь по делу, вот история результатов продвижения (по Московской выдаче):
1) яндекс: 71->55->32->30->28->24->9 (передо мной теперь сайт Лебедева..)
2) Яндекс: 80->37->36->25->12->12->12 (никак не получается двинутся дальше)
3) yandex: 60->39->37->17->17->8->8 (передо мной Википедия..)
В апдейт выдачи 17-го числа не было абсолютно никаких подвижек. Продвижение шло с помощью покупных ссылок на Linkfeed, блогуна и обмена постовыми. При этом почти в 2 раза выросла посещаемость блога, и получено столько ощущений, особенно в апдейты:)
Буду стараться двигаться дальше. Может кто-нибудь даст советы, исходя из своего опыта?
А теперь немного о моем проекте Linkfeedator, местном анти-яндексе. Кстати он тоже продвигается по тем же схемам, только по слову Linkfeed, и уже в двацатке, как в google, так и в yandex.
Многим не нравился прошлый дизайн, и я сменил его на более на более презентабельный.
Было:
Стало:
Ну как вам такое изменение?:)
А теперь новость для тех кто думает отложить покупку “на потом”: Linkfeedator будет интегрирован с sape(!), но и это еще не все - также он будет работать с биржами setlinks и xap.
Цена на продукт вырастет, примерно, в 3-4 раза.

И на закуску - я заметил, что у меня довольно много времени уходит на модерацию ссылок, которые покупают на моих площадках. В следующем посте ждите утилитку anti-seopult, которую можно будет повесить в крон сервера, и она автоматически будет проверять заявки, отсеивать с нехорошими анкорами и одобрять нормальные. Помимо этого я решил добавить в нее функцию проверки сайтов, на которые мы ссылаемся. А то бывает анкор “недвижимость”, а на обратной стороне находится xxx.

Ну яндекс держись;)
Google Bookmarks Digg del.icio.us Technorati Yahoo My Web News2.ru БобрДобр.ru Memori.ru МоёМесто.ru Mister Wong
Как и обещал Садовский, к нам пришло полное веселье. Не долго мне удалось поиграть в войнушки, как яндекс поставил шах и мат в этой игровой партии. И обозвал он свой мат “анадырем“.
Правда “анадырь” получился не таким каким его обещали нам, а с брибамбасами. В частности в него внедрели элементы разрабатываемого “Арзамаса“. Если мне не изменяет память, именно в арзамасе хотели внедрить полный геотаргетинг поиска.. Что-то они поторопились. Не буду сейчас рассказывать про особенности анадыря, так как сам пока их не знаю.

Итак, почему я решил что моя партия проигранна? Да потому что я не могу теперь биться вслепую. Хитрый Яндекс лишил нас классических средств анализа продвижения, и отслеживания позиций. С какого-то перепугу блог Аллы Пугачевой стал выше по позициям чем мой блог.. при этом мой блог теперь хорошо доступен в выдаче для Африки.. Полный ппц.  Мне теперь что, сто раз написать надо, что я из России, чтобы тупой робот это понял?? И я не могу привязать себя к определенному региону, так как это не имеет смысла..
Поскольку в сео-мире начался бедлам, я вижу три пути дальнейшего развития:
1) Пытаться осваивать новые алгоритмы яндекса, поскольку все мы теперь тут новички, и ни у кого нет приоритетов! Любой мега-сеошник сейчас такой же ноль в прокачке выдачи, как и любой школьник заказавший прокачку в сеопульте.  Вариант прокачки выдачи сейчас крайне не стабилен, и не уверен в его стабильности в дальнейшем, так как начнется дальнейшее подкручивание роликов-за-шариков:)

2) Классическая непостижимая тема - изучение формулы ТИЦ. Опять же тут никогда не было стабильности, и врятли она будет. Но эта тема имеет место быть. К тому же в ней не так важна стабильность. Тиц падает, а цены растут, так что рынок очень конкурентноспособный и интересный. Но… исследовать тиц - это все равно, что завязать себе глаза и биться об забор месяц, и все время думать “сколько сантиметров будет у меня шишка”. А потом открыть глаза и удивится почему шишки уже нет. Вот блин - оказывается уже прошла, пока бился:)

3) Это направление основано на первой мысли любого школьника загнавшего сайт в сапу - чем больше сайтов я нафигачу, тем богаче я буду. Отчасти в этих мыслях есть логика.
Но обычный человек не может создавать тучу сайтов, так как это очень муторно и доход копеечный. Но! Этот доход стабильный, если мы избегаем бана и вылета из выдачи.

Я не могу отказаться ни от одного пути, так как в каждом есть свой смысл. Но поразмыслив первые два пути я буду развивать в своем проекте Linkfeedator (кстати на днях будет второй релиз).

А третий путь меня сейчас интересует больше всего. Поскольку, если подойти к этой теме с умом, то из нее можно многое выжать. В частности, я буду развивать пока приватный проект “Parazit“, который основывается на самоорганизующихся структурах.
На практике система Parazit должна сама порождать новые сайты, без всякого участия вебмастера.
Возьму простой пример: Минус и минус = плюс. Таким образом если система автоматически соберет контент с десятка тематических сайтов, обработает его должным образом и выберет себе дизайн, то получится новый сайт. При этом робот сам должен заниматся обновлением и вычислять некоторые сеопараметры получившихся сайтов (как минимум плотность ключевых слов, и сверять уникальность с оригиналом). Вот это мне кажется очень интересная задачка.
А вы чем думаете заниматься далее? Строгать буратинок, или работать на партнерки?:)

Read the rest of this entry

Google Bookmarks Digg del.icio.us Technorati Yahoo My Web News2.ru БобрДобр.ru Memori.ru МоёМесто.ru Mister Wong

Итак, продолжаю прошлый пост “завязку боя“. Сначала посмотрим на врага исторически.
Термин - “Яндекс” представляет оригинальный гибрид, ни в русском ни в английском языке ничего не обозначающий.
Елена Колмановская, главный редактор Яндекса, поясняет, что придумал это слово  отец-основоположник нашего поиска, ныне технический директор компании “Yandex”, Илья Сегалович. “Яndex” означает “Языковой index”.
Другое толкование предлагает Аркадий Волож, генеральный директор компании:
“Это название “Яндекс” - придумал Илья Сегалович (главный разработчик “Яндекса”) по аналогии с продуктами Unix (например, YACC - Yet Another C Compiler). А мне понравилась русская транскрипция. “Яндекс” означает “языковый индекс”: буква “я” - очень русская буква. Это индексирование с русской спецификой. А потом придумалось много других объяснений, например: I - это “я” по-русски. Есть еще вариант: ЯНЬдекс и ИНЬдекс - инь-янь. Исследования на эту тему продолжаются.”

Итак, вступление не о чем. А теперь к делу.
Поскольку наше единственное оружие в борьбе с ним - мозги, причем верхние, их то и пришлось подключить.
Передо мной появилась задача - “какие ссылки покупать, чтобы был максимальный эффект в выдаче?”. Раньше я ставил перед собой задачу - определить человечность сайта на автомате. Но человечность, как оказалась стала скоростью индексации, и с выдачей она никак не связана. Продолжая анализировать xml yandex, пришел к следующему незамысловатому скрипту. Причем в двух вариациях, которые и предлагаю вам потестить.

1) Задумка первого скрипта проста - подняться в выдаче yandex, за счет покупки релевантных ссылок. Я решил взять выдачу в разрезе конкретного запроса. Например: мы хотим продвинуться по слову “ссылка”. Для этого скрипт выдирает из Яндекса n-сотен сайтов, которые находятся там по запросу “ссылка”. Далее копируем этот список в вашу любимую биржу в белый список сайтов, и скупаем с этих сайтов ссылки (если сайты вообще найдутся в бирже). Теоретически, в результате эти сайты должны быть более релевантны в нужном нам запросе, что позволит подняться в выдаче. Протестировать скрипт можете здесь: скрипт прокачки выдачи.

2) Аналогично получился скрипт, который в теории должен установить тематику в разрезе конкретного запроса в Yandex,  с целью поднятия ТИЦ (тематического индекса цитирования). Скрипт основан на параметре - число страниц на сайте релевантных запросу. Ситуация почти аналогична: ваш сайт есть в индексе по запросу “ссылка”. Вводите этот запрос в мой скрипт, он выдает вам список сайтов по этому запросу, но справа от каждого сайта указывает число: сколько страниц на сайте тематичны этому запросу. Чем больше страниц, тем больше вероятность что сайт тематичен вам в целом. Далее таже схема - вносите сайты в white list на бирже и скупаете по ним все что есть. Протестировать скрипт можете здесь: скрипт прокачки ТИЦ

Буду рад услышать ваши теоретические предположения по эффективности обоих скриптов. Мне же не охото покупать ссылки по стандартным схемам - “много дешево и сердито” или “мало дорого и наугад”. Охото иметь хоть какую-то связь покупки и оценку результативности.

Оба экспериментальных скрипта будут в дальнейшем внедрены в проект linkfeedator, и для тестов будут работать всего два-три дня. Они также имеют ограничения по 1000 запросов в сутки.

Read the rest of this entry

Google Bookmarks Digg del.icio.us Technorati Yahoo My Web News2.ru БобрДобр.ru Memori.ru МоёМесто.ru Mister Wong

После событий бана в прошлом посте, решил в открытую повоевать с яндексом.
Где-то месяц назад я начал в шутку бомбить запрос “яндекс“. Вот результат на сегодняшний день:

Seokot vs Yandex
Как видите по рисунку это 24 место. А шел к нему я с двухсотой позиции и мониторил потихоньку. Если наш любимый поисковик не поставил никаких фильтров по этому высокочастотному запросу (судя по директу 1218998 показов в месяц), то думаю задача выйти в десятку вполне реальная.
Сейчас увеличу свой боевой арсенал, и разработаю план.
Последующий план бомбежки:
  • Сильнее увеличивать ссылочное путем закупки ссылок
  • Писать больше постов на данную тематику
  • Вообще начать писать посты почаще
  • Бомбить ссылочным не только главную, но и тематические внутряки
  • Подключить блогун с его г-повстовыми
Также просьба - всем кому не лень, напишите постовой на меня с анкором “Яндекс” и любым текстом. Конечно не за просто так, и я в ответ поставлю ссылку на вас;)
Хоть это и звучит все очень смешно, но не только же яшке над нами угарать со своими шарико-заролико работающими алгоримами.
Посмотрим что получится из этого бреда.

Усиленно читают у меня в блоге:

Google Bookmarks Digg del.icio.us Technorati Yahoo My Web News2.ru БобрДобр.ru Memori.ru МоёМесто.ru Mister Wong

Эх, жил себе не тужил. Рубил капусту на сапе, но пришел злой яндекс и разнес мои сайты вдребезги.
Вот сволочь думаю=)
Поскольку это мой первый бан сайтов, то я был в шоке.
А теперь предыстория:
4 mfs сайта были сделаны на одном ip (на нем больше не было других сайтов). Все сайты имели один шаблон, только менял картинку в шапке и цветовую гамму в стилях, чтобы на человеческий взгляд они все-таки были разными. Каждый сайт имел по сто уникальных статей, но контент уже не обновлялся месяца 4. Пузомерки сайтов прокачивались покупными ссылками. Внутренней перелинковки не было.
Что наделал яндекс:
Вчера заметил, что на одном из сайтов осталось 0 страниц в индексе. Ну думаю пофиг - не так уж и нужен мне был этот сайт.  А сегодня похоже яндекс решил забанить весь ip. Причины бана мне пока непонятны. Ссылок не особо много было продано. Одно радует - все сайты успели себя окупить в раз 5.
Вот щас думаю стоит ли пытатся вывести их из бана или оставить как есть?
Read the rest of this entry

Google Bookmarks Digg del.icio.us Technorati Yahoo My Web News2.ru БобрДобр.ru Memori.ru МоёМесто.ru Mister Wong

В теме указан вопрос, который волнует множество сеошников, пытающихся среди тысячи купленных или полученных ссылок, найти нормальные. В основном тематика нужна для прокачки Тиц, но мало кто понимает что же такое тематичность ресурса для Яндекса.
Стандартное мышление начинающего сеошника - “если сайт о недвижимости ссылается на сайте о недвижимости, то это тематика”. Это мышление очень глупо. А еще есть такой стандарт - купить тысячу гамноссылок и получить тиц 10-20. Это же бред полный… Хоть кто-нибудь осознает, что больше чем 90% из купленных тысячи ссылок передадут вес равный примерно 0.001 тиц, если не меньше. А есть такие ссылки, которые передадут коронную еденицу (Я до сих пор верю, что максимальная передача веса - это еденица). Так как же их найти?
Вспомним откуда появилась тематика. Изначально она создавалась для яндекс-каталога (да и тиц тоже). Но поскольку она работает и для обычных сайтов, то нужно использовать теже алгоритмы, которые используются в Яке.
Итак, привожу простой пример неосознанной тематичности - сайт “зоопарк из москвы” ссылается на сайт “недвижимости в москве”. Это ведь тоже тематика! Только региональная. А для получения региональной тематики достаточно создать у себя страницу контактов, прописать свой телефон с кодом города, и еще желательно поставить яндекс карту.  Потом просто производите региональный поиск ссылок и ищите аналогичные вам. Эти ссылки будут передавать больший вес, чем другие.
Вообщем тематичность довольно обширный параметр для яндекса. Он делится на 6 фасетов - Тема, Регион, Жанр, Источник информации, Адресат информации, Сектор экономики. Read the rest of this entry

Google Bookmarks Digg del.icio.us Technorati Yahoo My Web News2.ru БобрДобр.ru Memori.ru МоёМесто.ru Mister Wong

Исследуя выдачу яндекса (yandex xml), я нашел одну очень значимую деталь - яндекс знает о всех СДЛ сайтах!
На основе этих знаний я написал скрипт, который говорит к какой категории относится тот или иной сайт, и какая к нему трастовость. С очень высокой точностью этот скрипт определил все мои СДЛ сайты, и гавносайты! Я просто в шоке от таких результатов. Если есть время, перейдите по ссылке ниже и потестите мой скрипт. Возможно он ошибется:) Но если так решил яндекс, то врятли это простая ошибка.

Проверить сайт на СДЛность

В любом случае буду рад почитать ваши комментарии о его точности.
В целом я пошел дальше и приделал этот скрипт к моему linkfeed-клиенту, и на основе него купил кучку ссылок с СДЛ сайтов с запредельной трастовостью. Не знаю есть ли разница в передачи тиц от них, по сравнению с ГС, но попробовать стоит. Так что это мой новый эксперимент.

P.S. Скрипт за сутки может проанализировать до 1000 сайтов. Если он начал глючить, значит колличество запросов к яндексу в этот день у меня закончилось.

Google Bookmarks Digg del.icio.us Technorati Yahoo My Web News2.ru БобрДобр.ru Memori.ru МоёМесто.ru Mister Wong
Яндекс.Метрика