Предлагаю вашему вниманию алгоритм покупки ссылок.
Цель задачи - купить более качественные ссылки.
Само по себе слово “качество” довольно расплывчато, поэтому нормализуем условие задачи.
Нормализованная цель задачи - из X доноров выбрать N набравших больше баллов. Причем N задается косвенно оптимизатором, как колличество денег желаемых потратить на запрос.
Еще более упрощенно задача выглядит так - система должна из двух доноров выбрать тот, что лучше.

Покупка проходит в три этапа.

Этап 1: Сеошник создает фильтр в бирже удовлетворяющий его предпочтениям и задает бюджет.
Грубо говоря, например сеошник указал купить ссылки от 2 до 5 рублей, с бюджетом 30р на данный запрос.

Этап 2: Программа получает ссылки предложенные биржой через api и фильтрует полный хлам.
Я использую следующие фильтры:
1) Проверка на GBL из прошлого опыта проверок
2) Страница проходит проверку YAP и GOP
3) Отсеиваем сайты где страниц по yandex<80
4) Отсеиваем по stop-словам url и текст донора. (всякие варезники, попандеры, pron-тематику, дипломы и т.д.)
5) Делаем перепроверку на BL (колличество исходящих ссылок) и удаляем >3
6) удаляем страницы с количеством внутренних ссылок >150 и <5
7) удаляем страницы с количеством чистого текста <500 символов (текст без html внутри body)
8. удаляем сайты с заспамленностью >100% (отношение количества исходящих ссылок с домена к количеству страниц в индексе яндекса)

Этап 3: Из того что осталось вычисляем по формуле сколько баллов наберет каждый донор и скупаем набравшие больше всего балов учитывая ограничение по максимальному расходу средств.

Формула:
Балл=PR(главной сайта)*10+PR(страницы донора)*20-BL(исходящих ссылок)*3+Content(колличество символов чистого текста)/100+балл тематичности/10+ТИЦ/5+Возраст(количество дней в бирже)/30+1000/ALEXARANK

Да, данная формула не идеальна, но она учитывает все довольно важные факторы. Строил её на своем опыте по продвижению.
Публикую данную статью, чтобы получить полезные советы (всё-таки коллективный опыт и разум лучше субьективного:) )
Буду рад любым замечаниям и предложениям.
Read the rest of this entry

Решился взяться за более серьезные запросы, чем описанные в прошлом посте.
На этот раз решил продвинуться по СЧ запросу хостинг для joomla. Довольно сложный запрос - учитывая конкуренцию среди хостинг компаний, для которых это очень лакомый кусочек:) А для меня - это дополнительный заработок на партнерках. Судя по вордстату - в месяц даёт 4413 посетителей.
За две недели из top 50 удалось попасть по яндексу на 7-ую позицию и в гугле на 9-ую.
На данный момент доход по партнерке с этого запроса 1200р, 3евро и 6$ в месяц. Мелочь, а приятно:)

Позавчера сидел ночью, тупил и не знал чем заняться. В итоге в голову пришла гениальная идея - как получить ссылки с биржы ссылок, без денежных затрат. Не буду называть биржу (думаю сами о догадаетесь), но идея очень проста: в ней можно покупать ссылки и платить только за нахождение в индексе яндекса или гугла данной ссылке. Таким образом - покупаем, например, ссылку с сайта, который находится под агс, и ставим условие - что платим только за нахождение в индексе яндекса. А так как в индекс яндекса она никогда не попадет, то мы получили бесплтную ссылку на продвижение в гугле. Аналогично можно искать сайты под фильтром гугла и получить бесплатные ссылки по яшке.
Единственный минус данного метода - покупая ссылку, у вас блокируются средства на месяц, после чего они вам возвращаются. То бишь деньги вводить всё равно придется.

Read the rest of this entry

Наконец дела пошли в гору. Точнее сдвинулись с мертвой точки.
Начну с мелочи - я наконец получил персональный аттестат webmoney. Значит скоро сделаю себе аттестат продавца. Но наша почта меня шокировала - это просто ппц. Отправил письмо со сканом паспорта и заявлением соискателя, так оно дошло через 3 недели!!! Жесть. Особенно если учесть что я отправил 1-ым классом. Замучил бедных аттестаторов за эти три недели) Впечатление, как будто я не с урала отправил письмо, а с какого-нибудь Магадана.

Во-вторых, я организовал небольшую фирму. Чтобы поднять знания молодых веб-программистов до нужного уровня решили сделать небольшой стартап ExTheme. На нём прекрасно можно будет научить программистов всяким полезные штучки типа работу с паттернами, фреймворками, как пользоваться ajax и т.д.

А теперь о том что же такое ExTheme и с чем его едят.

Меня давно интересовала задача определения тематики сайтов. Изучив еще много интересных материалов и докладов в основном сотрудников яндекса на эту тему - решили сделать небольшой веб-сервис.
Принцип работы сервиса следующий - пользователь загружает список сайтов которые хочет проверить на тематику (например 10000 штук) в удобном ему формате (txt, csv) на сайт, после чего задача автоматически добавляется в очередь и обрабатывается. Через некоторое время ему возвращается результат с возможностью различных сортировок и построений графиков.

Особенности ExTheme
За основу каталогизации взят Яндекс Каталог. При этом он подробно изучен.
Задача поставлена таким образом - что робот должен с высокой точностью распознавать имеющиеся сайты в ЯКе. То есть все тесты и первоначальное обучение проходит с помощью ЯКа. На основе этого обучения exTheme сможет распознать тематику абсолютно любого сайта.
Оказалось очень удобно ставить тесты качества.
Например: тематика “развлечения->игры” содержит 1600 сайтов. Мы прогоняем их через робота и видим что робот смог верно распознать 70%. Значит асессорам надо еще поработать над этой тематикой.
Из плюсов (для нас) - проект не будет нуждаться в службе поддержке. Алгоритм распознавания универсален, и не нуждается в доработке. За проектом будут следить лишь два асессора.

Зачем это нужно?
Приведу несколько примеров:
1) Бывает так, что вы купили ссылку на сайте с тематикой “авто”, но со страницы с тематикой “недвижимость”. Возможно даже с какой-нить рекламной страницы. Сервис поможет определить такие нестыковки.
2) Просто хотите посмотреть круговой график кто же ссылается на ваш сайт:)
3) Основной аудиторией думаю будут seo-фирмы и разработчики разного ПО. Для них будет api-интерфейс (xmlrpc, soap).
В общем применение думаю можно найти.

Чё почём?
О монетизации пока речи нет. Проект будет бесплатным.

p.s. Если у кого-то есть мысли по применению и функционалу, высказывайте. Возможно сделаем.

Усиленно читают у меня в блоге:

• подниму тиц
• яндекс сайт
• как создать сигаретный бизнес
• google (основной индекс)
• база для определение тематики сайта
• база для определение тематики сайта

Наконец сегодня додумал до логического конца алгоритм определения тематики и начал реализацию.  Сюда запишу его, чтобы не забыть детали. Алгоритм построен на теории нейронных сетей, и нужен мне в корыстных целях направленных на яндекс. Ценность алгоритма в том - что это будет первый алгоритм определения тематики сайта, который сможет реализовать почти любой программист. Надеюсь кому-нибудь пригодится.

Этап 1: Определение ключевых слов сайта

1) Получаем страницу
2) Убираем теги, и все кроме букв и пробелов. Знаки препинания заменяем на пробелы. (Цифры удалить!!!)
3) Разбиваем весь текст на слова, то есть делаем одномерный массив слов.
4) удаляем слова меньшие 2 букв
4) Каждое слово прогоняем через стеммер.  Я использую алгоритм Портера. Для тех кто не в курсе стеммер - это программа которая отбразывает от слова суффиксы и приставки, оставляя корень. Алгоритм Портера слаб, но пока сойдет. Как найду морфологический словарь - сменю на него.
5) При прогоне через стеммер создаем новый ассоциативный массив, где ключом будет само слово, а значением колличество повторений слова. Например (”Yandex” =>3, “Тиц” =>5) и т.д.
6) Упорядочиваем ассоциативный массив по убыванию колличества повторений.
7) Удаляем все слова повторяющиеся менее трех раз (колличество под вопросом).
В итоге мы получили ключевики сайта с их “тошнотой”. Обычно их на этом этапе 50-100 штук.
9) Проверяем каждый ключевик по базе общих слов не несущих тематику. Например слова: “меня”, “когда”, “сколько” и т.д. Я храню эти слова в отдельной таблице бд и написал отдельный скрипт, который позволяет их сформировать. Обойдя сотню сайтов мы набираем базу самых популярных не имеющих тематику слов.
Этап 2: Создаем тематическую базу

1) Для начала в бд нужно создать три таблицы: “слова”, “тематики” и “веса”.
Поля таблиц:
“Слова”: word_id, word
“Тематики”: theme_id, parent_id, theme
“Веса”: word_id, theme_id, ves
2) Заполняем таблицу тематик. Я для этих целей пользуюсь базой Ашманова (где-то 5000 тематик). Не использую ЯК, потому что сайты в него заносятся вручную, то бишь робот тут не причем. В нашем случае необходимо знать тематику, которую видит робот на обычных сайтов. Я не говорю что тематика по Ашманову совпадет с тем что определил робот яндекса, но нам это и не нужно. Представьте что по Ашманову у нас вышло “кпк” для донора и акцептора, а по яндексу “сотовые телефоны”.Не все ли равно?
3) Самый трудный момент. Выбираем нужную тему, например “интернет-ресуры”. Из найденных в первом этапе ключевиков страницы выбираем относящиеся к этой теме, и проставляем им коэффициенты, насколько сильно они относятся к данной теме (балл от 0 до 1). Позже будем корректировать это значение, сейчас это не суть важно. Это значение и будет синаптической силой. В сумме они дадут активацию нейрона к данной тематике.  В реальности это дает потрясающие возможности даже для многозначных слов. Например слово “лук” можно отнести и к кухне и к “охоте”. Это не повлияет на верность определения.
Этот момент трудный, потому что придется обойти множество сайтов, чтобы собрать хотя бы по 10 слов для каждой тематики. На деле десяти слов вполне достаточно. Итого необходимо 50000 слов, чтобы определить тему сайта по Ашманову. Кто-то скажет это много, но в день при нормальной оболочке можно легко собрать тысячу слов. Итого 50 дней пассивного труда.
4) Мы создали семантическое ядро для каждой тематики, и указали с каким весом относится к каждой теме определенное слово.

Этап 3: Узнаем тему неизвестных сайтов и корректируем результаты

1) Поскольку мы первоначально как-то обучили программу. Теперь покажу как ей пользоваться.
Для неизвестного сайта выполняем этап 1 и узнаем ключевые слова с “тошнотой”.  В результате полученные примерно 30 ключевиков проверяем по базе к каким темам они относятся и какие коэффициенты имеют.

Примитивный пример:
Текст “Лук и стрелы это лук”.
Лук тошнота 2. Тема “охота” вес 0.7.  Тема “кухня” вес 0.6.
Стрелы тошнота 1.  Тема “охота” вес 0.8.
Находим активацию нейрона:
К теме охота: 0.7*2+1*0.8=2.2
К теме кухня: 0.6*1=0.6

Поздравляю - тема текста определена.  Здесь также можно определить в % насколько текст относится к другим темам.
2) Возможно в прошлом этапе неверно проставлены коэффициенты и их нужно корректировать. Для этого необходим отдельный интерфейс, где выбрав тематику видишь все ключевые слова по ней с их коэффициентами. Изменяя коэффициенты мы усиливаем значение того или иного слова в определенной теме. При анализе множества сайтов мы приходим к стабильному результату.

Результат.

Данный алгоритм не нуждается в обсуждении его необходимости. Это каждый решает сам для себя. Мне плевать с колокольни если он вам не нужен:)

Для тех кто хоть что-то понял о том что я сказал - интересно услышать ваши мысли о его эффективности. У меня он уже почти реализован технически, и скоро начну пробовать. Если будет интерес к нему- прикручу как дополнительную услугу к линкфидатору или сделаю веб-сервис для проверки списка ссылок.

Усиленно читают у меня в блоге:

• мобильная версия сайта joomla
• как продвинуться в поисковиках
• мобильный сайт joomla
• wordpress сайт для мобильного
• яндекс сайт
• дата апов
• Узнай пузомерку своего блога!

Усиленно читают у меня в блоге:

• проверить основной индекс гугла
• googl определение тематики сайта
• как сделать чтобы ваш сайт был первым в поиске
• какой доход с мелкооптового сигаретного ларька
• <a href=\\\"http://banquepriveesuisse.com\\\">banque suisse</a>
• база ключевые по тематикам

Read the rest of this entry

Итак, продолжаю прошлый пост “завязку боя“. Сначала посмотрим на врага исторически.
Термин - “Яндекс” представляет оригинальный гибрид, ни в русском ни в английском языке ничего не обозначающий.
Елена Колмановская, главный редактор Яндекса, поясняет, что придумал это слово  отец-основоположник нашего поиска, ныне технический директор компании “Yandex”, Илья Сегалович. “Яndex” означает “Языковой index”.
Другое толкование предлагает Аркадий Волож, генеральный директор компании:
“Это название “Яндекс” - придумал Илья Сегалович (главный разработчик “Яндекса”) по аналогии с продуктами Unix (например, YACC - Yet Another C Compiler). А мне понравилась русская транскрипция. “Яндекс” означает “языковый индекс”: буква “я” - очень русская буква. Это индексирование с русской спецификой. А потом придумалось много других объяснений, например: I - это “я” по-русски. Есть еще вариант: ЯНЬдекс и ИНЬдекс - инь-янь. Исследования на эту тему продолжаются.”

Итак, вступление не о чем. А теперь к делу.
Поскольку наше единственное оружие в борьбе с ним - мозги, причем верхние, их то и пришлось подключить.
Передо мной появилась задача - “какие ссылки покупать, чтобы был максимальный эффект в выдаче?”. Раньше я ставил перед собой задачу - определить человечность сайта на автомате. Но человечность, как оказалась стала скоростью индексации, и с выдачей она никак не связана. Продолжая анализировать xml yandex, пришел к следующему незамысловатому скрипту. Причем в двух вариациях, которые и предлагаю вам потестить.

1) Задумка первого скрипта проста - подняться в выдаче yandex, за счет покупки релевантных ссылок. Я решил взять выдачу в разрезе конкретного запроса. Например: мы хотим продвинуться по слову “ссылка”. Для этого скрипт выдирает из Яндекса n-сотен сайтов, которые находятся там по запросу “ссылка”. Далее копируем этот список в вашу любимую биржу в белый список сайтов, и скупаем с этих сайтов ссылки (если сайты вообще найдутся в бирже). Теоретически, в результате эти сайты должны быть более релевантны в нужном нам запросе, что позволит подняться в выдаче. Протестировать скрипт можете здесь: скрипт прокачки выдачи.

2) Аналогично получился скрипт, который в теории должен установить тематику в разрезе конкретного запроса в Yandex,  с целью поднятия ТИЦ (тематического индекса цитирования). Скрипт основан на параметре - число страниц на сайте релевантных запросу. Ситуация почти аналогична: ваш сайт есть в индексе по запросу “ссылка”. Вводите этот запрос в мой скрипт, он выдает вам список сайтов по этому запросу, но справа от каждого сайта указывает число: сколько страниц на сайте тематичны этому запросу. Чем больше страниц, тем больше вероятность что сайт тематичен вам в целом. Далее таже схема - вносите сайты в white list на бирже и скупаете по ним все что есть. Протестировать скрипт можете здесь: скрипт прокачки ТИЦ

Буду рад услышать ваши теоретические предположения по эффективности обоих скриптов. Мне же не охото покупать ссылки по стандартным схемам - “много дешево и сердито” или “мало дорого и наугад”. Охото иметь хоть какую-то связь покупки и оценку результативности.

Оба экспериментальных скрипта будут в дальнейшем внедрены в проект linkfeedator, и для тестов будут работать всего два-три дня. Они также имеют ограничения по 1000 запросов в сутки.

Read the rest of this entry

После событий бана в прошлом посте, решил в открытую повоевать с яндексом.
Где-то месяц назад я начал в шутку бомбить запрос “яндекс“. Вот результат на сегодняшний день:

Усиленно читают у меня в блоге:

• яндекс сайт
• как попасть в основной индекс
• account.livejournal.ru
• за что могут забанить в гугле
• субдомен для мобильной версии
• если на сигоретах нет мрц 2011
• Узнай пузомерку своего блога!

В теме указан вопрос, который волнует множество сеошников, пытающихся среди тысячи купленных или полученных ссылок, найти нормальные. В основном тематика нужна для прокачки Тиц, но мало кто понимает что же такое тематичность ресурса для Яндекса.
Стандартное мышление начинающего сеошника - “если сайт о недвижимости ссылается на сайте о недвижимости, то это тематика”. Это мышление очень глупо. А еще есть такой стандарт - купить тысячу гамноссылок и получить тиц 10-20. Это же бред полный… Хоть кто-нибудь осознает, что больше чем 90% из купленных тысячи ссылок передадут вес равный примерно 0.001 тиц, если не меньше. А есть такие ссылки, которые передадут коронную еденицу (Я до сих пор верю, что максимальная передача веса - это еденица). Так как же их найти?
Вспомним откуда появилась тематика. Изначально она создавалась для яндекс-каталога (да и тиц тоже). Но поскольку она работает и для обычных сайтов, то нужно использовать теже алгоритмы, которые используются в Яке.
Итак, привожу простой пример неосознанной тематичности - сайт “зоопарк из москвы” ссылается на сайт “недвижимости в москве”. Это ведь тоже тематика! Только региональная. А для получения региональной тематики достаточно создать у себя страницу контактов, прописать свой телефон с кодом города, и еще желательно поставить яндекс карту.  Потом просто производите региональный поиск ссылок и ищите аналогичные вам. Эти ссылки будут передавать больший вес, чем другие.
Вообщем тематичность довольно обширный параметр для яндекса. Он делится на 6 фасетов - Тема, Регион, Жанр, Источник информации, Адресат информации, Сектор экономики. Read the rest of this entry

Исследуя выдачу яндекса (yandex xml), я нашел одну очень значимую деталь - яндекс знает о всех СДЛ сайтах!
На основе этих знаний я написал скрипт, который говорит к какой категории относится тот или иной сайт, и какая к нему трастовость. С очень высокой точностью этот скрипт определил все мои СДЛ сайты, и гавносайты! Я просто в шоке от таких результатов. Если есть время, перейдите по ссылке ниже и потестите мой скрипт. Возможно он ошибется:) Но если так решил яндекс, то врятли это простая ошибка.

Проверить сайт на СДЛность

В любом случае буду рад почитать ваши комментарии о его точности.
В целом я пошел дальше и приделал этот скрипт к моему linkfeed-клиенту, и на основе него купил кучку ссылок с СДЛ сайтов с запредельной трастовостью. Не знаю есть ли разница в передачи тиц от них, по сравнению с ГС, но попробовать стоит. Так что это мой новый эксперимент.

P.S. Скрипт за сутки может проанализировать до 1000 сайтов. Если он начал глючить, значит колличество запросов к яндексу в этот день у меня закончилось.

Усиленно читают у меня в блоге:

• чтобы сайт отображался в поисковике
• как сделать мобильную версию своего сайта
• яндекс сайт
• таблица апов яндекса
• стеммер портера
• прокачка сайтов