Блогът на Юруков

Първо какво е Googlebot? Името е съкращение от „google robot“ и означава софтуерна система, която обикаля сайтовете и събира информация за тях. Тази информация се използва по-късно за търсачката, за оценка на сайтовете (google PR) и за генериране на реклами (Adsense).

Добре де, но каква е ползата от това да се маскираме като някакъв си робот? Хубавото на тази система е, че има достъп до всичко. Има много сайтове в които може да се влезе само ако си си платил. Тези сайтове обаче са супер популярни и искат да може да се търси в тях с Google или да пускат техни реклами. Затова повечето от тях дават на роботите неограничен достъп.

След като разбрахме ползите, ето как става. Всеки browser изпраща един текст, който казва на сървъра какъв е клиента. Казва се User Agent и обикновено е името и версията на bowser-а. Номера е да се смени текста с това, което googlebot-овете изпращат.

При Firefox това е лесно – само трябва да инсталирате една добавка, което ви слага падащ списък на прозореца, с който можете да избирате как да се маскирате. От тук може да свалите добавката, а това е сайта на разработчика. При тази добавка има три примерни опции за сменяне на user agent-а. Може да добавите и още сами, но за улеснение ето един сайт, от който може директно да свалите повечето използвани user agent-и в мрежата.

Ако имате нещастието да работите с IE и не можете да се прехвърлите на Firefox по някаква невероятна причина, процедурата естествено е по-сложна. За целта трябва да промените регистрите в Windows. Неудобството е, че няма лесно сменяне като при добавката на Firefox и ако решите да ги върнете обратно така, че да не сте маскирани, трябва да го направите на ръка. Ето какво трябва да се смени:

[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows \CurrentVersion\Internet Settings\5.0\User Agent]
@=“Googlebot/2.1″
„Compatible“=“+http://www.googlebot.com/bot.html“

Ако искате да го върнете обратно трябва да смените това:

[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows \CurrentVersion\Internet Settings\5.0\User Agent]
@=“Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)“

За ваше улеснение съм направил два инсталационни файла в архива отдясно - първия (IE_googlebot_mask.reg) маскира IE като googlebot, а втория го възстановява. Във файловете няма вируси или червеи и дори не бих помислил да сложа. Ако някой намери нещо нередно да пише в коментарите. Ето я и оригиналната статия за IE.

[tags]googlebot, mask, adsense, google, robot, crawl, user agent, маскиране, firefox, IE, защити, достъп, платени[/tags]

Тази статия е публикувана на 23 юли 2007 в 13:14:41, има 381 думи и е в следните категории: Технологии и Интернет. Защитена е с лиценз CC BY-SA. Можеш да следиш коментарите по статията чрез този RSS 2.0 абонамент. Можеш да оставиш коментар, или trackback към твоя сайт.