Googlebot csalogatás PubSubHubbub-al

Szerző:

2009 augusztus 19Egyéb Tech Google

Az URL-ek keresőkbe történő regisztrálása (Search Engine Submission) az általuk biztosított felületeken keresztül – pl. http://www.google.com/addurl/ – már elég elavult, és nem is nagyon ajánlott megoldás. Ennek ellenére még számos keresőoptimalizálással foglalkozó cég honlapján láthatjuk ezt, mint szolgáltatást, amit kínálnak.
Az új oldalak indexelésére számos egyéb megoldás van, ami egyrészt célravezetőbb, illetve gyorsabb.

Elhelyezhetünk például már indexelt oldalakra linkeket, melyek a mi új tartalmunkra mutatnak, bár ebben az esetben ki kell ugye várni, hogy a Googlebot meglátogassa a linkelő oldalt is elősször. Egy fokkal gyorsabb, amikor Sitemap-et generálunk, és azt adagoljuk be a Google vagy Bing által is kínált Webmaster Central/Center felületeken. És persze lehet pingetni a keresőket, hogy küldjenek botokat, amire gyakorlatilag minden modernebb CMS képes már.

Az új tartalmak mielőbbi indexelése nem csak az oldaltulajdonosoknak lett fontos az elmúlt években, de az egyre hangosabban kiabált real-time search versenyben a keresőknek is iparkodniuk kell. (Többek közt ennek az igénynek a hatékonyabb kielégítését is szolgálja a Google Caffeine update. A minél gyorsabb indexelés szükségére persze már a 2001 szeptember 11-i terrortámadások felhívták a figyelmet, miután a keresők találati listáiban még sok-sok idő elteltével sem voltak fellelhetők a támadásokról szóló írások, képek, stb.)

Most egy újabb “fogással” még gyorsabban elérhetjük, hogy az oldalaink, illetve egyéb új tartalmunk indexálásra kerüljön, legalábbis a Google irányából. Ehhez semmi másra nincs szükségünk, mint egy FriendFeed accountra, illetve egy alá bekötött Twitter vagy Delicious fiókra, aztán mondjuk egy tweetre, ami az új tartalom linkjét tartalmazza.

Amikor egy linket tartalmazó megosztás vagy egy ugyancsak linket tartalmazó Twitter státuszüzenet bekerül a FriendFeed folyamunkba, a tesztjeim alapján kb. 10 másodperc múlva a Google robotja is ottvan, és máris indexeli a tartalmat, amit azon a linken talált, ami bekerült a FriendFeedbe. Hogy minek köszönhetjük ezt a pompázatos “azonnaliságot”?

A varázsszó: PubSubHubbub :)

A Google Reader mellett, a FriendFeed is implementálta ezt a protokolt a rendszerébe, ezért amikor egy új elem kerül a rendszerbe, akkor a FriendFeed azonnal jelzi azt a megadott Hub felé. Innentől két eset lehetséges. Illetva csak egy :) A Googlebot nagy valószínűséggel fel van iratkozva a FriendFeed kimenetekre a Hub-on, vagyis azonnali értesítést kap ő is. A gyorsaság legalábbis ezt támasztja alá. Bár a PubsubHubbub decantralizált elméletileg, és Hub-ot akárki csinálhat, azonban egyelőre elég kevés van még belőlik, és minő véletlen, hogy az általánosan, defaultként használt Hub a Google app engine-jén fut, http://pubsubhubbub.appspot.com címen :)