Kapcsolat

Keresőrobot (crawler)

Kategória
SEO, GEO és AEO
Angolul
Crawler (search bot)
Szócikk
39 / 90

Röviden: Mi az a keresőrobot (crawler)?

A keresőrobot olyan automatizált program, amely linkeket követve bejárja a weboldalakat, és tartalmukat a kereső vagy egy MI-rendszer számára összegyűjti.

Magyarázat

A robot letölti az oldalt, kiolvassa a tartalmát és a rajta lévő hivatkozásokat, majd azokon halad tovább. Amit nem tud elérni vagy értelmezni, az a kereső számára nem létezik. A hagyományos keresők mellett ma az MI-szolgáltatók is működtetnek saját robotokat.

A bejárhatóság ezért minden keresőoptimalizálás alapja: kellenek működő belső linkek, gyors szerverválasz és olyan tartalom, amely a kiszolgált HTML-ben is benne van. A robots.txt fájlban szabályozható, melyik robot mit járhat be.

Példa: ha egy fontos aloldalra a webhely egyetlen pontjáról sem mutat link, a robot nagy valószínűséggel nem találja meg, hiába kiváló a tartalma.

Az összes fogalom A-tól Z-ig

Van egy ötlete vagy egy megoldandó feladata?

Beszéljünk