Keresőrobot (crawler)
Röviden: Mi az a keresőrobot (crawler)?
A keresőrobot olyan automatizált program, amely linkeket követve bejárja a weboldalakat, és tartalmukat a kereső vagy egy MI-rendszer számára összegyűjti.
Magyarázat
A robot letölti az oldalt, kiolvassa a tartalmát és a rajta lévő hivatkozásokat, majd azokon halad tovább. Amit nem tud elérni vagy értelmezni, az a kereső számára nem létezik. A hagyományos keresők mellett ma az MI-szolgáltatók is működtetnek saját robotokat.
A bejárhatóság ezért minden keresőoptimalizálás alapja: kellenek működő belső linkek, gyors szerverválasz és olyan tartalom, amely a kiszolgált HTML-ben is benne van. A robots.txt fájlban szabályozható, melyik robot mit járhat be.
Példa: ha egy fontos aloldalra a webhely egyetlen pontjáról sem mutat link, a robot nagy valószínűséggel nem találja meg, hiába kiváló a tartalma.