Web Crawler

Webový prehľadávač, známy tiež ako pavúk, je automatizovaný program alebo robot, ktorý systematicky prehľadáva internet a hľadá nový alebo aktualizovaný obsah. Účelom webového prehľadávača je zhromažďovať informácie, napríklad text, obrázky a odkazy, a potom tieto informácie indexovať v databáze pre neskoršie použitie vyhľadávacím nástrojom alebo inými aplikáciami.

Web Crawlers pracujú začatím na konkrétnej webovej stránke a potom sledujú odkazy na iné stránky na rovnakom webe a potom na iné stránky. Používajú algoritmy na určenie, ktoré stránky na prehľadávanie a ako často, a môžu byť nakonfigurované na rešpektovanie súborov robots.txt, ktoré používajú webové stránky na kontrolu, ktoré stránky sú prehľadávané a indexované.

Webové prehľadávače používajú vyhľadávacie nástroje ako Google a Bing na indexovanie obsahu webových stránok a na ich vyhľadávanie. Spoločnosti ich tiež používajú na zhromažďovanie informácií o svojich konkurentoch, na sledovaní správania zákazníkov a monitorovaní online zmienok o svojej značke.

Webové prehľadávače môžu byť výkonnými nástrojmi, ale môžu spôsobiť problémy, ak sa nepoužívajú zodpovedne. Môžu zaťažiť webové servery a môžu sa dokonca použiť na škodlivé účely, ako je škrabanie osobných údajov alebo pokus o preniknutie do systémov.

Celkovo sú webové prehľadávače dôležitou súčasťou moderného internetového ekosystému, ktoré pomáhajú udržiavať vyhľadávacie nástroje aktuálne a poskytovať cenné údaje pre podnikom aj výskumným pracovníkom. Je však dôležité ich používať zodpovedne a s ohľadom na práva vlastníkov webových stránok a obavy súkromia.

 

Späť do slovníka pojmov

 

Poznáte tiež...?

 

Spyware je záškodný program, ktorý odosiela dáta z vášho počítača (mobilného telefónu alebo iného zariadenia) tretej strane. Laicky povedané vás špehuje. Odtiaľ tiež anglický názov (spy...

Čítať ďalej

Protokol Hypertext Transfer Protocol (HTTP) je spôsob, ako počítače navzájom komunikovať cez internet. Je to ako jazyk, ktorý používajú na vzájomné porozumenie. Keď do prehliadača zadáte adresu webovej stránky, váš počítač odošle požiadavku na server, kde je webová stránka...

Čítať ďalej

Temný web je ako skrytá podzemná časť internetu, kde ľudia môžu prezerať a komunikovať anonymne. Predstavte si tajný klub, ktorý je skrytý pred verejnosťou a vyžaduje si špeciálne heslo na zadanie; Temný web je taký, ale online. Ak chcete získať prístup na temný web,...

Čítať ďalej