Ein Web­craw­ler ist ein di­gi­ta­ler Such­ro­bo­ter, der je­den Tag automatisch un­zäh­li­ge Web­sei­ten durch­sucht. Er folgt von der Start­sei­te aus al­len Un­ter­sei­ten und Links, um neue oder ak­tua­li­sier­te Sei­ten zu fin­den. Er speichert Informationen über...