Vuoi un Software amico?

03 Luglio 2020
3 Minuti di lettura

Cos’è un Web Crawler e come funziona?

Cos’è un Web Crawler e come funziona?

Ti sei mai chiesto qual è il meccanismo per cui, quando cerchi qualcosa su un motore di ricerca, la pagina dei risultati (detta SERP) ti restituisce dei link in linea con quanto richiesto, anche a costo di andarli a pescare negli abissi del web?

Quanto succede è facile da raccontare, ma difficile da immaginare: si tratta di andare a scandagliare tutto il web in un istante alla ricerca di parole chiave, tag e metatag che possano restituirti un risultato che ti soddisfi. E chi sarà mai il palombaro che si immergerà nelle profondità oceaniche di internet per compiere questa impresa? Esatto: il web crawler.

Web Crawler: la definizione

I web Crawler hanno molti nomi: spider, robot e bot sono solo alcuni, che però descrivono molto bene quello che fanno. In poche parole: esplorano il World Wide Web per indicizzare le pagine internet su mandato dei motori di ricerca.

I motori di ricerca non sanno magicamente che siti esistono in Rete, devono prima rilevarli e inserirli nei propri indici in modo che possano riproporli nel momento in cui viene effettuata una ricerca.

Perché i Web Crawler sono fondamentali?

Per semplificare il concetto facciamo l’esempio di un supermercato. Poniamo il caso che ti trovi all’ingresso di un Megastore infinito. Per sapere che prodotti ci sono e quali prendere dovrai camminare per innumerevoli le corsie e scegliere quello che ti serve. Un’operazione che potrebbe comportare anche un tempo infinito se infiniti sono gli articoli presenti.

La stessa operazione la fanno Google, Bing e gli altri Search Engine: non ci vanno personalmente, ma in corsia mandano i cosiddetti Spider, che fanno un inventario di quello che c’è e si segnano i percorsi per raggiungere i diversi articoli, in modo che sappiano dove trovarli quando qualcuno glieli chiederà.

I Web Crawler, di fatto, passano da un link all’altro delle diverse pagine, in modo da ricostruire il percorso che restituirà una mappatura chiara delle informazioni.

E se il tuo sito non è ancora in questo enorme supermercato virtuale?

Dovrai farlo presente. Se il sito è nuovo e non ha link che lo collegano alla rete, questo processo non può avvenire: dovrai tu richiedere di essere preso in considerazione inviando la URL a Google tramite la Search Console.

Una volta appresa la presenza di questo nuovo magico luogo inesplorato, i Web Crawler - da bravi esploratori quali sono - si lanciano alla scoperta. Analizzano Tag, Metatag, Description, Copy, H1 e H2 e passano tutte le informazioni al motore di ricerca che, finalmente, catalogherà questo nuovo territorio come “sito di digital marketing” se avrà trovato articoli sul Paid Search, come “e-commerce di vini” se avrà trovato offerte di Barolo o Ripasso di Valpolicella e via discorrendo.

Quando qualcuno vorrà fare la scorta del suo vino preferito e chiederà a Google come trovarlo, ecco che riceverà - tra gli altri risultati - anche quello del nuovo sito. Che i motori di ricerca lo propongano nei primi 5 risultati o a pagina 45 è poi un altro argomento che merita un capitolo a parte. Il fatto che il sito sia visibile o nascosto oltre la seconda pagina dipenderà dalla cosiddetta SEO (Search Engine Optimization).

Quali e quanti sono i Web Crawler?

Il Web Crawler più famoso è certamente, e ovviamente, quello di Google: Googlebot, che ha tanti fratellini che si chiamano rispettivamente Googlebot Images, Googlebot Videos, Googlebot News e AdsBot, dedicato agli annunci a pagamento.

Ce ne sono altri, di altri motori di ricerca certamente meno conosciuti ma comunque importanti:

  • Yandex Bot, Spider di Yandex, Search Engine più famoso e utilizzato in Russia;
  • Baiduspider per Baidu, motore di ricerca più importante in lingua cinese;
  • Yahoo! Slurp per Yahoo!, che non ha bisogno di presentazioni;
  • Bingbot, Spider di Bing, secondo motore di ricerca dopo Google e di proprietà di Microsoft.

Ma la SEO centra qualcosa con i Web Crawler?

Sì. Diciamolo subito e aggiungiamo subito un’altra cosa: SEO Matters, come amano ripetere i Digital Specialist (a ragion veduta). La SEO è quella disciplina che racchiude tutte le tecniche che fanno in modo che Google selezioni il nostro sito per una determinata ricerca (o Query) effettuata da un utente. E il Web Crawler allora? È il nostro Personal Shopper che ascolta i nostri bisogna, si reca nelle corsie e seleziona il miglior prodotto secondo le nostre richieste. Importante.

Vuoi saperne di più?

Per avere maggiori informazioni sui servizi di SEO o per sviluppare piattaforme, app o sistemi gestionali da integrare alla tua azienda, non esitare a contattarci qui.

Noi di Goodcode siamo sempre felici di rispondere a domande e curiosità e lasciarci trasportare dall’entusiasmo per nuovi progetti. Sì, perché possiamo aiutarti a sviluppare ogni tua idea legata al mondo digital, ci basta il tempo d'un caffè.

Vuoi un Software amico?