A lamentare l'invasività
di Twiceler, il bot di Cuil, è un lettore
di Techcrunch: nel tentativo di indicizzare
una pagina, lo spider di Cuil subisserebbe il
sito con una mole di traffico che non tutti
sono in grado di sobbarcarsi. "Così
tanto traffico da buttar giù il sito",
assicura il lettore, costretto a limitare il
traffico a 2 visite al secondo per garantire
al pubblico di accedervi.
Ma la segnalazione del lettore non è
un caso isolato: lamentele e proteste affollano
la rete dai mesi scorsi. Quando Cuil era Cuill
e si configurava solo come un progetto, già
c'era chi avvertiva l'aggressiva presenza
di un nuovo bot: già lo scorso anno
Twiceler, impegnato a costruire quello che
i fondatori di Cuil definiscono l'indice più
vasto del mondo, intaccava le performance
dei siti, vampirizzava la banda, causava dei
crash. C'era chi riscontrava un numero imponente
di visite, quasi si trattasse di un attacco
DoS, c'era chi lamentava il ritmo serrato
con cui Twiceler scandagliava le pagine, anche
centinaia contemporaneamente.
Erano numerosi i webmaster che si scambiavano
consigli per arginare il problema e addomesticare
lo spider vampiro. Le ordinarie contromisure
sembravano non bastare: Twiceler sembrava
ignorare le informazioni e le restrizioni
contenute nel file robots.txt e andava tenuto
lontano bloccando tutti gli indirizzi IP ad
esso corrispondenti. Migliaia i siti che avevano
eretto palizzate per allontanare il bot, a
prezzo di non comparire nell'indice di Cuil.
Gli uomini del motore di ricerca si erano
del resto mostrati disponibili: assicuravano
che Twiceler non avrebbe battuto le pagine
di coloro che non lo desiderassero, spiegavano
che Twiceler si trovava ancora in una fase
sperimentale. Ma le proteste, a mesi dalle
prime ondate di panico, non si sono placate:
c'è chi lamenta come Twiceler cerchi
di raggiungere URL inesistenti nel tentativo
di ingrassare il proprio indice con contenuti
non accessibili attraverso i link.
Il traffico che poteva vantare Cuil dopo
i primi giorni dal suo esordio si è
assottigliato, le recensioni dei media mainstream
che configuravano il motore come un contendente
di Google hanno ceduto il posto allo spirito
critico dei netizen. Pare sia tempo di mettere
mano ai 33 milioni di dollari di capitale
e di iniziare la rincorsa al vantaggio dei
search engine che possono contare su lustri
di affinamento.
Gaia Bottà
