Cómo scrapear URLs de una búsqueda en Google

A veces quiero ver cuantas urls indexadas tiene Google en su crawl, para ello utilizamos el comando «site: miweb.com» o lo compruebo mediante el Search Console (antiguo Google Webmaster Tools): Pero y ¿si quiero saber todas esas URLs indexadas? En este post os voy a mostrar una manera de extraer todas las URLs indexadas en Google utilizando el comando site. Si quieres puedes ver este post donde menciono diferentes comandos de Google para espiar la competencia. Existen herramientas como Screaming Frog o Xenu que nos darán una lista de todas las URLs accesibles desde dentro de la propia página web, pero no nos darán las URLs indexadas en Google. Gracias a este tutorial, mostraré cómo scrapear una lista con todas ...
Continuar leyendo