Una semana más por aquí andamos y hoy voy a contar cómo scrapear los usuarios de Twitter en 5 minutos. ¿Scrapear? ? ¿Ezo que es my friend? Scrapear los usuarios de Twitter en idioma castellano de toda la vida es extraer los id’s o usernames de los seguidores de una cuenta de Twitter.
Con este tutorial podremos sacar todos los usuarios de la cuenta de Twitter de nuestra competencia. Así que, vamos al lío!
Parte 1.- Cargar usuarios a scrapear
La primera parte de este tutorial es cargar los usuarios a scrapear en Twitter, esta acción la podemos realizar «a mano» o automatizarlo un poco… ¿A mano? ¿Automatizarlo? Así es, a mano es cargar la página de los followers a extraer e ir bajando con el ratón para que se vayan cargando los usuarios que luego vamos a extraer en la Parte 2.
O exista la opción que yo utilizo que es automatizar el scroll mediante la extensión iMacros, si no has oído hablar de iMacros puedes ver esta Review sobre iMacros.
Para la automatización del scroll, tenemos que instalar la extensión iMacros, os dejo los enlaces a la extensión, recomiendo utilizar la de Firefox ya que la de Chrome no va muy fina 😉
Descargar iMacros para Firefox
Ya instalada la extensión, nos descargamos este ficheros js y lo copiamos en la carpeta de Macros que se ha creado en la instalación de la extensión. Este fichero JavaScript es el siguiente:
var i =1;
var nScroll=3;
for(i = 1; i <= nScroll; i++) {
window.scrollTo(0, 10000);
}
Este fichero lo que hace es realizar scroll de 10.000 pixeles en vertical y repetimos el proceso tantas veces que queramos, cabe mencionar que cuanto más alto sea el número de veces de Scroll (variable nScroll) más veces realizará scroll y por tanto más usuarios se cargarán.
Parte 2.- Extraer users de Twitter
Visto ya cómo cargar los usuarios a scrapear, pasamos a la parte de cómo extraerlos. Para ello tenemos que descargar el addon Firebug de Mozilla Firefox:
Descargar Firebug para Firefox
Cuando ya tengamos instalado el firebug, pulsamos botón derecho en la ventana de los usuarios que queremos extraer y abrimos el Firebug:
Se nos abrirá la ventana de Firebug en el navegador, pero nosotros necesitamos la consola, para ello pulsamos en Consola:
Y copiamos el siguiente código para extraer todos los id’s de los usuarios de Twitter:
var usuarios = »;
var spans = document.querySelectorAll(‘.u-linkComplex-target’);
if (spans.length) {
for (var i = 0, l = spans.length; i < l; i++) {
usuarios += ‘\n’+spans[i].textContent;
}
}
console.log(usuarios);
Copiado el código en la consola, ejecutamos el script:
Y xim pum, ya tenemos todos los id’s de los usuarios de Twitter en el log de la consola de Firebug ya sólo queda copiar y guardarlos en un txt.
Esta es mi manera de extraer los usernames de cuentas de Twitter ‘semiautomáticamente’, si conoces cualquier otra forma, y quieres publicarlo te lo agradeceré yo y todos los lectores 🙂
Espero que os haya gustado el tutorial de hoy y si llega este tutorial a 100 comparticiones en redes sociales, realizaré otro tutorial de que te cagas ? muy pronto. Así que compartir my Friends! 🙂
2 respuestas a «Cómo scrapear los usuarios de Twitter paso a paso»
¡Muy buenas David!
Lo primero…
Gracias por el artículo. Es de los pocos, por no decir el único que explica, como llevar a cabo esta práctica.
Sin embargo, llevo desde ayer intentado, realizar esta labor, pero no lo consigo.
A modo de sugerencia, ¿podrías por favor explicar de forma un poco más amplia cómo se añade este código?
var i =1;
var nScroll=3;
for(i = 1; i <= nScroll; i++) {
window.scrollTo(0, 10000);
}
Hasta que ayer leí este artículo, no estaba muy familiarizado con iMacros, y te agradezco que me lo hayas mostrado.
Lo que hice para implementar el código fue abrir una de las funciones de imacros, renombrarla, guardarla con otro nombre y ahí pegar ese código y volver a darle a guardar.
Tras colocarme en los followers de la cuenta x, pulsé en Play Loop, pero no vi que se ejecutase nada.
Y por otro lado, tras descargarme Mozilla Firefox, me ha sido imposible instalar Firefug, por lo que he leído Firefox ya no lo utiliza, y ahora solo emplea uno integrado llamado Quantum o algo así.
Agradezco mucho tu ayuda.
Muchas gracias
Hola Iñigo,
El código que comentas es para realizar Scroll automaticamente, con nScroll diremos las veces que queremos que iMacros haga scroll con un total de 10000 pixels de scroll hacia abajo window.scrollTo(0, 10000);
Tienes que utilizar una versión más antigua de Firefox ya que el nuevo no funciona correctamente con iMacros, yo utilizo la versión de Mozilla 48.0.1 y desactivo las actualizaciones,
Un saludo