wget recursivo aka Descargar sitios web completos xD

Generalmente usamos wget (una herramienta que traen, creo, todas las distros Linux y creo que también en general los demás sistemas derivados de UNIX) para descargar archivos como los tar, rar, etc…

Esta herramienta va más allá de sólo archivos, también podemos descargar con ella sitios web completos empleando recursividad. Para ello simplemente tenemos que poner (desde consola, claro está)

wget -r http://nombredelsitiio.loquesea/

y listo! xD Dependiendo del sitio (la velocidad de subida del servidor y tuu velocidad de descarga :P) será el tiempo que tarde en descargar todo.

Podemos emplear más parámetros para wget como por ejemplo: -p -U –wait=20 –limit-rate=20K. Con esto estaríamos “engañando” a aquellos servidores que no nos dejan descargar el sitio web completo (comprobando la identidad de los navegadores), además de limitar la tasa de bajada y el tiempo de espera entre cada página (por si tienen alguna restricción que nos llegue a denegar el servicio :P)

Igual podemos usar –retry-connrefused para que, en caso de algún rechazo, reintente la descarga, al final podemos tener algo así:

wget -r -p -U –wait=20 –limit-rate=20K –retry-connrefused http://nombredelsitiio.loquesea/

wget dispone de más parámetros, para aprender más de él, denle una mirada a su manual

man wget

Saludos!

Publicado el noviembre 24, 2011 en Linux. Añade a favoritos el enlace permanente. Deja un comentario.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: