5W site logo 5W - мой домашний сайт-блог с картинками, кино и плюшками.

wget.txt

wget
№1
Загрузка всех URL, указанных в файле FILE:

$ wget -i FILE
№2
Скачивание файла в указанный каталог (-P):

$ wget -P /path/for/save ftp://ftp.example.org/some_file.iso
№3
Использование имя пользователя и пароля на FTP/HTTP:

$ wget ftp://login:password@ftp.example.org/some_file.iso
$ wget --user=login --password=password ftp://ftp.example.org/some_file.iso
№4
Скачивание в фоновом режиме (-b):

$ wget -b ftp://ftp.example.org/some_file.iso
№5
Продолжить (-c continue) загрузку ранее не полностью загруженного файла:

$ wget -c http://example.org/file.iso
№6
Скачать страницу с глубиной следования 10, записывая протокол в файл log:

$ wget -r -l 10 http://example.org/ -o log
№7
Скачать содержимое каталога http://example.org/~luzer/my-archive/ и всех его подкаталогов, при этом не поднимаясь по иерархии каталогов выше:

$ wget -r --no-parent http://example.org/~luzer/my-archive/
№8
Для того, чтобы во всех скачанных страницах ссылки преобразовывались в относительные для локального просмотра, необходимо использовать ключ -k:

$ wget -r -l 10 -k http://example.org/
№9
Также поддерживается идентификация на сервере:

$ wget --save-cookies cookies.txt \
--post-data 'user=foo&password=bar' \
http://example.org/auth.php
№10
Скопировать весь сайт целиком:

$ wget -r -l 0 -k http://example.org/
№11
Скачивание галереи картинок с превьюшками.

$ wget -r -k -p -l1 -I /images/ -I /thumb/ \
--execute robots=off www.example.com/gallery.html
№12
Сохранить веб страницу (как она открывается локально) в текущую директорию

$ (cd cli && wget -nd -pHEKk http://www.pixelbeat.org/cmdline.html)
№13
Продолжить скачивание частично скаченного файла

$ wget -c http://www.example.com/large.file
№14
Скачать множество файлов в текущую директорию

$ wget -r -nd -np -l1 -A '*.jpg' http://www.example.com/
№15
Отображать вывод напрямую (на экран)

$ wget -q -O- http://www.pixelbeat.org/timeline.html | grep 'a href' | head
№16
Скачать url в 01:00 в текущую директорию

$ echo 'wget url' | at 01:00
№17
Сделать закачку с уменьшенной скоростью В данном случае 20 КB/s

$ wget --limit-rate=20k url
№18
Проверить ссылки в файле

$ wget -nv --spider --force-html -i bookmarks.html
№19
Оперативно обновлять локальную копию сайта (удобно использовать с cron)

$ wget --mirror http://www.example.com/
№20
Используем wildcard для того чтобы скачать несколько страниц

$ wget http://site.com/?thread={1..100}
$ wget http://site.com/files/main.{css,js}
№21
Запустить скачивание списка ссылок в 5 потоков

$ cat links.txt | xargs -P 5 wget {}
№22
Проверить ссылки из файла на живость

$ cat list.txt
http://yandex.ru
http://google.ru
http://yandex.ru/qweqweqweqwe
$ wget -nv --spider -i list.txt