Основы Linux: Как загружать файлы в оболочке с помощью Wget

Wget — это популярный и простой в использовании инструмент командной строки, который в первую очередь используется для неинтерактивной загрузки файлов из Интернета. wget помогает пользователям загружать большие объемы данных, несколько файлов и выполнять рекурсивные загрузки. Он поддерживает протоколы загрузки (HTTP, HTTPS, FTP и FTPS). В следующей статье объясняется базовый синтаксис команды wget и приводятся примеры популярных случаев использования wget.

1.1 Wget - Обзор

Команду wget можно вызывать с опциями, которые являются необязательными, и с URL, который всегда обязателен.

wget [option] [URL]

1.2 Полезно знать

Wget может отображать следующую информацию, когда загрузка находится в процессе:

Прогресс загрузки (в процентном соотношении)
Количество загруженных данных
Скорость загрузки
Оставшееся время до завершения процесса загрузки

Ниже вы можете найти несколько примеров сценариев загрузки, с которыми могут столкнуться пользователи при загрузке файлов в оболочке Linux с помощью wget:

1.3 Базовая загрузка одного файла

Это самый элементарный случай, когда пользователи выполняют команду wget без каких-либо опций, просто используя URL файла, который нужно загрузить, в командной строке. Следующий пример команды показывает это:

wget [URL]

1.4 Загрузка и сохранение файла с другим именем

Этот шаг является просто расширением предыдущего и может потребоваться, когда вы хотите присвоить другое имя файлу, сохраненному на локальном жестком диске. Все, что вам нужно сделать, это добавить опцию -O, за которой следует предпочтительное имя файла:

wget -O [Preferred_Name] [URL]

Используя приведенную выше команду, вы сможете сохранить файл с именем, которое хотите ему присвоить.

1.5 Ограничение скорости загрузки

Обычно wget использует значительную пропускную способность для загрузки файлов из Интернета. Но есть опция, чтобы ограничить скорость загрузки до определенного заданного значения, настроив базовую команду wget вместе с опцией “–limit-rate”, используя следующую команду:

wget --limit-rate=[VALUE] [URL]

Указав предпочтительную скорость в поле “VALUE” в приведенной выше команде, вы сможете настроить скорость загрузки в соответствии с вашими требованиями. Добавьте суффикс “k” для килобайтов или “m” для мегабайтов. Например, “ –limit-rate = 2m “, чтобы ограничить максимальную скорость загрузки до 2 Мбайт/сек.

1.6 Возобновление остановленной/прерванной загрузки

В случае, если вы столкнетесь с прерыванием загрузки после начала загрузки большого файла из Интернета с помощью wget, вам будет приятно узнать, что команда, приведенная ниже, может помочь вам возобновить процесс загрузки с того места, где он остановился (без необходимости загружать весь файл заново!): Все, что вам нужно сделать, это выполнить команду wget с опцией “ -c”.

wget -c [URL]

Приведенная выше команда возобновит процесс загрузки с того места, где он остановился ранее (если сервер загрузки это поддерживает), позволяя вам загружать весь файл без проблем.

1.7 Продолжение процесса загрузки в фоновом режиме

При загрузке большого файла вы можете предпочесть продолжить процесс загрузки в фоновом режиме и использовать командную строку, пока файл загружается. В этом случае вам нужно выполнить команду wget с опцией -b, и отслеживать статус загрузки в файле wget-log, где будет записан процесс загрузки. Вам нужно использовать следующую команду, чтобы начать процесс загрузки в фоновом режиме:

wget -b [URL]

Вы можете проверить прогресс загрузки, получив доступ к содержимому файла wget-log с помощью команды tail следующим образом:

tail -f wget-log

Приведенный выше набор команд поможет вам использовать командную строку, пока большой файл загружается в фоновом режиме, и также следить за прогрессом загрузки.

1.8 Настройка количества попыток (увеличение/уменьшение)

В стандартном случае команда wget делает до 20 попыток подключиться к данному веб-сайту для завершения загрузки в случае потери/нарушения интернет-соединения. Однако пользователи имеют право изменить это число в соответствии со своими предпочтениями, используя опцию “– tries”. Следующая команда поможет вам сделать именно это:

wget --tries=[DESIRED_VALUE] [URL]

Указав предпочтительное число в поле DESIRED_VALUE, вы можете установить количество повторных попыток в случае прерывания соединения.

1.9 Чтение файла для множественных загрузок

Если вы хотите загрузить несколько файлов, вам нужно подготовить текстовый файл, содержащий список URL, относящихся ко всем файлам, которые необходимо загрузить. Вы можете заставить wget прочитать текстовый файл, используя опцию -i команды (приведенной ниже), и начать запланированные множественные загрузки. Пожалуйста, используйте следующую команду для этого:

wget -i [TEXT-FILE-NAME]

Приведенная выше команда облегчит загрузку нескольких файлов без хлопот.

1.10 Загрузка полного веб-сайта

Если вы хотите сохранить копию любого веб-сайта, к которому вы хотите обратиться/прочитать локально, или, возможно, сохранить копию вашего блога на жестком диске в качестве резервной копии, вы можете выполнить команду wget с опцией mirror, следующим образом:

wget --mirror [Website Name]

Приведенная выше команда поможет вам создать зеркало желаемого веб-сайта/сохранить данные локально для будущего обращения.

1.11. Отклонение определенных типов файлов

Иногда вы можете захотеть загрузить весь веб-сайт, за исключением файлов определенного типа, например, видео/изображений. Вы можете воспользоваться опцией reject с командой wget (приведенной ниже):

wget --reject=[FILE-TYPE] [URL]

Приведенная выше команда позволяет вам отклонить указанные типы файлов при загрузке веб-сайта в его полном объеме.

1.12. FTP загрузки

FTP загрузки могут быть двух типов:

Анонимная FTP загрузка 2. Аутентифицированная FTP загрузка

Соответственно, существует уникальная команда для загрузки каждого типа.

Для анонимной FTP загрузки, пожалуйста, используйте следующую команду:

wget [FTP-URL]

Для аутентифицированной FTP загрузки, пожалуйста, используйте следующую команду:

wget --ftp-user=[USERNAME] --ftp-password=[PASSWORD] [URL]

Каждая из приведенных выше команд приведет к необходимой FTP загрузке.