INT 21h

Многопотоковая закачка файлов в линуксе \ Multithreaded file downloading in Linux

№ 4823 В разделе "Администрирование" от February 6th, 2013,

Для некоторых людей это покажется открытием, но многопотоковые закачки могут значительно ускорить загрузку файлов. Как это многопотоковая? Допустим, что вы хотите скачать новый дистрибутив любимой Ubuntu и делаете это как обычно через браузер (Firefox, Chrome, Opera или че у вас там). Браузеры качают только в 1 поток – от начала файла и до конца. Бывает, что на серверах стоит специальная программа, которая ограничивает скорость подключения клиентов где-нибудь до 100-300 кб в сек и вы сидите в грусти, надувая пузыри из слюней. В этой ситуации может помочь вам закачка в несколько потоков. Происходит оно следующим образом: на сервер посылается запрос на размер файла и в соответствии полученому размеру на вашем диске создается файл. Далее длина файла делится на куски – количество необходимых вам потоков. Если файл большой, то кусков может быть больше потоков, но не менее того, что вы указали. Получается, что ограничивающий сервер отдает не 1 поток в 300 кб\с, а несколько потоков каждый по 300 кб\с. Т.е. если потока 4, то файл скачается на скорости не 300, а 1200 – в 4 раза быстрее.

Под Windows этих качалок как фекаляшек в свинарнике, а вот под Linux с ними всегда была проблема. Точнее проблемы не было с самими программами, а была с их известностью. Самой известной такой качалкой является Downloader for X (он же d4x). Менее известными являются MultiGet (написан кривовато и китайцами) и aria2. Вот последний наиболее функционален и имеет консольную версию, что облегчает ее использование на серверах и машинах опытных пользователей. Качает торренты, металинки, http и ftp. Подробнее вы можете прочитать в документации командой man aria2c сразу после того, как установите программу или в гугле 🙂 Кстати, я написал замечательную графическую оболочку для этой программы.

Например, вы хотите скачать дистрибутив Ubuntu в 5 потоков (по умолчанию 1):

aria2c -x 5 ftp://mirror.yandex.ru/ubuntu-cdimage/releases/12.10/release/ubuntu-12.10-server-armhf+omap.img

Не менее полезными окажутся параметры -i и -j. Первый позволит вам указать текстовый файл с несколькими урлами для закачки (например, вы хотите скачать 10 фильмов за ночь), а второй параметр укажет сколько одновременно файлов из списка будет качаться. По умолчанию -j 5, но рекомендую вам выставлять этот параметр 1 или 2, если вы используете -x потому, что количество потоков перемножится. Это значит, что файлы из списка будут качаться одновременно и каждый в несколько потоков. Это может отрицательно сказаться на скорости. Но если у вас жирненький 40 мбитный канал, то не заморачивайтесь.

Для aria2 есть еще один графический интерфейс (уж простите, но название не помню, но гуглится оч легко), который я не пробовал, но вы всегда его можете попробовать, если он есть в репозитории вашей ОС или если умелка позволяет, то установите ручками.

Кое-что интересненькое о торрентах:

Нет комментариев »

Leave a Reply

Your email address will not be published. Required fields are marked *

*

Комментарии

  • 21h: нене ) без меня )
  • Серегй: Не совсем грабить)) если грабить можно и без рации, есть...
  • 21h: магазин грабить собрались? ) не, тут я не помощник ;)
  • Серегй: А что бы мне поймать чужую волну, что мне для этого нужно...
  • 21h: слушать никто не запрещает. нет закона, который запрещает...
  • Серегй: Я хотел узнать могу ли я просто прийти с данной рацией baofeng...
  • 21h: У меня есть только эти 2. По другим ничего не знаю. В интернете...

© Vladimir Smagin, 2005-2017. Копирование материалов без разрешения запрещено.
Яндекс.Метрика