К списку форумов К списку тем
Регистрация    Правила    Главная форума    Поиск   
Имя: Пароль:
Рекомендовать в новости

Копирование по очереди

Гость
0 - 06.06.2012 - 00:29
Всем привет. Часто по работе приходится копировать инфу большого размера с одного сервака на другой. Существует ли какая нибудь удобная тулза (желательно бесплатная) позволяющая все это дело распределить, чтоб не насиловать винт. Т.е. копировать папки по очереди - одна папка скопировалась, начинает копироватся другая (другое задание копирования) и т.д.)
. Батники не предлагать :) Ищется утилика с user-friendly-интерфейсом под винду)



Гость
41 - 08.06.2012 - 15:33
Жжоте, товарищи))
И аффтар тожо)

Заводы стоят) все админы гитаристы)
Гость
42 - 08.06.2012 - 15:40
тяжелее баттерфляя, лично мне, режим сложно представить, может от жизни отстал, krotov поправит, если что
Звиняйте, я в этот бред вписываться отказываюсь. Я только алкоголь из стимуляторов упортебляю, ничего больше.
Гость
43 - 08.06.2012 - 15:45
посе иных batterfly-тестов винты летят, нагрузка на механику максимальная)
Гость
44 - 08.06.2012 - 16:08
42-krotov > ну, насильно мил не будешь, пей йод)
43-droidman > на полтора часа нестрашно, а шлепнется - туда ему и дорога, лучше раньше, чем позже
Гость
45 - 08.06.2012 - 16:42
не далее чем вчера вечером, бэкапы своих архивов делал. весь процесс занял часов 6. увы и ах, корпус у меня обычный средней поганости и без кулеров для винтов, в котором 4 винта почти друг на друге + 2 больших винта для бэкапа снаружи повесил. 1 стенка снята была. интересу ради поставил мониторингом Эверест. потолок температуры был 51 градус на 2-м или 3-м винте из внутренних, остальные не выше 47 градусов. насколько знаю, для винтов нежелательна работа в длительном режиме с температурой выше 60 градусов, это ведет к довольно быстрой деградации этих винтов. а некоторые тут издеваются и под 90 градусов их убивать пытаются. понятно, что если есть лишние деньги то убивайте свои винты на здоровье. у меня лишних средствов на покупку новых винтов не имеется, да и нет ни малейшего желания тратиться на покупку новых после их прошлогоднего подорожания. цены в прошлогодний уровень вернутся дай бог к концу 2014-го года, по прогнозам
Гость
46 - 08.06.2012 - 16:51
на тему копирования большого количества файлов. понятно что лучше все упаковать в архивы, быстрее сливаться инфа будет. но часты случаи, когда нужно 1:1 перегнать такие данные. имеется конфа с 16 гигами рамы и система 7 х64, антивирусы отключены для чистоты эксперимента. сейчас попробовал типичную папку i386 из инсталляхи хр размноженную до размера в 5 гигов, мною был убран большой файл driver.cab, в несколько копий послать в разные папки одного винта. и... с каждым новым процессом копирования общая скорость падала примерно раза в 2. при 50 процессах копирования переключение в бразуер с этой страницей было проблематично из за тормозов. Теперь тот же эксперимент с копированием по локалке в 100 мегабит на комп с аналогичными характеристиками. при посылке 10 потоков скорость всех потоков упала до средних 30-50 кб/сек на поток. ну его нафих этот эксперимент, неблагодарное это дело
Гость
47 - 08.06.2012 - 17:00
45-MCMXCAD > нежелательна работа в длительном режиме с температурой выше 60 градусов
от модели зависит у "старых" потолок был 50
WDC WD5000AAKX-001CA0 говорит вот что
Min/Max recommended Temperature: 0/60 Celsius
Min/Max Temperature Limit: -41/85 Celsius
но это все фигня, отдельные продвинутые товарищи нам расскажут про арсенид галлия
Гость
48 - 08.06.2012 - 17:22
47-gloomymen >Min/Max recommended это в режмие работы, Min/Max Temperature Limit: скорее всего в режиме хранения. у мну винтам года по 2-2,5, модели от WD и Hitachi, размером от 1 тера до 3 тер
Гость
49 - 08.06.2012 - 17:34
вот и проверьте на досуге
smartctl -l scttemp /dev/sdX
Гость
50 - 08.06.2012 - 17:43
49-gloomymen >друх я в линухах увы ни разу не разбираюсь и не горю желанием моск ломать ими
Гость
51 - 08.06.2012 - 17:54
50-MCMXCAD > штатный порт smartmontools имеет место быть
я вам ни разу не друх, что за свинство?
Гость
52 - 08.06.2012 - 18:37
51-gloomymen >человек человеку в интернете друх, товарисч и брат :)
Гость
53 - 08.06.2012 - 19:17
Parafoil - заводы не стоят, сундуки, правда - да... стоят раскрыты - но заводы все равно дорожают. Значит гитара - не помеха... Воксовый "плуг" неделю назад получил, "басс" - ждал, правда, три(!) месяца - слава российской почте и EMS. Упаковка - после переезда танком, бумажки залиты чем-то вроде рассола из под рыбы, вонь всекитайская - но устройство РАБОТАЕТ! Чудес не ждал, но почти впечатлило. Сустейнит на безладовом круче B1-серии зумов, причем полный порядок с наводками/фоном. Недельку поиграемся - и вскрою...
...
gloomymen - дык я-ж не человек, а добрый бот, в смысле призрак пана-директора. Оправдалово "эксплуататоров"... Потому априори мог обжечь не только тыльную сторону ладоней. А потом как ни в чем на бывало - поститься на Форуме...
...
GaAs - дык это ж для солнечных артиллерийских батарей отопления! Чувствую пятница незыблема... Прошу не забывать про 22:30. "На нас напали злые чехи, село родное подожгли" (с) Народ. Но в русской песне с этими словами есть и надежда - село-то наше... до сих пор.
Гость
54 - 08.06.2012 - 19:29
понятно что бот, понятно что добрый, но брехливый
сам пошутить люблю, грешен, а брехуны мне не нра
55 - 08.06.2012 - 21:07
что-то я не уверен, что контролер винта без необходимости будет разрывать блоки файла, раскидывая их по всем свободным местам на винте. можете поправить, если ошибаюсь.
Гость
56 - 09.06.2012 - 01:03
30-gloomymen >
28-Перпетум Мобиле >что будет происходить с бошками винта при двух потоках копирования.
ничего страшного не будет, все будет штатно, последовательно и вполне неторопливо

Ох, я в этом очень и очень сомневаюсь. Дело в том, что блоки (сектора) распределяет не контролер винта, как сказал товарисч выше, а непосредственно конкретная ФС.
Конечно, может быть какая нибудь линусовая ФС, при массовом копировании все правильно распределяет и дефрагментация там нафиг не нужна, а вот NTFS так не умеет. И все будет происходить так, как описано в 28.
Гость
57 - 09.06.2012 - 01:05
>> какая нибудь линусовая ФС, при массовом копировании все правильно распределяет и дефрагментация там нафиг не нужна
Хотя я в этом тоже сомневаюсь)
Гость
58 - 09.06.2012 - 07:57
Чтобы там не говорили злые языки про Linux и его никчемность в больших и малых офисах - его можно уважать и юзать только за одно право - право выбора файловой системы "под задачу".
...
От изобилия ФС (как и от дистров самого линя) тошнит, но если погуглить, а потом и самому потестить - наступает просветление и желание таки выделить сервачок под некие задачи.

ФС... все правильно распределяет - да, это есть и причем каким-то странным образом, в зависимости не только от кол-ва и объема файлов, но и, видимо, на основе неких указателей и оптимизационных алгоритмов при записи внутри одного большого файла. Однофайловых задач в жизни довольно много, те же архивы, простые и не очень СУБД типа Access, FireBird, SQLite, видеофайлы, мультитрековые файлы итд.

Вот к пример, классическое сжатие 2GB файлов особого различия между ФС не дает (его просто нет):

От себя добавлю что NTFS ведет себя примерно также.

Но стоит уйти от синтетических. "чисто архивных" тестов к чему-то более интересному - картинка меняется. Все знают СУБД SQLite и что он вытворяе при разделенном файловом режиме в сетях Windows. Инсерт блокирует весь файл, читать из него в этот момент нельзя, и это довольно сильно грустит, т.к. блокировки SMB вещь загадочная и почти неуправляемая (так говорит мой сетевик). У меня в одну мега-базу SQLite льется все и отовсюду: из 1С-ок, MSSQL, PostGree, TSV и еще нескольких источников, и столкнувшись с неимоверными трудностями, уже было похоронил саму идею сделать систему, знающую ответы на все вопросы. Особенно после прочтения rtfm, что в сетях NFS юзать SQLite вообще не рекомендуется. Но тут попалась вот такая картинка:



То есть одна пара ФС дает 20 секунд на запись, другие - тысячи секунд. Разница в 50(!) раз. Проверили - почти так и есть, +/-. Причем NTFS дает те же тысячи секунд. Если бы не лень - оформил бы статейку, но быстро понял что на уровне написать ее не смогу. Задачу слива данных по результатам проверки перенесли на Linux-сервер с допотопной убунтой и EXT3 и саташным массивом, где питоновские скрипты по импорту данных, перенесенные с Win-тачки заработали почти без правки (пути в основном и строки подключения). Теперь синхронизацию делаю не только ночью, но и 3 раза в день, блокировка возникает на 2-3 минуты вместо получаса. Система ожила, стала интересна людям, появилось у некоторых понимание - нахрена спешка и столько данных вводить ручками, поскольку результат виден быстро. Скоро попробую массив из SSD, хочется чуда.
Гость
59 - 09.06.2012 - 10:43
И все будет происходить так, как описано в 28
не будет, куда писать принимает решение фс, как писать решает контроллер
Модератор
60 - 09.06.2012 - 10:55
>> какая нибудь линусовая ФС, при массовом копировании все правильно распределяет и дефрагментация там нафиг не нужна
> Хотя я в этом тоже сомневаюсь)

в те времена когда я часто ходил в серверную и не использовал openvz приходилось часто наблюдать работу fsck при загрузки серверов (типа прошло xxx дней и пора провериться). Обычно в его отчетах фрагментация была 3-5%, редко до 10 и один раз больше 10% на ФС с кэшем активно работающего сквида.

Сейчас в виндах глянул диск С:, который иногда дефрагментируется, там 29%.
Гость
61 - 09.06.2012 - 11:26
crazy_ik, вам наверное сгодится http://freefilesync.sourceforge.net , как (всегда:) правильно заметил тов. droidman
а задрочить диск через дырку в 100Mbit, простым копированием у вас не получиться
Гость
62 - 09.06.2012 - 11:36
не будет, куда писать принимает решение фс, как писать решает контроллер
А если LVM используется? Какие он принимает решения?
Гость
63 - 09.06.2012 - 11:45
я в стиле вопроса
если наклеишь бумажку с надписью LVM на интерфейсный кабель, то самые положительные
Гость
64 - 09.06.2012 - 13:30
Запись, чтение...
А копирование будет с заменой или новых?
Я, конечно, не знаю теории и не имею секундомера, но сдаёцца мне, что это разные задачи.
Кто грамотный, просвЯтите, плз...
Гость
65 - 09.06.2012 - 16:29
64-ТОРМАЗ > ну удаляецо вседа на порядок быстрее чем записываецо) разишо еси куча маленьких файлегов - там время на удаление практически равно времени на создание/запись
Гость
66 - 10.06.2012 - 11:07
кстати, вчера с пьяной рожей уронил вентиляцию, заметил только что, проверил температуру на всех 4-х, от 46 до 48


К списку вопросов






Copyright ©, Все права защищены