Четвертая версия сайта

в былые времена когда интернет у мня был медленый делал офлайн копи некоторых сайтоф  на ДВД-сд пргой телепорт про там се можно настроить по уровням загрузки или толка 1 сервер или глубже до 4 уровней...но это уже дело в месте на диске и допуске  квоте на трафик-тогда бло сейчас врядли актуално

нро есть 1 но на хободе например в офлайне сстраницы пустые..хитрый динскрипт с малым временем жизни станиц решени найдено с диска грузился свой  Нттр сервер а с него все чито надо кстати ходить туда можно было по айпи и номеру порта он не дефолтный(80) был тк что лохи отдыхали а я зная порт мог войти туда хоть откуда в месных подсетях

Телепорт хорошо работал в былые времена. Да и то не все сайты качал корректно.
Этот сайт он перестал нормально качать уже со второй версии сайта.
Сейчас только стартовую страницу может нормально отработать, а дальше - полная ахинея.

Сейчас, когда все сайты переходят на обновлённые движки, он уже не может нормально работать.

Vovikus: Та же программа ОЕЕ_6.8 за 40 часов загрузила Проект v3.pro-radio.ru...

Спасибо за труд!
Скачал ещё утром и сразу начал распаковывать архив. Распаковалось только что...
Целый день распаковывалось.

Беглый просмотр одного раздела показал, что все страницы тем присутствуют. Выборочная проверка двух разных тем показала что не все картинки грузятся. Правда проверка по ссылкам на эти картинки показала, что их действительно нет в базе.
В общем, нужно проверять.

Некоторых картинок уже нет на сайтах-хранилищах.
Были подвисающие до таймаута загрузки с заблокированных сайтов - с этим надо что-то делать.

В программе много фильтров, сильно влияющих на объём загрузки. Их настройка - кропотливое дело. В одной из конфигураций у меня загружались даташиты с прочей документацией, и я опасался подгрузить в Проект архив журналов Радио на 6 ГБ https://pro-radio.ru/publish/12814-34. Если перестараться, то можно скачать себе весь интернет по ссылкам из сообщений.

Вся программа ОЕЕ состоит из одного-единственного файла. Его можно переписать в другую папку и, задав иные фильтры, снова закачать Проект.

Не понятно, отчего закачка идёт так долго? При моих 10 МБит в секунду те 13 ГБ должны были зайти за 4 часа, а не за 40.
Быстренько обновить Проект файлами, появившимися за последние день-два - тоже не получается. Обновление растягивается на многие часы и тысячи файлов, папка пропорционально этому раздувается. Но по окончании обновления её объём оказывается лишь чуть-чуть больше предыдущей закачки, - как раз на величину десятка-другого новых сообщений.

Много картинок загрузилось из раздела "Не про радио". Если не лень их просмотреть в удобной программе, то многое можно вручную стереть, освободив несколько сотен МБ.

PS: Только сейчас подумал, что в фильтрах можно попробовать задать не загружать папку "Не про радио". Из 1,73 ГБ форума папка "off" - самая большая, занимает 285 МБ. После неё папка "measure" - всего лишь :) 150 МБ. И полГига занимает папка с данными участников форума. Остальные папки - меньше 100 МБ.

Vovikus: При моих 10 МБит в секунду те 13 ГБ должны были зайти за 4 часа, а не за 40

Это ваша скорость. У источника может быть меньше.

Не обязательно. Я пробовал разные качалки в разное время. В том числе и варианты копирования одного и того же сайта спустя год, два или пять.
И всегда работа прог качалок была одинаковой - так, как описал Vovikus.

Для копирования небольшого файла нужно сначала установить соединение с сервером, который может быть занять и ответить через 100-500 мс. Если протокол https, то там еще дополнительная процедура "рукопожатий", где браузер и сервер некоторое время обмениваются данными для установки шифрованного канала. Может даже так получится, что объем трафика для подготовки получения одного файла может превысить объем этого самого файла. Ну и каждый запрос-ответ - это дополнительные 20-500 мс.  Получили один файл и далее новая процедура для следующего файла.

То-же самое, что копировать папку inf из каталога windows. Она совсем маленькая, но сколько времени займет ее копирование?

Ура, похоже, что наконец-то все, что было в старой версии, есть и в новой. 

Даже больше :)

Пипец. С каждым днём наш форум всё класнЕЕ и класнЕЕ!!! Очуметь как всё КЛАССНО!!!