Задача: с сайта-источника скачать все файлы с котировками. История всех операций по всем рынкам ценных бумаг за период 1995-2009 гг. Около 6000 файлов. Сложности: Для формтрования запроса на странице используется почти 20 переменных. Часть из них формируется динамически яваскриптом. Часть яваскрипт-логики основана на нескольких массивах с более чем 6000 элементов в каждом. Реализация с использованием автономно работающего модуля работы с прокси-серверами. Время выполнения - почти 30 часов. Результат: 6Гб текстовой информации (котировок). Далее переработка полученной инфы и подготовка ее к импорту в БД