Добрый вечер.
Может быть кому-нибудь встречался код, способный вытащить из страницы все ссылки и пройтись на заданную глубину? Мне нужно сделать то, что делают качалки сайтов.
Можно конечно сделать самому, но это берет время - зачем изобретать велосипед? И к тому же, нет гарантии что все баги будут вычищены с первого раза.
То есть:
Загружаем стартовую страницу
Получаем список ссылок
Заносим каждую ссылку в коллекцию
Проходим по каждой ссылке и получаем список подссылок
--то же самое +1 глубина--