Вопрос к знатокам. Подскажите плз граббер url с сайта, что бы быстрый. Сканеры вульнераблис меня расстраивают, один шлак. Хочу тупо сграбить урлс и запихнуть в SQL dumper чекать. Т.е. граббер страниц ссылок для конкретного сайта, не по доркам а просто страницы все.
Когда в SEO был погружен, самым клевым инструментом (краулером) был screaming frog seo spider. Может обойти все страницы в несколько потоков, собрать внутренние ссылки, прочекать их на 200 код ответа и тд. Очень мощный инструмент, лучше saas-решений.
Я тебя наверное разочарую, но спарсив все страницы сайта, и добавив их в SQL dumper, у тебя в итоге останется одна страница. Т.к он автоматически остальные посчитает за дубликаты, и удалит их
