Чему вы научитесь
- Автоматизировать сбор данных из веба, экономя время и ресурсы.
- Работать с HTTP-протоколом: отправлять GET/POST-запросы, управлять заголовками и параметрами.
- Парсить статические HTML-страницы с помощью библиотеки BeautifulSoup: находить элементы, извлекать текст и атрибуты.
- Обрабатывать пагинацию и обходить сайты по ссылкам.
- Очищать и валидировать собранные данные, используя регулярные выражения и методы Python.
- Анализировать и парсить динамический контент, который подгружается с помощью JavaScript.
- Имитировать действия пользователя, работая с сессиями, токенами и обходя базовую защиту.
- Структурировать и экспортировать результаты в различные форматы для дальнейшего анализа.
О курсе
Для кого этот курс
Начальные требования
-
Базовые знания Python: переменные, циклы, условия, функции, работа со списками и словарями.
-
Умение устанавливать библиотеки с помощью
pip(для локального выполнения проектов, опционально). -
Знакомство с основами HTML приветствуется, но не является обязательным, так как мы разберем необходимые понятия в курсе.