WebHarvy — инструмент, позволяющий легко извлекать с сайтов текст, HTML, изображения, URL и электронные письма, и сохранять извлеченное содержимое в различных форматах. Если вы проводите много операций по веб-скрапингу, использование одного из прокси-сервисов Bright Data, поможет вам повысить их успешность и направить к целевому сайту большее количество одновременных запросов.
Настройка WebHarvy
- Скачать и установить парсер WebHarvy
- Перейдите на сайт Webharvy → Главная → Настройки → Настройки прокси
Настройка учетной записи Bright Data
- Зарегистрируйтесь, чтобы получить доступ к прокси-сети Bright Data
- Перейдите к панели управления Bright Data.
- В разделе «Интеграция с прокси-сетью Bright Data» выберите опцию «С помощью краулера или бота»
- Нажмите кнопку «Далее»
- На странице с примерами API вы увидите следующую информацию:
адрес прокси, номер порта, имя пользователя и пароль.
- Вернитесь в настройки прокси WebHarvy и вставьте данные из Bright Data
. - Нажмите на кнопку «+».
- Нажмите кнопку «Применить»
.Обратите внимание:
Webharvy будет использовать прокси-серверы только во время майнинга.
Конфигурационный браузер Webharvy не использует прокси-сервер, поэтому при проверке IP-адреса во время его применения будет доступен реальный IP-адрес вашего компьютера.
Чтобы браузер конфигурации использовал прокси-сервер, необходимо задать адрес прокси в Windows.
Чтобы отключить прокси-сервер, достаточно снять флажок с пункта «Включить сетевое подключение через прокси-сервер» на странице Webharvy → Главное меню → Настройки → Настройки прокси.
Кроме того, вы можете использовать наш инструмент по сбору данных для более быстрого и простого процесса.
