Узнайте, как настроить параметры прокси Apify и интегрировать его с прокси Bright Data
Apify — мощная платформа для веб-скрапинга, извлечения данных и автоматизации процессов взаимодействия с сайтами в браузере. В магазине Apify Store представлены сотни готовых к использованию инструментов, для работы с которыми достаточно изменить несколько настроек.
Прокси часто являются неотъемлемой частью веб-скрапинга. При выполнении парсинга всегда нужно сохранять свою анонимность. Кроме того, необходимо учитывать меры по борьбе с веб-скрапингом и другие ограничения, установленные на целевом сайте.
Вот здесь и приходит на помощь Bright Data
Прокси-решения Bright Data помогут вам успешно выполнять задачи по веб-скрапингу и автоматизации. Прокси Bright Data легко интегрируются с Apify, поэтому вы сможете выполнять свою работу без опасения блокировок.
Так давайте же их установим!
Как интегрировать Apify Proxy с IP-адресами прокси Bright Data.
На сайте Bright Data
- Войдите в свою учетную запись Bright Data и перейдите в панель управления
- Нажмите на прокси и создайте зону
- Вы можете выбрать IP-адреса среди серверных, резидентных и мобильных прокси
- Сконфигурируйте и создайте зону в соответствии с требованиями проекта
- Кликните на иконку Settings рядом с названием зоны.
- Получите имя пользователя и пароль доступа.
На сайте Apify
- Перейдите по адресу apify.com и войдите в свою учетную запись.
- Войдя в консоль Apify, кликните на пункт Actors в левом меню.
- Во вкладке «Магазин» вы найдете парсер Google Maps. Мы будем использовать его в качестве примера. Кликните по нему.
- Перейдите на вкладку «Ввод».
- Введите ключевое слово или URL-адрес Google Maps для веб-скрапинга.
- Затем прокрутите страницу вниз, чтобы найти настройки прокси.
- Нажмите на пользовательский прокси и введите учетные данные прокси в следующем формате.
- http://username:password@hostname:port Имя пользователя и пароль можно взять из настроек зоны, которую мы только что создали.
- Имя хоста для прокси Bright Data —
zproxy.lum-superproxy.io
, а порт — 22225 - Вот как будет выглядеть окончательный URL прокси Bright Data:
http://lum-customer-c_375eb5c4-zone-zone5
:[email protected]:22225 - Затем просто нажмите кнопку «Выполнить».
После данные можно просмотреть и загрузить в виде HTML, JSON, CSV, Excel, XML и RSS-ленты.
Чтобы убедиться в том, что Apify использовал прокси, зайдите в панель управления Bright Data, перейдите к прокси и проверьте журнал событий.
При появлении вопросов обратитесь в службу поддержки Bright Data.
О прокси Bright Data:
Резидентные прокси: Благодаря 72+ млн реальных IP-адресов в 195 странах, резидентные прокси Bright Data позволяют получить доступ к содержимому любого сайта независимо от его местонахождения, обходя блокировки IP-адресов и CAPTCHA.
ISP прокси: Благодаря 700 000+ IP-адресов провайдеров, вы сможете использовать реальные статические IP-адреса из любого города мира, предоставленные Bright Data в эксклюзивное пользование на необходимый срок.
Серверные прокси: Прокси-сеть Bright Data насчитывает по всему миру 770+ тыс. серверных IP-адресов разных типов в общем пуле IP-адресов и для индивидуальной покупки.
Мобильные прокси: Благодаря 7+ млн мобильных IP-адресов передовая мобильная IP-сеть Bright Data является самой быстрой и крупной в мире и состоит из реальных 3G/4G/5G IP-адресов.