Интеграция Apify с Bright Data

Узнайте, как настроить параметры прокси Apify и интегрировать его с прокси Bright Data

Apify — мощная платформа для веб-скрапинга, извлечения данных и автоматизации процессов взаимодействия с сайтами в браузере. В магазине Apify Store представлены сотни готовых к использованию инструментов, для работы с которыми достаточно изменить несколько настроек.

Прокси часто являются неотъемлемой частью веб-скрапинга. При выполнении парсинга всегда нужно сохранять свою анонимность. Кроме того, необходимо учитывать меры по борьбе с веб-скрапингом и другие ограничения, установленные на целевом сайте.

Вот здесь и приходит на помощь Bright Data

Прокси-решения Bright Data помогут вам успешно выполнять задачи по веб-скрапингу и автоматизации. Прокси Bright Data легко интегрируются с Apify, поэтому вы сможете выполнять свою работу без опасения блокировок.

Так давайте же их установим!

Как интегрировать Apify Proxy с IP-адресами прокси Bright Data.

На сайте Bright Data

  1. Войдите в свою учетную запись Bright Data и перейдите в панель управления
  2. Нажмите на прокси и создайте зону
  3. Вы можете выбрать IP-адреса среди серверных, резидентных и мобильных прокси
  4. Сконфигурируйте и создайте зону в соответствии с требованиями проекта
  5. Кликните на иконку Settings рядом с названием зоны.
  6. Получите имя пользователя и пароль доступа.

На сайте Apify

  1. Перейдите по адресу apify.com и войдите в свою учетную запись.
  2. Войдя в консоль Apify, кликните на пункт Actors в левом меню.
  1. Во вкладке «Магазин» вы найдете парсер Google Maps. Мы будем использовать его в качестве примера. Кликните по нему.
  1. Перейдите на вкладку «Ввод».
  1. Введите ключевое слово или URL-адрес Google Maps для веб-скрапинга.
  1. Затем прокрутите страницу вниз, чтобы найти настройки прокси.
  1. Нажмите на пользовательский прокси и введите учетные данные прокси в следующем формате.
  1. http://username:password@hostname:port Имя пользователя и пароль можно взять из настроек зоны, которую мы только что создали.
  2. Имя хоста для прокси Bright Data — zproxy.lum-superproxy.io, а порт — 22225
  3. Вот как будет выглядеть окончательный URL прокси Bright Data: http://lum-customer-c_375eb5c4-zone-zone5:[email protected]:22225
  4. Затем просто нажмите кнопку «Выполнить».

После данные можно просмотреть и загрузить в виде HTML, JSON, CSV, Excel, XML и RSS-ленты.


Чтобы убедиться в том, что Apify использовал прокси, зайдите в панель управления Bright Data, перейдите к прокси и проверьте журнал событий.
При появлении вопросов обратитесь в службу поддержки Bright Data.

О прокси Bright Data:

Резидентные прокси: Благодаря 72+ млн реальных IP-адресов в 195 странах, резидентные прокси Bright Data позволяют получить доступ к содержимому любого сайта независимо от его местонахождения, обходя блокировки IP-адресов и CAPTCHA.

ISP прокси: Благодаря 700 000+ IP-адресов провайдеров, вы сможете использовать реальные статические IP-адреса из любого города мира, предоставленные Bright Data в эксклюзивное пользование на необходимый срок.

Серверные прокси: Прокси-сеть Bright Data насчитывает по всему миру 770+ тыс. серверных IP-адресов разных типов в общем пуле IP-адресов и для индивидуальной покупки.

Мобильные прокси: Благодаря 7+ млн мобильных IP-адресов передовая мобильная IP-сеть Bright Data является самой быстрой и крупной в мире и состоит из реальных 3G/4G/5G IP-адресов.

United States flag

4,925,324
IP

Germany flag

1,323,619
IP

Italy flag

1,391,971
IP

France flag

566,301
IP

China flag

1,095,334
IP

Canada flag

449,820
IP

Spain flag

580,312
IP

Russia flag

3,241,755
IP

Japan flag

346,230
IP

India flag

5,546,609
IP