Интеграция Apify с Bright Data

Узнайте, как настроить параметры прокси Apify и интегрировать его с прокси Bright Data

Apify — мощная платформа для веб-скрапинга, извлечения данных и автоматизации процессов взаимодействия с сайтами в браузере. В магазине Apify Store представлены сотни готовых к использованию инструментов, для работы с которыми достаточно изменить несколько настроек.

Прокси часто являются неотъемлемой частью веб-скрапинга. При выполнении парсинга всегда нужно сохранять свою анонимность. Кроме того, необходимо учитывать меры по борьбе с веб-скрапингом и другие ограничения, установленные на целевом сайте.

Вот здесь и приходит на помощь Bright Data

Прокси-решения Bright Data помогут вам успешно выполнять задачи по веб-скрапингу и автоматизации. Прокси Bright Data легко интегрируются с Apify, поэтому вы сможете выполнять свою работу без опасения блокировок.

Так давайте же их установим!

Как интегрировать Apify Proxy с IP-адресами прокси Bright Data.

На сайте Bright Data

1. Войдите в свою учетную запись Bright Data и перейдите в панель управления
2. Нажмите на прокси и создайте зону
3. Вы можете выбрать IP-адреса среди серверных, резидентных и мобильных прокси
4. Сконфигурируйте и создайте зону в соответствии с требованиями проекта
5. Кликните на иконку Settings рядом с названием зоны.
6. Получите имя пользователя и пароль доступа.

На сайте Apify

1. Перейдите по адресу apify.com и войдите в свою учетную запись.
2. Войдя в консоль Apify, кликните на пункт Actors в левом меню.

3. Во вкладке «Магазин» вы найдете парсер Google Maps. Мы будем использовать его в качестве примера. Кликните по нему.

4. Перейдите на вкладку «Ввод».

5. Введите ключевое слово или URL-адрес Google Maps для веб-скрапинга.

6. Затем прокрутите страницу вниз, чтобы найти настройки прокси.

7. Нажмите на пользовательский прокси и введите учетные данные прокси в следующем формате.

8. http://username:password@hostname:port Имя пользователя и пароль можно взять из настроек зоны, которую мы только что создали.
9. Имя хоста для прокси Bright Data — zproxy.lum-superproxy.io, а порт — 22225
10. Вот как будет выглядеть окончательный URL прокси Bright Data: http://lum-customer-c_375eb5c4-zone-zone5:[email protected]:22225
11. Затем просто нажмите кнопку «Выполнить».

После данные можно просмотреть и загрузить в виде HTML, JSON, CSV, Excel, XML и RSS-ленты.

Чтобы убедиться в том, что Apify использовал прокси, зайдите в панель управления Bright Data, перейдите к прокси и проверьте журнал событий.
При появлении вопросов обратитесь в службу поддержки Bright Data.

О прокси Bright Data:

Резидентные прокси: Благодаря 72+ млн реальных IP-адресов в 195 странах, резидентные прокси Bright Data позволяют получить доступ к содержимому любого сайта независимо от его местонахождения, обходя блокировки IP-адресов и CAPTCHA.

ISP прокси: Благодаря 700 000+ IP-адресов провайдеров, вы сможете использовать реальные статические IP-адреса из любого города мира, предоставленные Bright Data в эксклюзивное пользование на необходимый срок.

Серверные прокси: Прокси-сеть Bright Data насчитывает по всему миру 770+ тыс. серверных IP-адресов разных типов в общем пуле IP-адресов и для индивидуальной покупки.

Мобильные прокси: Благодаря 7+ млн мобильных IP-адресов передовая мобильная IP-сеть Bright Data является самой быстрой и крупной в мире и состоит из реальных 3G/4G/5G IP-адресов.