Использование прокси Apify

Что такое Apify?

Apify — мощная платформа для веб-скрапинга, извлечения данных и автоматизации процессов взаимодействия с сайтами в браузере. В магазине Apify Store представлены сотни готовых к использованию инструментов, для работы с которыми достаточно изменить несколько настроек.

Прокси часто являются неотъемлемой частью веб-скрапинга. При выполнении парсинга всегда нужно сохранять свою анонимность. Кроме того, необходимо учитывать меры по борьбе с веб-скрапингом и другие ограничения, установленные на целевом сайте.

Вот здесь и приходит на помощь Bright Data

Прокси-решения Bright Data помогут вам успешно выполнять задачи по веб-скрапингу и автоматизации. Прокси Bright Data легко интегрируются с Apify, поэтому вы сможете выполнять свою работу без опасения блокировок.

Получить прокси для Apify

Как настроить Apify с использованием прокси Bright Data:

Перейдите на Bright Data:

Войдите в свою учетную запись Bright Data и перейдите в панель управления
Нажмите на прокси и создайте зону
Вы можете выбрать IP-адреса среди серверных, резидентных и мобильных прокси
Сконфигурируйте и создайте зону в соответствии с требованиями проекта
Кликните на иконку Settings рядом с названием зоны
Получите имя пользователя и пароль доступа.

Перейдите на Apify:

Перейдите по адресу apify.com и войдите в свою учетную запись.
Войдя в консоль Apify, кликните на пункт Actors в левом меню.
Во вкладке «Магазин» вы найдете парсер Google Maps. Мы будем использовать его в качестве примера. Кликните по нему.
Перейдите на вкладку «Ввод».
Введите ключевое слово или URL-адрес Google Maps для веб-скрапинга.
Затем прокрутите страницу вниз, чтобы найти настройки прокси.
Нажмите на пользовательский прокси и введите учетные данные прокси в следующем формате.
http://username:password@hostname:port Имя пользователя и пароль можно взять из настроек зоны, которую мы только что создали.
Имя хоста для прокси Bright Data — zproxy.lum-superproxy.io, а порт — 33335
Вот как будет выглядеть окончательный URL прокси Bright Data: http://lum-customer-c_375eb5c4-zone-zone5:[email protected]:33335
Затем просто нажмите кнопку «Выполнить».

После данные можно просмотреть и загрузить в виде HTML, JSON, CSV, Excel, XML и RSS-ленты.

Чтобы убедиться в том, что Apify использовал прокси, зайдите в панель управления Bright Data, перейдите к прокси и проверьте журнал событий.

Получить прокси для Apify

Apify user dashboard with various navigation options and cards.

Web Scraper tool interface in Apify platform.

Готовы начать?

Screenshot of a data table showing JSON data output.

Работает на базе отмеченной наградами прокси-сети

С более чем 72 миллионами жилых IP-адресов, лучшая в своем классе технология и таргетинг на любую страну, город, оператора и ASN – сделали наши премиальные прокси-сервисы лучшим выбором для разработчиков