Интеграция прокси в Selenium

Новый продукт от Bright Data: Scraping Browser

Совместимо с Selenium
Легко сделайте API-вызов для получения любого количества сеансов браузера и взаимодействия с ними с использованием нашего Selenium Scraping Browser через протокол CDP. Идеально подходит для проектов парсинга, которые требуют взаимодействия с веб-сайтами для извлечения данных, таких как наведение на страницу, клики по кнопкам, прокрутка, добавление текста и т.д

Пробная версия

Что такое Selenium?

“Selenium – это передовое программное обеспечение для автоматизации браузера, используемое для моделирования среды просмотра для наиболее точного тестирования веб-сайтов и многого другого, аналогично Puppeteer. Поднимите свои онлайн-операции на новый уровень, интегрировав Selenium с супер-прокси-серверами от Bright Data.

Selenium интеграция с прокси

Начните, перейдя на панель управления Bright Data и нажав ‘Создать зону’
Выберите ‘Тип сети’ и нажмите ‘Сохранить’
В Selenium заполните ‘Proxy IP:Port’ в функции ‘setProxy’, например: zproxy.lum-superproxy.io:22225 для обоих протоколов HTTP и HTTPS.
В разделе ‘sendKeys’ введите свой идентификатор учетной записи Bright Data и название зоны прокси: lum-customer-CUSTOMER-zone-YOURZONE, а также пароль зоны, найденный в настройках зоны.
Например:

      const {Builder, By, Key, until} = require('selenium-webdriver');
const proxy = require('selenium-webdriver/proxy');

(async function example(){
  let driver = await new Builder().forBrowser('firefox').setProxy(proxy.manual({
    http: 'zproxy.lum-superproxy.io:22225',
    https: 'zproxy.lum-superproxy.io:22225'
  })).build()

  try {
    await driver.get('http://lumtest.com/myip.json');
    driver.switchTo().alert()
      .sendKeys('lum-customer-USERNAME-zone-YOURZONE'+Key.TAB+'PASSWORD');
    driver.switchTo().alert().accept();
  } finally {
      await driver.quit();
  }
})();

Интеграция Proxy Manager и Selenium

Создайте зону с выбором сети, типа IP и количеством IP-адресов, которые вы хотите использовать.
Установите Proxy Manager
Нажмите ‘Добавить новый прокси’ и выберите необходимую зону и настройки, затем нажмите ‘Сохранить’.
В Selenium, в разделе setProxy введите свой локальный IP и порт менеджера прокси (например, 127.0.0.1:24000).
Локальный IP-адрес хоста – 127.0.0.1
Порт, созданный в Proxy Manager, равен 24XXX, например, 24000
Оставьте значения имени пользователя и пароля пустыми, поскольку Proxy Manager от Bright Data уже был аутентифицирован с Super Proxy.
Например:

      const {Builder, By, Key, until} = require('selenium-webdriver');
const proxy = require('selenium-webdriver/proxy');

(async function example(){
    let driver = await new Builder().forBrowser('firefox').setProxy(proxy.manual({
        http: '127.0.0.1:24000',
        https: '127.0.0.1:24000'
    })).build()

    try {
        await driver.get('http://lumtest.com/myip.json');
        driver.switchTo().alert().accept();
    } finally {
        await driver.quit();
    }
})();