Интеграция с прокси-сервером Beautifulsoup

Интеграция прокси-сервера Beautifulsoup с Bright Data

Для начала перейдите на Панель управления Bright Data и нажмите «создать зону».
Выберите «Тип сети» и нажмите «Сохранить».
В Beautifulsoup заполните «IP-адрес прокси-сервера: порт» (Proxy IP:Port) в значении «прокси-сервер» (proxy-server), например brd.superproxy.io:33335.
В поле «page.authenticate» введите свой идентификатор аккаунта Bright Data и имя прокси-зоны в значение «имя пользователя» (username), например: BRD-Customer-Zone-yourZone и пароль зоны, указанный в настройках зоны.
Например:

      из bs4 импортируйте BeautifulSoup
запросы на импорт
импортировать прокси json

= {
   'http': 'http://brd-customer-[ACCOUNT_ID]-zone-[ZONE_NAME]:[ZONE_PASSWORD]@brd.superproxy.io:33335',
   'https': 'http://brd-customer-[ACCOUNT_ID]-zone-[ZONE_NAME]:[ZONE_PASSWORD]@brd.superproxy.io:33335',
}

url = «http://lumtest.com/myip.json»

requests.get (URL-адрес, прокси=прокси, верификация=false)
res.raise_for___for__status ()

res_body = res.text

суп = красивый суп (res_body, «html.parser»)

html_content = str (суп)

данные = {
   «IP»: html_ содержимое,
  
}

печать (json.dumps (данные, отступ = 4))

Менеджер прокси-серверов и интеграция Beautifulsop

Для начала перейдите на Панель управления Bright Data и нажмите «создать зону».
Выберите «Тип сети» и нажмите «Сохранить».
В Beautifulsoup заполните «IP-адрес прокси-сервера: порт» (Proxy IP:Port) в значении «прокси-сервер» (proxy-server), например brd.superproxy.io:33335.
В поле «page.authenticate» введите свой идентификатор аккаунта Bright Data и имя прокси-зоны в значение «имя пользователя» (username), например: BRD-Customer-Zone-yourZone и пароль зоны, указанный в настройках зоны.
Например:

      from bs4 import BeautifulSoup
import requests
import json

proxies = {
   'http': '127.0.0.1:24000',
   'https': '127.0.0.1:24000',
}

url = "http://lumtest.com/myip.json"

res = requests.get(url, proxies=proxies, verify=False)
res.raise_for_status()

res_body = res.text

soup = BeautifulSoup(res_body, "html.parser")

html_content = str(soup)

data = {
   "IP": html_content,
  
}

print(json.dumps(data, indent=4))

Получите прокси-серверы для Beautifulsoup

Начните использовать бесплатную пробную версию

Работает на базе отмеченной наградами прокси-сети

С более чем 150 million+ми жилых IP-адресов, лучшая в своем классе технология и таргетинг на любую страну, город, оператора и ASN – сделали наши премиальные прокси-сервисы лучшим выбором для разработчиков