Интеграция с прокси-сервером Beautifulsoup
Интеграция прокси-сервера Beautifulsoup с Bright Data
- Для начала перейдите на Панель управления Bright Data и нажмите «создать зону».
- Выберите «Тип сети» и нажмите «Сохранить».
- В Beautifulsoup заполните «IP-адрес прокси-сервера: порт» (Proxy IP:Port) в значении «прокси-сервер» (proxy-server), например brd.superproxy.io:22225.
- В поле «page.authenticate» введите свой идентификатор аккаунта Bright Data и имя прокси-зоны в значение «имя пользователя» (username), например: BRD-Customer-Zone-yourZone и пароль зоны, указанный в настройках зоны.
- Например:
из bs4 импортируйте BeautifulSoup
запросы на импорт
импортировать прокси json
= {
'http': 'http://brd-customer-[ACCOUNT_ID]-zone-[ZONE_NAME]:[ZONE_PASSWORD]@brd.superproxy.io:22225',
'https': 'http://brd-customer-[ACCOUNT_ID]-zone-[ZONE_NAME]:[ZONE_PASSWORD]@brd.superproxy.io:22225',
}
url = «http://lumtest.com/myip.json»
requests.get (URL-адрес, прокси=прокси, верификация=false)
res.raise_for___for__status ()
res_body = res.text
суп = красивый суп (res_body, «html.parser»)
html_content = str (суп)
данные = {
«IP»: html_ содержимое,
}
печать (json.dumps (данные, отступ = 4))
Менеджер прокси-серверов и интеграция Beautifulsop
- Для начала перейдите на Панель управления Bright Data и нажмите «создать зону».
- Выберите «Тип сети» и нажмите «Сохранить».
- В Beautifulsoup заполните «IP-адрес прокси-сервера: порт» (Proxy IP:Port) в значении «прокси-сервер» (proxy-server), например brd.superproxy.io:22225.
- В поле «page.authenticate» введите свой идентификатор аккаунта Bright Data и имя прокси-зоны в значение «имя пользователя» (username), например: BRD-Customer-Zone-yourZone и пароль зоны, указанный в настройках зоны.
- Например:
from bs4 import BeautifulSoup
import requests
import json
proxies = {
'http': '127.0.0.1:24000',
'https': '127.0.0.1:24000',
}
url = "http://lumtest.com/myip.json"
res = requests.get(url, proxies=proxies, verify=False)
res.raise_for_status()
res_body = res.text
soup = BeautifulSoup(res_body, "html.parser")
html_content = str(soup)
data = {
"IP": html_content,
}
print(json.dumps(data, indent=4))
Получите прокси-серверы для Beautifulsoup
Работает на базе отмеченной наградами прокси-сети
С более чем 72 миллионами жилых IP-адресов, лучшая в своем классе технология и таргетинг на любую страну, город, оператора и ASN – сделали наши премиальные прокси-сервисы лучшим выбором для разработчиков
Типы прокси для любых задач
Резидентные прокси
- 72+ млн IP-адресов
- Доступны в 195 странах
- Крупнейшая вращающаяся реальная IP-сеть
- Доступ и сканирование всех сложных сайтов
Серверные прокси
- 1 600 000+ IP-адресов
- Доступны в 98 странах
- Общие и выделенные пулы IP-адресов
- Быстрый доступ к несложным веб-сайтам
ISP прокси
- 700+ тыс IP-адресов
- Доступны в 35 странах
- Реальные статические резидентные IP-адреса без ротации
- Лучший вариант для входа в несколько учетных записей
Мобильные прокси
- 7+ млн IP-адресов
- Доступны в 195 странах
- Крупнейшая в мире IP-сеть 3G/4G с реальными одноранговыми узлами
- Проверка мобильной рекламы и сканирование мобильных сайтов
Лучшее качество обслуживания и поддержки клиентов в отрасли
Вы спрашиваете, мы разрабатываем
Каждый день выходят новые функции
Техподдержка 24/7
ответит на любые вопросы тогда, когда вам это нужно
Полная прозрачность
Панель мониторинга состояния сети в реальном времени
Персональный аккаунт-менеджер
Поможет оптимизировать производительность
Индивидуальные решения
Разработанные под ваши цели
Лидер категории прокси и сбора данных
Каждый день собирается 650ТБ общедоступных данных.
Новые выпуски функций каждый день
На службе у 7/10 ведущих университетов мира
4,6/5 – рейтинг удовлетворенности клиентов на Trustpilot