Создание веб-агентов искусственного интеллекта с помощью OpenAI SDK и Web Unlocker

В этом руководстве вы узнаете:

Что представляет собой OpenAI Agents SDK
Почему интеграция с сервисом веб-разблокировки – ключ к максимальной эффективности
Как создать агента на Python с помощью OpenAI Agents SDK и Web Unlocker API в подробном пошаговом руководстве

Давайте погрузимся!

Что такое OpenAI Agents SDK?

OpenAI Agents SDK – это библиотека Python с открытым исходным кодом от компании OpenAI. Она предназначена для создания приложений ИИ на основе агентов простым, легким и готовым к производству способом. Эта библиотека является усовершенствованным развитием более раннего экспериментального проекта OpenAI под названием Swarm.

OpenAI Agents SDK фокусируется на предоставлении всего нескольких основных примитивов с минимальной абстракцией:

Агенты: LLM в паре с конкретными инструкциями и инструментами для выполнения задач
Передачи: Позволяет агентам при необходимости делегировать задачи другим агентам
Защитные ограждения: Проверка вводимых агентом данных на соответствие ожидаемым форматам или условиям

Эти строительные блоки в сочетании с гибкостью Python позволяют легко определять сложные взаимодействия между агентами и инструментами.

SDK также включает встроенную трассировку, что позволяет визуализировать, отлаживать и оценивать рабочие процессы агентов. Он даже поддерживает тонкую настройку моделей для ваших конкретных случаев использования.

Основные недостатки этого подхода к созданию агентов ИИ

Большинство агентов ИИ нацелены на автоматизацию операций с веб-страницами, будь то поиск контента или взаимодействие с элементами на странице. Другими словами, они должны программно просматривать веб-страницы.

Помимо потенциального непонимания со стороны самой модели ИИ, самая большая проблема, с которой сталкиваются такие агенты, – это защита сайтов. Причина в том, что на многих сайтах применяются технологии защиты от ботов и скрапинга, которые могут блокировать или вводить в заблуждение агентов ИИ. Это особенно актуально сегодня, когда CAPTCHA и продвинутые системы обнаружения ботов становятся все более распространенными.

Так неужели это конец пути для веб-агентов с искусственным интеллектом? Абсолютно нет!

Чтобы преодолеть эти барьеры, необходимо расширить возможности агента по навигации в Интернете, интегрировав его с таким решением, как API Web Unlocker от Bright Data. Этот инструмент работает с любым HTTP-клиентом или решением, подключающимся к Интернету (включая агентов ИИ), выступая в роли шлюза для разблокировки веб-страниц. Он обеспечивает чистый, незаблокированный HTML с любой веб-страницы. Больше никаких CAPTCHA, запретов IP-адресов или заблокированного контента.

Узнайте, почему объединение OpenAI Agents SDK с Web Unlocker API – это оптимальная стратегия для создания мощных агентов ИИ, способных работать в Интернете!

Как интегрировать SDK агентов с API веб-разблокировщика

В этом разделе вы узнаете, как интегрировать OpenAI Agents SDK с Bright Data’s Web Unlocker API для создания агента искусственного интеллекта, способного:

Резюмирование текста любой веб-страницы
Получение структурированных данных о товарах с веб-сайтов электронной коммерции
Сбор ключевой информации из новостных статей

Для этого агент поручает OpenAI Agents SDK использовать Web Unlocker API в качестве механизма для получения содержимого любой веб-страницы. После того как содержимое будет получено, агент применит логику искусственного интеллекта для извлечения и форматирования данных, необходимых для каждой из вышеперечисленных задач.

Отказ от ответственности: приведенные выше три варианта использования являются лишь примерами. Приведенный здесь подход можно распространить на многие другие сценарии, настроив поведение агента.

Следуйте приведенным ниже шагам, чтобы создать агента для сбора искусственного интеллекта на Python, используя OpenAI Agents SDK и Bright Data’s Web Unlocker API для высокой производительности!

Пререквизиты

Прежде чем приступить к изучению этого руководства, убедитесь, что у вас есть все необходимое:

Python 3 или выше установлен локально
Активная учетная запись Bright Data
Активная учетная запись OpenAI
Базовое понимание того, как работают HTTP-запросы
Некоторые знания о том, как работают модели Pydantic
Общее представление о том, как функционируют агенты ИИ

Не волнуйтесь, если у вас еще не все настроено. В следующих разделах вы получите инструкции по настройке.

Шаг №1: Настройка проекта

Прежде чем мы начнем, убедитесь, что в вашей системе установлен Python 3. Если нет, загрузите Python и следуйте инструкциям по установке для вашей операционной системы.

Откройте терминал и создайте новую папку для проекта агента скраппинга:

mkdir openai-sdk-agent

Папка openai-sdk-agent будет содержать весь код для вашего агента на базе Python, работающего с Agents SDK.

Перейдите в папку с проектом и создайте виртуальную среду:

cd openai-sdk-agent
python -m venv venv

Загрузите папку с проектом в вашу любимую Python IDE. Visual Studio Code с расширением Python или PyCharm Community Edition – отличные варианты.

В папке openai-sdk-agent создайте новый файл Python под названием agent.py. Теперь структура ваших папок должна выглядеть следующим образом:

Структура файлов проекта агента искусственного интеллекта

В настоящее время scraper.py – это пустой Python-скрипт, но вскоре он будет содержать необходимую логику ИИ-агента.

В терминале IDE активируйте виртуальную среду. В Linux или macOS выполните эту команду:

./env/bin/activate

Аналогично, в Windows выполните команду:

env/Scripts/activate

Все готово! Теперь у вас есть среда Python для создания мощного ИИ-агента с помощью OpenAI Agents SDK и веб-разблокировщика.

Шаг #2: Установите зависимости проекта и приступайте к работе

В этом проекте используются следующие библиотеки Python:

openai-agents: OpenAI Agents SDK, используемый для создания агентов ИИ на Python.
запросы: Для подключения к API Web Unlocker компании Bright Data и получения HTML-содержимого веб-страницы, на которой будет работать агент ИИ. Узнайте больше в нашем руководстве по освоению библиотеки Python Requests.
pydantic: Определение структурированных моделей вывода, позволяющих агенту возвращать данные в понятном и проверенном формате.
markdownify: Преобразование необработанного HTML-содержимого в чистый Markdown. (Скоро мы объясним, почему это полезно).
python-dotenv: Загрузка переменных окружения из файла .env. Именно в нем мы будем хранить секреты для OpenAI и Bright Data.

В активированной виртуальной среде установите их все:

pip install requests pydantic openai-agents openai-agents markdownify python-dotenv

Теперь инициализируйте scraper.py со следующими импортами и кодовым шаблоном async:

import asyncio
from agents import Agent, RunResult, Runner, function_tool
import requests
from pydantic import BaseModel
from markdownify import markdownify as md
from dotenv import load_dotenv 

# AI agent logic...

async def run():
    # Call the async AI agent logic...

if __name__ == "__main__":
    asyncio.run(run())

Замечательно! Пора загрузить переменные окружения.

Шаг #3: Настройка чтения переменных окружения

Добавьте файл .env в папку с проектом:

В этом файле будут храниться переменные окружения, такие как ключи API и секретные токены. Чтобы загрузить переменные окружения из файла .env, используйте load_dotenv() из пакета dotenv:

load_dotenv()

Теперь вы можете читать определенные переменные окружения с помощью os.getenv(), как показано ниже:

os.getenv("ENV_NAME")

Не забудьте импортировать os из стандартной библиотеки Python:

import os

Отлично! Переменные окружения готовы к считыванию.

Шаг #4: Настройка OpenAI Agents SDK

Для использования OpenAI Agents SDK вам необходим действующий API-ключ OpenAI. Если вы еще не сгенерировали его, следуйте официальному руководству OpenAI по созданию ключа API.

Как только вы получите его, добавьте ключ в файл .env следующим образом:

OPENAI_API_KEY="<YOUR_OPENAI_KEY>"

Обязательно замените на настоящий ключ.

Никаких дополнительных настроек не требуется, так как openai-agents SDK предназначен для автоматического считывания ключа API из env OPENAI_API_KEY.

Шаг #5: Настройка API Web Unlocker

Если вы еще не сделали этого, создайте учетную запись Bright Data. В противном случае просто войдите в систему.

Затем прочитайте официальную документацию Bright Data по Web Unlocker, чтобы получить свой API-токен. В качестве альтернативы выполните следующие шаги.

На странице Bright Data “User Dashboard” нажмите на опцию “Get proxy products”:

Щелкните на опции "Получить прокси-продукты".

В таблице продуктов найдите строку с надписью “unblocker” и нажмите на нее:

⚠️Note: Если вы еще не сделали этого, вам придется создать новую зону API Web Unblocker. Для начала ознакомьтесь с документацией по настройке Web Unblocker.

На странице “Разблокировщик” скопируйте свой API-токен с помощью иконки буфера обмена:

Также убедитесь, что тумблер в правом верхнем углу переключен в положение “Вкл.”, что означает, что продукт Web Unlocker активен.

На вкладке “Конфигурация” убедитесь, что эти параметры включены для оптимальной эффективности:

Убедитесь, что премиальные опции эффективности включены

В файле .env добавьте следующую переменную окружения:

BRIGHT_DATA_WEB_UNLOCKER_API_TOKEN="<YOUR_BRIGHT_DATA_WEB_UNLOCKER_API_TOKEN>"

Замените заполнитель на ваш настоящий API-токен.

Отлично! Теперь вы можете использовать в своем проекте как OpenAI SDK, так и API Web Unlocker от Bright Data.

Шаг № 6: Создание функции извлечения содержимого веб-страницы

Создайте функцию get_page_content(), которая:

Читает переменную окружения BRIGHT_DATA_WEB_UNLOCKER_API_TOKEN
Использует запросы для отправки запроса к API Web Unlocker компании Bright Data по указанному URL-адресу.
Получает необработанный HTML, возвращенный API
Преобразует HTML в Markdown и возвращает его

Вот как можно реализовать описанную выше логику:

@function_tool
def get_page_content(url: str) -> str:
    """
    Retrieves the HTML content of a given web page using Bright Data's Web Unlocker API,
    bypassing anti-bot protections. The response is converted from raw HTML to Markdown
    for easier and cheaper processing.

    Args:
        url (str): The URL of the web page to scrape.

    Returns:
        str: The Markdown-formatted content of the requested page.
    """

    # Read the Bright Data's Web Unlocker API token from the envs
    BRIGHT_DATA_WEB_UNLOCKER_API_TOKEN = os.getenv("BRIGHT_DATA_WEB_UNLOCKER_API_TOKEN")

    # Configure the Web Unlocker API call
    api_url = "https://api.brightdata.com/request"
    headers = {
        "Content-Type": "application/json",
        "Authorization": f"Bearer {BRIGHT_DATA_WEB_UNLOCKER_API_TOKEN}"
    }
    data = {
        "zone": "unblocker",
        "url": url,
        "format": "raw"
    }

    # Make the call to Web Uncloker to retrieve the unblocked HTML of the target page
    response = requests.post(api_url, headers=headers, data=json.dumps(data))

    # Extract the raw HTML response
    html = response.text

    # Convert the HTML to markdown and return it
    markdown_text = md(html)

    return markdown_text

Примечание 1: Функция должна быть аннотирована с помощью @function_tool. Этот специальный декоратор сообщает OpenAI Agents SDK, что данная функция может быть использована агентом в качестве инструмента для выполнения определенных действий. В данном случае функция выступает в качестве “движка”, который агент может использовать для получения содержимого веб-страницы, на которой он будет работать.

Примечание 2: Функция get_page_content() должна явно объявлять входные типы.
Если их опустить, вы получите ошибку вида: Ошибка при получении ответа: Код ошибки: 400 - {'error': {'message': "Неверная схема для функции 'get_page_content': В context=('properties', 'url'), схема должна иметь ключ 'type'.``"

Теперь вы, возможно, зададитесь вопросом: зачем преобразовывать необработанный HTML в Markdown? Ответ прост – эффективность и экономичность!

HTML очень многословен и часто включает ненужные элементы, такие как скрипты, стили и метаданные. Это контент, который обычно не нужен агентам искусственного интеллекта. Если вашему агенту нужно только самое необходимое, например текст, ссылки и изображения, Markdown обеспечит гораздо более чистое и компактное представление.

Преобразование HTML в Markdown позволяет сократить размер исходного текста до 99%, что позволяет сэкономить оба ресурса:

Токены, что снижает стоимость при использовании моделей OpenAI
Время обработки, поскольку модели быстрее работают с небольшими исходными данными

Подробнее об этом читайте в статье “Почему новые агенты искусственного интеллекта выбирают Markdown вместо HTML?“.

Шаг № 7: Определите модели данных

Для правильной работы агентам OpenAI SDK требуются модели Pydantic, определяющие ожидаемую структуру выходных данных. Итак, вспомним, что агент, который мы создаем, может возвращать один из трех возможных выходов:

Краткое содержание страницы
Информация о продукте
Информация о новостной статье

Итак, давайте определим три соответствующие модели Pydantic:

class Summary(BaseModel):
    summary: str

class Product(BaseModel):
    name: str
    price: Optional[float] = None
    currency: Optional[str] = None
    ratings: Optional[int] = None
    rating_score: Optional[float] = None

class News(BaseModel):
    title: str
    subtitle: Optional[str] = None
    authors: Optional[List[str]] = None
    text: str
    publication_date: Optional[str] = None

Примечание: Использование Optional делает вашего агента более надежным и универсальным. Не все страницы будут включать все данные, определенные схемой, поэтому такая гибкость помогает предотвратить ошибки, когда поля отсутствуют.

Не забудьте импортировать Optional и List из набора:

from typing import Optional, List

Фантастика! Теперь вы готовы к построению логики вашего агента.

Шаг № 8: Инициализация логики агента

Используйте класс Agent из openai-agents SDK для определения трех специализированных агентов:

summarization_agent = Agent(
    name="Text Summarization Agent",
    instructions="You are a content summarization agent that summarizes the input text.",
    tools=[get_page_content],
    output_type=Summary,
)

product_info_agent = Agent(
    name="Product Information Agent",
    instructions="You are a product parsing agent that extracts product details from text.",
    tools=[get_page_content],
    output_type=Product,
)

news_info_agent = Agent(
    name="News Information Agent",
    instructions="You are a news parsing agent that extracts relevant news details from text.",
    tools=[get_page_content],
    output_type=News,
)

Каждый агент:

Включает в себя четкую строку инструкций, описывающую, что он должен делать. Это то, что OpenAI Agents SDK будет использовать для управления поведением агента.
Использует функцию get_page_content() в качестве инструмента для получения входных данных (т.е. содержимого веб-страницы).
Возвращает вывод в одной из моделей Pydantic(Summary, Product или News), определенных ранее.

Чтобы автоматически направлять запросы пользователей к нужному специализированному агенту, определите агента более высокого уровня:

routing_agent = Agent(
    name="Routing Agent",
    instructions=(
        "You are a high-level decision-making agent. Based on the user's request, "
        "hand off the task to the appropriate agent."
    ),
    handoffs=[summarization_agent, product_info_agent, news_info_agent],
)

Это агент, которого вы будете опрашивать в функции run(), чтобы управлять логикой агента ИИ.

Шаг № 9: Реализация цикла выполнения

В функции run() добавьте следующий цикл для запуска логики агента ИИ:

# Keep iterating until the use type "exit"
while True:
    # Read the user's request
    request = input("Your request -> ")
    # Stops the execution if the user types "exit"
    if request.lower() in ["exit"]:
        print("Exiting the agent...")
        break
    # Read the page URL to operate on
    url = input("Page URL -> ")

    # Routing the user's request to the right agent
    output = await Runner.run(routing_agent, input=f"{request} {url}")
    # Conver the agent's output to a JSON string
    json_output = json.dumps(output.final_output.model_dump(), indent=4)
    print(f"Output -> \n{json_output}\n\n")

Этот цикл постоянно прослушивает пользовательский ввод и обрабатывает каждый запрос, направляя его нужному агенту (резюме, продукт или новость). Он объединяет запрос пользователя с целевым URL, выполняет логику, а затем выводит структурированный результат в формате JSON с помощью json. Импортируйте его с помощью:

import json

Потрясающе! Интеграция вашего OpenAI Agents SDK с Bright Data’s Web Unlocker API завершена.

Шаг №10: Соберите все вместе

Теперь ваш файл scraper.py должен содержать:

import asyncio
from agents import Agent, RunResult, Runner, function_tool
import requests
from pydantic import BaseModel
from markdownify import markdownify as md
from dotenv import load_dotenv
import os
from typing import Optional, List
import json

# Load the environment variables from the .env file
load_dotenv()

# Define the Pydantic output models for your AI agent
class Summary(BaseModel):
    summary: str

class Product(BaseModel):
    name: str
    price: Optional[float] = None
    currency: Optional[str] = None
    ratings: Optional[int] = None
    rating_score: Optional[float] = None

class News(BaseModel):
    title: str
    subtitle: Optional[str] = None
    authors: Optional[List[str]] = None
    text: str
    publication_date: Optional[str] = None

@function_tool
def get_page_content(url: str) -> str:
    """
    Retrieves the HTML content of a given web page using Bright Data's Web Unlocker API,
    bypassing anti-bot protections. The response is converted from raw HTML to Markdown
    for easier and cheaper processing.

    Args:
        url (str): The URL of the web page to scrape.

    Returns:
        str: The Markdown-formatted content of the requested page.
    """

    # Read the Bright Data's Web Unlocker API token from the envs
    BRIGHT_DATA_WEB_UNLOCKER_API_TOKEN = os.getenv("BRIGHT_DATA_WEB_UNLOCKER_API_TOKEN")

    # Configure the Web Unlocker API call
    api_url = "https://api.brightdata.com/request"
    headers = {
        "Content-Type": "application/json",
        "Authorization": f"Bearer {BRIGHT_DATA_WEB_UNLOCKER_API_TOKEN}"
    }
    data = {
        "zone": "unblocker",
        "url": url,
        "format": "raw"
    }

    # Make the call to Web Uncloker to retrieve the unblocked HTML of the target page
    response = requests.post(api_url, headers=headers, data=json.dumps(data))

    # Extract the raw HTML response
    html = response.text

    # Convert the HTML to markdown and return it
    markdown_text = md(html)

    return markdown_text

# Define the individual OpenAI agents
summarization_agent = Agent(
    name="Text Summarization Agent",
    instructions="You are a content summarization agent that summarizes the input text.",
    tools=[get_page_content],
    output_type=Summary,
)

product_info_agent = Agent(
    name="Product Information Agent",
    instructions="You are a product parsing agent that extracts product details from text.",
    tools=[get_page_content],
    output_type=Product,
)

news_info_agent = Agent(
    name="News Information Agent",
    instructions="You are a news parsing agent that extracts relevant news details from text.",
    tools=[get_page_content],
    output_type=News,
)

# Define a high-level routing agent that delegates tasks to the appropriate specialized agent
routing_agent = Agent(
    name="Routing Agent",
    instructions=(
        "You are a high-level decision-making agent. Based on the user's request, "
        "hand off the task to the appropriate agent."
    ),
    handoffs=[summarization_agent, product_info_agent, news_info_agent],
)

async def run():
    # Keep iterating until the use type "exit"
    while True:
        # Read the user's request
        request = input("Your request -> ")
        # Stops the execution if the user types "exit"
        if request.lower() in ["exit"]:
            print("Exiting the agent...")
            break
        # Read the page URL to operate on
        url = input("Page URL -> ")

        # Routing the user's request to the right agent
        output = await Runner.run(routing_agent, input=f"{request} {url}")
        # Conver the agent's output to a JSON string
        json_output = json.dumps(output.final_output.model_dump(), indent=4)
        print(f"Output -> \n{json_output}\n\n")


if __name__ == "__main__":
    asyncio.run(run())

И вуаля! Всего за 100 строк языка Python вы создали агент искусственного интеллекта, который может:

Резюмируйте содержимое любой веб-страницы
Извлечение информации о продукте с любого сайта электронной коммерции
Извлеките детали новостей из любой статьи в Интернете

Пора увидеть его в действии!

Шаг № 11: тестирование агента искусственного интеллекта

Чтобы запустить агента искусственного интеллекта, выполните команду:

python agent.py

Теперь предположим, что вам нужно обобщить содержимое центра услуг искусственного интеллекта Bright Data. Просто введите такой запрос:

Вход для получения краткой информации об услугах Bright Data в области искусственного интеллекта

Ниже приведен результат в формате JSON, который вы получите:

На этот раз предположим, что вы хотите получить данные о продукте со страницы товара Amazon, например, из списка PS5:

Обычно системы Amazon CAPTCHA и антибот блокируют ваш запрос. Благодаря API Web Unlocker ваш ИИ-агент может получить доступ к странице и проанализировать ее, не подвергаясь блокировке:

Выходные данные будут такими:

{
    "name": "PlayStation\u00ae5 console (slim)",
    "price": 499.0,
    "currency": "USD",
    "ratings": 6321,
    "rating_score": 4.7
}

Это точные данные о продукте со страницы Amazon!

Наконец, предположим, что вы хотите получить структурированную информацию о новостях из статьи Yahoo News:

Достигните своей цели, используя следующие исходные данные:

Your request -> Give me news info
Page URL -> https://www.yahoo.com/news/pope-francis-dies-88-080859417.html

Результат будет таким:

{
    "title": "Pope Francis Dies at 88",
    "subtitle": null,
    "authors": [
        "Nick Vivarelli",
        "Wilson Chapman"
    ],
    "text": "Pope Francis, the 266th Catholic Church leader who tried to position the church to be more inclusive, died on Easter Monday, Vatican officials confirmed. He was 88. (omitted for brevity...)",
    "publication_date": "Mon, April 21, 2025 at 8:08 AM UTC"
}

И снова ИИ-агент предоставляет точные данные, а благодаря Web Unlocker нет никаких блокировок новостного сайта!

Заключение

В этой статье вы узнали, как использовать OpenAI Agents SDK в сочетании с API веб-разблокировки для создания высокоэффективного веб-агента на Python.

Как было продемонстрировано, сочетание OpenAI SDK с API Web Unlocker от Bright Data позволяет создавать агентов ИИ, которые могут надежно работать практически на любой веб-странице. Это лишь один пример того, как продукты и услуги Bright Data могут поддерживать мощные интеграции ИИ.

Ознакомьтесь с нашими решениями для разработки агентов искусственного интеллекта:

Автономные агенты искусственного интеллекта: Поиск, доступ и взаимодействие с любыми веб-сайтами в режиме реального времени с помощью мощного набора API.
Вертикальные приложения искусственного интеллекта: создавайте надежные пользовательские конвейеры данных для извлечения веб-данных из отраслевых источников.
Базовые модели: Доступ к совместимым наборам данных веб-масштаба для предварительного обучения, оценки и тонкой настройки.
Мультимодальный ИИ: используйте крупнейшее в мире хранилище изображений, видео и аудио, оптимизированных для ИИ.
Поставщики данных: Подключайтесь к надежным поставщикам, чтобы получать высококачественные, готовые к искусственному интеллекту наборы данных в масштабе.
Пакеты данных: Получите готовые к использованию наборы данных – структурированные, обогащенные и аннотированные.

Для получения дополнительной информации ознакомьтесь с нашим полным ассортиментом продуктов для искусственного интеллекта.

Создайте учетную запись Bright Data и попробуйте все наши продукты и услуги для разработки агентов искусственного интеллекта!

Пробная версия

Начать с Гугла

Кредитная карта не требуется

Интеграция OpenAI Agents SDK с веб-разблокировщиком для обеспечения высокой производительности