Создание агентов ИИ с возможностями скрапинга в xpander.ai

В этой статье вы увидите:

• Что представляет собой платформа xpander.ai и что она предлагает для создания агентов искусственного интеллекта.
• Почему агентам ИИ нужен доступ к Сети, чтобы быть по-настоящему эффективными.
• Как интегрировать встроенные инструменты Bright Data в агента xpander.ai, чтобы придать ему функциональность веб-скраппинга.

Давайте погрузимся!

Что такое xpander.ai?

Xpander.ai – это платформа Backend-as-a-Service для создания автономных агентов искусственного интеллекта. Это бескодовое решение, призванное помочь корпоративным разработчикам эффективно создавать, тестировать и внедрять агентов искусственного интеллекта. В комплект поставки также входит SDK с открытым исходным кодом, позволяющий программно создавать и запускать агентов ИИ.

Платформа предоставляет визуальную среду для определения многоагентных рабочих процессов и совместной работы. Она также позволяет подключать инструменты и интегрироваться с корпоративными системами. Кроме того, вы можете моделировать и тестировать поведение агентов перед запуском.

Ключевые особенности включают:

• Графическая система агентов: Обеспечивает надежное многоэтапное выполнение агентов.
• Агентские коннекторы: Позволяет агентам подключаться к различным сторонним системам и API.

Важность свежих веб-данных для создания точных агентов искусственного интеллекта

Независимо от того, какую платформу, библиотеку или инструмент для создания ИИ-агентов вы выберете, у них есть фундаментальное ограничение. Так, LLM могут выполнять задачи и отвечать на вопросы только на основе данных, на которых они обучались. Это является серьезным препятствием при создании агентов ИИ, от которых ожидается выполнение действий, выходящих за рамки статических возможностей типичного LLM.

Таким образом, чтобы быть более точными, оперативными и эффективными, агентам ИИ необходим доступ к Интернету. Они должны уметь читать веб-страницы и использовать их содержимое для обоснования своих ответов и решений. В конце концов, Интернет – один из самых богатых и актуальных источников данных.

Однако просто иметь доступ к Интернету недостаточно. Большинство сайтов применяют меры по защите от скрапинга и ботов, чтобы блокировать автоматические краулеры ИИ. Это означает, что вашим агентам нужны мощные инструменты, позволяющие извлекать данные с веб-страниц, причем в формате, оптимизированном для обработки ИИ.

Именно для этого предназначена инфраструктура ИИ от Bright Data, доступнаяв xpander.ai через интегрированные коннекторы. Среди множества ее возможностей можно отметить то, что она позволяет вашим агентам искусственного интеллекта без кода получать свежие данные с более чем 50 популярных платформ в структурированном формате JSON.

Bright Data позаботится об обработке CAPTCHA, запрете IP-адресов, ограничении скорости и многом другом. В сочетании с конструктором агентов искусственного интеллекта xpander.ai вы можете интегрировать все это, не написав ни строчки кода. Результат? Готовый к производству ИИ-агент с доступом к надежным веб-данным в режиме реального времени!

Как интегрировать коннектор Bright Data Connector для создания агента для скрапинга xpander.ai

В этом руководстве вы узнаете, как создать агента искусственного интеллекта в xpander.ai. В частности, вы будете использовать коннектор Bright Data, чтобы дать своему агенту возможность соскабливать данные из Интернета.

Мы покажем, как создать агента для веб-скреппинга, который может обосновывать свои ответы, получая живые данные из Интернета. Это лишь один пример того, что возможно с интеграцией xpander.ai + Bright Data. Вы можете легко адаптировать этот подход ко многим другим сценариям использования.

Примечание: В некотором смысле этот пример работает как агентский рабочий процесс RAG. Причина в том, что коннектор Bright Data выступает в качестве компонента поиска, получая актуальные данные для использования агентом.

Выполните следующие шаги, чтобы создать своего бескодового AI-скреппера в xpander!

Пререквизиты

Чтобы воспроизвести этот учебник, вам понадобится следующее:

• Учетная запись xpander.ai: Для простых тестов достаточно бесплатной учетной записи. Для более сложных случаев использования вам потребуется платный тарифный план.
• Ключ API Bright Data: вы можете создать его бесплатно, как описано в официальном руководстве.

Если у вас их еще нет, перейдите по ссылкам выше и следуйте инструкциям по настройке. Давайте начнем!

Шаг № 1: Создайте нового агента

Войдите в xpander.ai и перейдите на панель своего профиля. Нажмите на “Агент” в меню слева, затем нажмите кнопку “Новый агент”, чтобы добавить нового агента:

Вы попадете на следующую страницу с формой, где можно настроить нового агента. Дайте ему имя, например “Агент веб-скребка”:

Оставьте все остальные настройки на вкладке “Общие” без изменений. Настроек по умолчанию достаточно для такой простой установки, как эта. По умолчанию xpander.ai будет использовать GPT-4o от OpenAI в качестве модели LLM.

Отлично! Теперь у вас есть новый пустой агент ИИ в файле xpander.ai.

Шаг № 2: Настройка инструментов Bright Data для веб-скрапинга

Сейчас ваш агент может выполнять только действия, предлагаемые выбранным поставщиком LLM. Пришло время дополнить его возможностями веб-скреппинга с помощью Bright Data.

Для этого перейдите на вкладку “Инструменты” на странице вашего агента, а затем нажмите кнопку “Добавить инструменты”:

Справа появится панель с заголовком “Добавить инструменты”. Найдите “bright data” и выберите интеграцию Bright Data:

Появится следующее модальное окно:

Заполните его следующим образом:

• Имя коннектора: присвойте коннектору Bright Data имя (например, “Bright Data Connector”).
• Режим аутентификации: Выберите опцию “Ключ API”.
• Область аутентификации:
  • Выберите опцию “Интеграционный пользователь”.
  • Вставьте свой ключ API Bright Data.
  • Выберите опцию “Подшипник”. Это позволит передать ключ API в заголовкеавторизации через шаблон Bearer, который является методом аутентификации, поддерживаемым API Bright Data.

Когда все будет заполнено, нажмите кнопку “Сохранить”.

Теперь вам будет предложено выбрать конкретные инструменты Bright Data, которые вы хотите включить в агенте:

Мы рекомендуем выбрать все инструменты, чтобы раскрыть все возможности веб-скрапинга. На данный момент доступны следующие инструменты:

• Start Data Collection Job by Dataset ID: Запускает задание по сбору данных для указанного набора данных с помощью API Web Scraper.
• Выполнить прокси-запрос по URL: Отправляет HTTP-запрос через прокси-сеть Bright Data для доступа к содержимому любой веб-страницы.
• Скачать снимок набора данных по идентификатору: Загружает снимок набора данных в различных форматах, передавая данные в ИИ.

Выбрав нужные инструменты, нажмите кнопку “Добавить в агент” в правом нижнем углу:

На вкладке “Инструменты” вашего агента теперь будет отображаться коннектор Bright Data с настроенными инструментами:

Обратите внимание, что вы можете щелкнуть на любом инструменте, чтобы просмотреть или настроить его конфигурацию.

Фантастика! Теперь ваш агент искусственного интеллекта полностью интегрирован с инструментами Bright Data и готов к поиску информации в Интернете.

Шаг № 3: Специализация агента по скрапбукингу ИИ

Теперь, когда ваш агент имеет доступ к инструментам Bright Data для веб-скрапинга, задайте ему пользовательскую системную подсказку. Это сообщит агенту, что он собой представляет и как он должен работать.

Для этого перейдите на вкладку “Инструкции” и вставьте в текстовое поле “Системная подсказка” что-то вроде следующего:

You are an AI agent capable of grounding your responses by scraping data from the web

Для более специализированных агентов можно также добавить пользовательские правила и цели.

Потрясающе! Ваш скребок xpander готов.

Шаг №4: Соберите все вместе

Нажмите на кнопку “График агента”, чтобы просмотреть текущий рабочий процесс агента ИИ:

Вы увидите единого агента с доступом к трем настроенным инструментам Bright Data для веб-скрапинга.

Отлично! Осталось только протестировать агент и увидеть его в действии.

Шаг #5: Протестируйте агент веб-скрепера

Вернитесь на вкладку “Чат тестера” и попробуйте использовать своего агента с помощью следующего запроса:

Search for top 3 headphones under $100 and provide me info from their PDP's

Это поручает вашему агенту веб-скреппинга динамически искать в Интернете 3 лучших наушника по цене до 100 долларов и получать информацию непосредственно со страниц с подробным описанием продукта (PDP).

Как вы понимаете, стандартный LLM может справиться с такой задачей без доступа к специальным инструментам, подобным тем, что предоставляет Bright Data.

Вставьте подсказку в чат и отправьте ее агенту:

Агент использует инструменты LLM и Bright Data, чтобы:

1. Выполните поиск в Интернете и найдите 3 лучших наушника.
2. Для каждого продукта запустите задание сбора данных и загрузите данные с Amazon.
3. Обобщите информацию в коротком и точном ответе, снабженном реальными ссылками на страницы с подробным описанием товаров Amazon.

Если вы развернете один из разделов инструментов в интерфейсе, то увидите примерно следующее:

Это доказывает, что за кулисами ИИ-агент автоматически определил, какие инструменты Bright Data следует использовать для выполнения задачи. Более того, он вызывал их с нужными параметрами, чтобы получить свежие данные (в данном случае непосредственно со страниц товаров Amazon).

И вуаля! Теперь у вас есть полнофункциональный агент для скраппинга на xpander.ai, работающий на базе инфраструктуры данных искусственного интеллекта Bright Data.

Следующие шаги

Теперь, когда у вас есть агент для скраппинга xpander, работающий на базе Bright-Data, вы можете:

• Разверните своего агента: Запустите свой агент искусственного интеллекта непосредственно на платформе xpander.ai или разверните его на собственной инфраструктуре для большего контроля.
• Вызовите своего агента через API с помощью XpanderClient: Используйте xpander SDK для управления агентами и получения доступа к служебным функциям для работы с LLM-ответами.
• Изучите официальные семинары xpander: Примите участие в практических семинарах, которые помогут вам создать полноценные решения для агентов искусственного интеллекта на платформе xpander.ai.

Заключение

В этой статье вы узнали, как использовать xpander.ai для создания агента для скраппинга с искусственным интеллектом без кода. Это стало возможным благодаря коннектору Bright Data, который открывает передовые инструменты для интеграции в агенты xpander.

Это был простой пример, но вы можете захотеть создать более сложные агенты искусственного интеллекта. Для этого вам понадобятся надежные решения для получения, проверки и преобразования веб-контента. Именно такие решения вы найдете в инфраструктуре агентов ИИ Bright Data.

Создайте бесплатную учетную запись Bright Data сегодня и начните изучать наши инструменты для работы с данными, готовыми к искусственному интеллекту!