В этом уроке вы узнаете:
- Что такое Dify и почему это интересный инструмент для создания ИИ-агентов.
- Почему агентам искусственного интеллекта необходим доступ к свежим и точным веб-данным для получения надежных результатов.
- Как создать ИИ-агента с возможностью поиска данных с помощью рабочего процесса Dify без кода.
Давайте погрузимся!
Что такое Dify?
Dify – это набирающая популярность платформа с открытым исходным кодом для создания приложений генеративного ИИ с использованием LLM. Она упрощает процесс разработки, предлагая визуальный интерфейс без кода и с низким кодом для создания рабочих процессов ИИ и конвейеров RAG.
Вы можете использовать Dify через его самораспространяемую версию с открытым исходным кодом или использовать его непосредственно в облаке без настройки (как мы делаем здесь). По сути, он выступает в качестве BaaS(Backend-as-a-Service) для операций LLM.
Dify поддерживает широкий спектр LLM и предлагает широкие возможности интеграции с помощью нескольких плагинов. Они позволяют подключаться к различным сторонним сервисам и решениям. На момент написания статьи на рынке представлено около 100 плагинов и расширений.
Агенты искусственного интеллекта должны быть точными и эффективными
Независимо от того, какую платформу, библиотеку или инструмент для создания ИИ-агентов вы выберете, есть одно существенное ограничение: чтобы быть точными, ИИ-агентам нужны высококачественные данные. В этой связи следует помнить, что Интернет – один из самых богатых и надежных источников данных.
Таким образом, чтобы быть по-настоящему эффективным, агент ИИ должен уметь получать доступ и извлекать данные непосредственно из веб-страниц. Но недостаточно просто извлекать сырой контент. Данные должны быть оптимизированы для использования ИИ, в идеале – в формате Markdown.
Совет: уценка компактна и легче обрабатывается моделями искусственного интеллекта, что часто приводит к более точным результатам, что подтверждают наши бенчмарки.
Именно поэтому агентам искусственного интеллекта Dify необходим плагин, который может извлекать структурированный контент, например Markdown, с любой веб-страницы. Именно это и обеспечивает плагин Bright Data Dify. Кроме того, он позволяет вашему агенту искусственного интеллекта без кода извлекать свежие данные из поисковых систем и более 50 популярных платформ в структурированном формате JSON.
Плагин Bright Data решает все проблемы, связанные с веб-скреппингом, включая CAPTCHA, блокировку IP-адресов, ограничения скорости и многое другое. Затем, благодаря конструктору потоков Dify, не требующему кода, вы можете интегрировать все в своего ИИ-агента, просто соединив узлы. В результате вы получите готового к работе ИИ-агента с доступом к надежным веб-данным в режиме реального времени.
Как интегрировать плагин Bright Data в Dify для создания агентов искусственного интеллекта
В этом разделе вы узнаете, как создать агента искусственного интеллекта в Dify. В частности, вы будете использовать плагин Bright Data в качестве движка данных, готовых для ИИ, который обеспечивает агента надежной информацией.
Мы рассмотрим создание простого агента обобщения, который может обобщать содержимое любой веб-страницы. Обратите внимание, что это лишь один пример, демонстрирующий возможности интеграции Dify + Bright Data. Вы можете так же легко охватить множество других сценариев использования.
Примечание: В некотором смысле выбранный пример можно рассматривать как агентный рабочий процесс RAG. Причина в том, что плагин Bright Data можно рассматривать как компонент поиска в агентском процессе RAG.
Выполните следующие шаги, чтобы создать в Dify агента искусственного интеллекта без кода, который будет получать доступ к актуальным веб-данным!
Пререквизиты
Чтобы воспроизвести это руководство и создать агента искусственного интеллекта в Dify на базе Bright Data, вам понадобится следующее:
- Учетная запись Dify (достаточно бесплатного плана).
- Ключ API Bright Data.
- Ключ API от провайдера LLM (в данном примере мы будем использовать ключ API Gemini )
Если у вас их еще нет, перейдите по ссылкам выше и следуйте инструкциям по настройке.
Шаг №1: Интеграция LLM
Примечание: Если в вашем аккаунте Dify уже настроена интеграция с LLM, вы можете пропустить этот шаг.
Чтобы создать агента искусственного интеллекта в Dify, сначала нужно настроить провайдера LLM. Для этого войдите в Dify и откройте панель управления. Нажмите на изображение своего профиля в правом верхнем углу и выберите опцию “Настройки”:
Затем в боковой панели модала щелкните на опции “Model Provider”. Здесь вы можете установить провайдер LLM, который вы хотите использовать. В этом руководстве мы будем использовать Gemini (который можно бесплатно использовать через API):
Наведите курсор на опцию Gemini и нажмите кнопку “Установить”. После установки нажмите кнопку “Настройка” и вставьте свой API-ключ Gemini для завершения настройки:
После этого нажмите “Настройки системной модели”, чтобы установить Gemini в качестве глобального LLM-провайдера в вашей учетной записи Dify:
Выберите модель, которую вы хотите использовать. В данном случае мы выберем “Gemini 2.0 Flash” (которая предоставляется бесплатно через API). Затем нажмите кнопку “Сохранить”:
Отлично! Интеграция вашего LLM в Dify завершена.
Шаг № 2: Установка плагина Bright Data
Пришло время установить плагин Bright Data Dify. Для этого нажмите на опцию “ПЛЮГИНЫ”, расположенную в боковой панели слева от изображения вашего профиля:
В разделе Dify Plugin Marketplace нажмите кнопку “Установить плагин”, затем выберите опцию “GitHub”:
В появившемся модале вставьте URL-адрес GitHub для плагина Bright Data Dify:
https://github.com/Idanvilenski/BrightData_Dify_Plugin
Выберите версию плагина (рекомендуется последняя), выберите пакет плагина и нажмите “Далее”:
Нажмите “Установить”, чтобы завершить установку плагина. После установки нажмите на карточку плагина. В открывшейся справа панели нажмите кнопку “Авторизация”:
Вставьте свой API-токен Bright Data, затем нажмите “Сохранить”:
Потрясающе! Плагин Bright Data Dify установлен, и его инструменты готовы к использованию.
Шаг № 3: Создайте новое приложение Dify
Теперь у вас есть все необходимое для создания некодируемого агента искусственного интеллекта для подведения итогов. Вернитесь на приборную панель Dify и нажмите “CREATE APP > Create from Blank”, чтобы начать новый проект агента искусственного интеллекта:
Выберите шаблон “Workflow”, назовите своего агента искусственного интеллекта как-нибудь вроде “AI Summarization Agent”, а затем нажмите “Create”, чтобы инициализировать приложение:
Вы увидите визуальный холст, на котором вы можете построить своего агента, соединяя узлы:
Здесь вы определите логику и поток данных вашего агента искусственного интеллекта, связав различные компоненты воедино. Фантастика!
Шаг № 4: Разработка логики работы агента искусственного интеллекта
Прежде чем внедрять своего агента ИИ без кода, потратьте некоторое время на то, чтобы определить, что должен делать агент ИИ. В данном случае агент ИИ должен:
- Получите URL-адрес веб-страницы для подведения итогов.
- Передайте URL плагину Bright Data, чтобы получить содержимое его страницы в формате Markdown.
- Отправьте содержимое Markdown на настроенный LLM с запросом на создание резюме.
- Верните пользователю обобщенный контент.
В следующих четырех шагах вы реализуете каждое из этих действий, подключая узлы и используя плагины в Dify.
Шаг #5: Настройка входного параметра URL страницы
Сначала щелкните узел “START”, затем щелкните значок “+”, чтобы добавить новую входную переменную:
Среди вариантов типа ввода выберите тип данных “Абзац”. Он идеально подходит для ввода текста, например URL. Назовите вводимый текст как-нибудь вроде page_url:
Убедитесь, что переключатель “Требуется” включен, так как этот ввод необходим для работы этого агента ИИ. После сохранения вы увидите что-то вроде этого:
Посмотрите, как в узле “START” теперь отображается ваша пользовательская входная переменная. Отличная работа!
Шаг #6: Извлеките содержимое в формате Markdown с помощью плагина Bright Data.
Нажмите кнопку “+” на узле “START” и выберите плагин Bright Data. Затем выберите инструмент “Scrape As Markdown”:
Настройте инструмент, задав в качестве входного параметра page_url. Также включите опцию “RETRY ON FAILURE”. Это позволит плагину Bright Data автоматически повторять попытку, если в процессе скрапинга произошла ошибка:
Замечательно! Теперь плагин Bright Data будет принимать указанный URL, скрести страницу и возвращать ее содержимое в формате Markdown.
Шаг #7: Интеграция логики обобщения LLM
Следующим шагом будет подключение узла LLM, который будет обобщать содержимое в формате Markdown, возвращаемое плагином Bright Data. Щелкните значок “+” на узле “Scrape As Markdown” и выберите “LLM”:
В настройках узла “LLM” установите вход “CONTEXT” на текстовую переменную, которая является результатом работы инструмента “Scrape As Markdown”.
Затем напишите подсказку, как в следующем примере:
You are a summarization agent. Based on the Markdown content provided below, write a concise and helpful summary in no more than 150 words. Focus on capturing the key elements of the content.
Content:
{CONTEXT}
Узел “LLM” действует как мозг вашего агента Dify AI, обрабатывая данные и создавая сводку. Потрясающе! Вы почти закончили работу над логикой построения агента ИИ.
Шаг № 8: Возвращение резюме
В качестве последнего шага в рабочем процессе агента Dify AI без кода добавьте узел “Конец”:
Настройте узел “END” на использование текстового вывода из узла LLM:
Этот узел будет возвращать пользователю итоговое обобщенное содержимое. Миссия выполнена! Ваш некодируемый ИИ-агент для подведения итогов готов к использованию.
Шаг № 9: Протестируйте своего агента искусственного интеллекта
Вот как должен выглядеть завершенный рабочий процесс агента Dify AI:
С помощью всего четырех узлов вы создали реальный ИИ-агент с возможностью точного обобщения.
Чтобы проверить его, нажмите кнопку “Запустить” в правом верхнем углу:
Затем введите URL-адрес страницы, которую вы хотите обобщить. В данном примере вы должны использовать статью CNN Sports.
Нажмите кнопку “Start Run”, и вы увидите, как каждый узел будет выполняться последовательно, загораясь зеленым цветом в знак успеха:
Вот возможный результат, который вы должны получить:
This CNN article analyzes the epic French Open final between Carlos Alcaraz and Jannik Sinner, highlighting it as proof that men's tennis is in good hands for the future. Alcaraz's improbable comeback from two sets down against Sinner is described as a historic moment. The author notes that with the era of Djokovic, Federer, and Nadal ending, Alcaraz and Sinner have demonstrated that they are ready to fill the void. The rivalry between Alcaraz and Sinner is compared to the great rivalries of the past, with the potential to elevate the sport. Experts even suggest that Alcaraz and Sinner could beat Nadal at his best. The article emphasizes the high level of play and the exciting future of tennis with these two stars.Это краткое, в контексте, резюме в 150 слов, как и просили. Обратите внимание, что LLM также распознал источник статьи как CNN.
И вуаля! Вы только что создали в Dify полнофункциональный агент для подведения итогов с помощью искусственного интеллекта, не написав ни строчки кода. Этот агент способен обработать и обобщить любую веб-страницу.
Заключение
В этой статье вы узнали, как с помощью Dify создать агента по подведению итогов с искусственным интеллектом и рабочим процессом без кода. Чтобы быть готовым к производству, агенту необходим доступ к публичным веб-данным. Это стало возможным благодаря плагину Bright Data Dify, который предоставляет расширенные инструменты для получения данных с помощью искусственного интеллекта.
Это был простой пример рабочего процесса, но вы можете захотеть создать более сложные агенты искусственного интеллекта. Для этого вам понадобятся инструменты для получения, проверки и преобразования веб-контента. Именно для этого и создана инфраструктура ИИ Bright Data.
Создайте бесплатную учетную запись Bright Data и начните экспериментировать с нашими инструментами для работы с данными с искусственным интеллектом!
