Использование Dify и Bright Data для веб-поиска

В этом руководстве вы узнаете:

• Почему Dify – это мощная платформа для создания агентов искусственного интеллекта.
• Почему возможности веб-поиска незаменимы для агентов ИИ.
• Как создать в Dify агента искусственного интеллекта, способного искать информацию в Интернете.

Давайте погрузимся!

Разблокировка агентурной разработки автоматизации рабочих процессов с помощью Dify

Dify – это инновационная платформа с низким уровнем кодирования, разработанная для упрощения создания LLM-приложений. Вы можете использовать ее как в облаке, так и в версии с открытым исходным кодом, и она поддерживает агентные рабочие процессы.

Он предоставляет интуитивно понятный визуальный редактор, позволяющий легко создавать и управлять сложной логикой ИИ с помощью функции drag-and-drop. Dify работает с широким спектром LLM, от проприетарных до open-source, предоставляя вам гибкость в выборе лучшей модели для вашего проекта.

Функционируя как BaaS(Backend-as-a-Service), он управляет инфраструктурой искусственного интеллекта за вас. Кроме того, он поддерживает расширения и плагины для дальнейшего расширения своих возможностей. Это открывает возможности для расширения функциональности ваших приложений ИИ за счет интеграции со сторонними разработчиками.

Почему агенты искусственного интеллекта должны уметь искать информацию в Интернете

Способность агентов ИИ осуществлять поиск в Сети является фундаментальной необходимостью для получения интеллектуальных и актуальных ответов. Ранние итерации LLM, такие как ChatGPT и Gemini, часто испытывали трудности с предоставлением актуальной или нишевой информации. Это объясняется тем, что они были ограничены статичностью обучающих данных.

Важный скачок в их точности произошел именно тогда, когда они обзавелись возможностью поиска в Интернете.

Эта возможность позволяет LLM получать информацию по запросу, с конечной целью расширить свою базу знаний, чтобы уменьшить количество галлюцинаций.

В то же время встроенные функции веб-поиска для LLM, как правило, присущи только платным моделям. Кроме того, простого “поиска в Интернете” недостаточно. Причина в том, что огромный объем и непроверенный характер интернет-данных может привести к неточностям или нерелевантным результатам.

Истинная сила заключается в доступе к надежным и проверенным данным SERP(Search Engine Results Page) непосредственно от надежных поисковых систем, таких как Google, Bing, DuckDuckGo и подобных. Эти данные формируются с помощью сложных алгоритмов ранжирования, включающих тщательную проверку качества.

В результате данные SERP гарантируют гораздо более надежную основу для синтеза информации и создания обоснованных ответов агентами ИИ. Вот почему одним из распространенных примеров использования ИИ является создание чат-бота на основе RAG, использующего данные SERP.

Чтобы обеспечить рабочий процесс агента Dify AI данными SERP, вы можете использовать плагин Bright Data Dify. Среди предлагаемых им инструментов есть один под названием “Поисковая система“. Он предоставляет результаты поиска в реальном времени от Google, Bing, Yandex и других основных поисковых систем, подключаясь к Bright Data SERP API.

Благодаря этой интеграции ваши агенты искусственного интеллекта, не требующие кода, могут использовать просторы Сети, пользуясь при этом доверием надежных поисковых систем.

Создание агента искусственного интеллекта, способного искать информацию в Интернете, в Dify: Пошаговое руководство

В этом разделе вы создадите рабочий процесс агента искусственного интеллекта, который:

1. Принимает на вход ключевую фразу.
2. Использует инструмент “Поисковая система” из плагина Bright Data для поиска в Google по этой ключевой фразе.
3. Обрабатывает результаты поиска с помощью LLM.

Весь процесс полностью визуальный, не требующий кодирования. Вы подключите каждый узел с помощью простого интерфейса перетаскивания, чтобы воплотить в жизнь своего агента ИИ.

Теперь давайте создадим свой рабочий процесс ИИ-поиска в Интернете в Dify без кода на основе Bright Data!

Пререквизиты

Чтобы следовать этому руководству по созданию агента ИИ для веб-поиска в Dify, вам понадобится следующее:

• Учетная запись Dify (достаточно бесплатного плана).
• Ключ API Bright Data.

Если у вас их еще нет, воспользуйтесь приведенными выше ссылками и следуйте инструкциям по настройке.

Примечание: Для производственного использования вам также понадобится API-ключ от провайдера LLM (например, OpenAI, Anthropic или Gemini).

Шаг № 1: Настройте интеграцию LLM в Dify

Чтобы использовать LLM в Dify, вам сначала нужно настроить интеграцию LLM. Начните с того, что щелкните изображение своего профиля и выберите “Настройки”:

Затем перейдите на страницу “Провайдер модели”. Здесь, например, вы можете установить плагин-провайдер OpenAI:

По умолчанию вы получаете 200 бесплатных кредитов сообщений. Чтобы снять это ограничение, после установки плагина настройте параметры OpenAI, добавив свой ключ API OpenAI:

В качестве альтернативы для бесплатной, постоянной интеграции LLM рассмотрите возможность использования провайдера Gemini LLM. Некоторые модели Gemini, например Flash 2.0, можно использовать бесплатно даже через API.

Отлично! Теперь вы готовы приступить к созданию рабочего процесса Dify AI с возможностями веб-поиска.

Шаг № 2: Установите плагин Bright Data Plugin

Зайдите на страницу релизов в репозитории GitHub для плагина Bright Data и загрузите файл с именем brightdata_plugin.difypkg.

Чтобы установить его в Dify, нажмите на “PLUGINS”, чтобы открыть торговую площадку плагинов, затем выберите “Install from Local Package File”:

Выберите локальный файл .difypkg, который вы загрузили ранее, и нажмите кнопку “Установить”:

Вот и все! Плагин Bright Data успешно установлен в Dify.

Шаг № 3: Разработайте новое приложение Dify

Теперь, когда все настроено, вы готовы приступить к созданию своего агента ИИ. На главной странице рабочей области Dify создайте новое приложение, выбрав “Создать из пустого места”, как показано ниже:

Затем выберите “Рабочий процесс” в качестве типа приложения, дайте своему AI-приложению имя и нажмите “Создать”:

Это создаст новый, пустой холст рабочего процесса:

Прежде чем приступить к созданию своего некодируемого ИИ-агента, уделите время тому, что он должен делать, и какие узлы вам понадобятся. В этом учебнике вы можете достичь цели с помощью простого четырехэтапного рабочего процесса со следующими узлами:

1. Узел “Начало” для определения входной переменной (ключевой фразы).
2. Узел “Поисковая система” осуществляет поиск в Интернете по этой ключевой фразе.
3. Узел “LLM” для анализа результатов поиска и извлечения полезных сведений с помощью пользовательской подсказки.
4. Узел “Конец” для отображения окончательного отчета, сгенерированного ИИ.

Потрясающе! Пора реализовать в Dify рабочий процесс ИИ для веб-поиска.

Шаг #4: Настройка узла “Старт”

Начните с нажатия на узел “Start”, затем выберите “INPUT FIELD”:

Установите для параметра “Тип поля” значение “Короткий текст”, поскольку в качестве входных данных вы будете вводить короткий текстовый запрос. Назовите поле ввода search_topic. Оно представляет собой ключевую фразу, которую агент ИИ будет использовать для выполнения веб-поиска.

Нажмите “Сохранить” для подтверждения:

Отлично! Теперь узел “Старт” настроен правильно.

Шаг #5: Интеграция узла “Поисковая система”

Продолжите, нажав на значок “+” в узле “Пуск”. Затем перейдите в раздел “Инструменты” > “Bright Data Web Scraper” > “Поисковая система”:

Этот узел плагина Bright Data служит связующим звеном между рабочим процессом Dify и инфраструктурой ИИ Bright Data. В частности, инструмент “Поисковая система” позволяет вашему агенту ИИ получать результаты поиска в реальном времени непосредственно из Интернета.

Теперь нажмите на кнопку “Авторизация” и введите свой API-токен Bright Data:

После авторизации плагин Bright Data будет подключен к вашей учетной записи.

Теперь передайте входную переменную, которую вы настроили ранее. В поле “Поисковый запрос” введите “/”, чтобы просмотреть доступные переменные, и выберите search_topic. Узел “Поисковая система” будет выполнять живой веб-поиск на основе пользовательского ввода:

Наконец, в выпадающем списке “SEARCH ENGINE” выберите поисковую систему, которую вы хотите использовать (в этом уроке мы будем использовать Google):

Потрясающе! Узел Bright Data “Поисковая система” теперь на месте.

Шаг #6: Добавьте узел “LLM”

В узле “Поисковая система” нажмите на значок “+” и выберите узел “LLM”:

В разделе “MODEL” нажмите “Configure model” и выберите LLM из списка (например, gpt-4):

В разделе “SYSTEM” введите запрос, подобный следующему:

You are an expert SEO analyst. You have been given data containing the results from a Google search.

Based on this information, please report on the following:
- Common Talking Points: What are the most common themes and keywords you see repeated in the search result titles and descriptions?
- Dominant Content Types: Based on the titles, what kind of articles seem to be ranking? (e.g., "What is...", "Top 10...", "Beginner's Guide...", "Vs...").

Also, report the URLs.

Search Results Data:
{{Search_engine.text}}

Это приглашение дает команду LLM:

• Проанализируйте результаты поиска, возвращаемые узлом “Поисковая система”.
• Извлеките повторяющиеся темы, популярные форматы контента и связанные с ними URL-адреса, действуя как SEO-аналитик.

Примечание: Переменная {{Search_engine.text}} передает текстовый вывод от узла “Search Engine” непосредственно в подсказку LLM. Другими словами, LLM имеет доступ к данным веб-поиска в реальном времени, возвращаемым узлом “Search Engine”.

Ниже показано, как будет выглядеть конфигурация узла “LLM”:

Фантастика! Осталось добавить последний узел в рабочий процесс.

Шаг № 7: Завершите рабочий процесс ИИ с помощью “конечного” узла

Завершите рабочий процесс, добавив узел “Конец”:

Этот узел будет возвращать конечный результат, сгенерированный LLM. Чтобы настроить это поведение, щелкните раздел “OUTPUT VARIABLE” и выберите текстовую переменную из узла LLM:

Такая настройка гарантирует, что окончательный ответ от вашего LLM (основанный на результатах поисковой системы) будет возвращен как результат всего рабочего процесса.

Шаг № 8: Запустите рабочий процесс поиска в Интернете с помощью искусственного интеллекта

Это последний рабочий процесс ИИ для поиска информации в Интернете в Dify, работающий на основе инструмента Bright Data “Поисковая система”:

Чтобы запустить рабочий процесс, нажмите на кнопку “Запустить”. В поле ввода search_topic введите тему, которую вы хотите исследовать (например,“новые протоколы ИИ“). Затем нажмите “Start Run”, чтобы запустить агента:

Теперь начнется рабочий процесс. Узел Bright Data выполнит поиск в Google, а узел LLM получит результаты и сформирует сводку в соответствии с инструкциями.

Итоговый результат появится на вкладке “Результат”. Он может выглядеть примерно так:

Ниже приведен результат в виде текста:

Common Talking Points: The most frequently mentioned themes and keywords in the search results are "AI protocols", "Model Context Protocol (MCP)", "Agent2Agent (A2A) protocol", "Agent Communication Protocol (ACP)", "AI integration", "AI agent communications", "non-deterministic behavior", "secure, two-way connections", "data sources", and "AI-powered tools". These terms suggest a focus on new methodologies and standards in AI technology, particularly in terms of communication and integration.

Dominant Content Types: The search results seem to include a mix of explanatory articles, guides, and news updates. There are multiple "What is..." type articles, explaining terms like MCP, A2A, and ACP. "A developer's guide to AI protocols..." and "What Every AI Engineer Should Know About A2A, MCP &..." are examples of guide-type articles, while titles like "Introducing the Model Context Protocol Anthropic" and "AI Will Be Governed by Protocols No One Has Agreed on yet" suggest news updates or announcements.
URLs:
1. https://www.anthropic.com/news/model-context-protocol
2. https://www.infoworld.com/article/4007686/a-developers-guide-to-ai-protocols-mcp-a2a-and-acp.html
3. https://www.businessinsider.com/ai-protocol-rules-future-2025-6
4. https://www.cio.com/article/3991302/ai-protocols-set-standards-for-scalable-results.html
5. https://www.forbes.com/sites/craigsmith/2025/04/07/how-a-simple-protocol-is-changing-everything-about-ai/
6. https://hackernoon.com/mcp-a2a-agp-acp-making-sense-of-the-new-ai-protocols
7. https://www.youtube.com/watch?v=rmphqjsc4Po
8. https://www.youtube.com/watch?v=CQywdSdi5iA
9. https://www.youtube.com/watch?v=TQXG4r0U2PQ
10. https://techstrong.ai/aiops/model-context-protocol-the-new-standard-for-ai-interoperability/
11. https://developers.googleblog.com/en/a2a-a-new-era-of-agent-interoperability/
12. https://www.axios.com/2025/04/17/model-context-protocol-anthropic-open-source

В соответствии с инструкциями модель LLM выдала результаты, как вы и просили:

• Определили общие тезисы, такие как “Протокол контекста модели (MCP)” и “Протокол агент-агент (A2A)”.
• Выделены доминирующие типы контента, включая руководства для разработчиков и информационные статьи.
• Укажите соответствующие URL-адреса для дальнейшего чтения.

И вуаля! Вы успешно создали ИИ-агента, который может искать информацию в Интернете в режиме реального времени и предоставлять пользовательскую информацию.

Заключение

В этой статье вы узнали, как использовать Dify для создания рабочего процесса ИИ без кода, способного искать информацию в Интернете. Эта функциональность стала возможной благодаря плагину Bright Data Dify, который предоставляет инструмент “Поисковая система”, извлекающий в реальном времени данные SERP из основных поисковых систем.

Это лишь один из примеров, но возможны и другие варианты использования. Независимо от ваших конкретных целей в области ИИ, эффективным агентам необходим доступ к инструментам для получения, проверки и преобразования веб-данных. Именно это и обеспечивает инфраструктура ИИ компании Bright Data.

Создайте бесплатную учетную запись Bright Data и начните экспериментировать с нашими инструментами для работы с данными с искусственным интеллектом уже сегодня!