Веб-сервер MCP от Bright Data: бесплатный тариф для разработчиков

Препятствием №1 для агентского веба по-прежнему является “старый веб” – динамический, перегруженный JS, CAPTCHA, платные стены, всплывающие окна, дросселирование и беспорядочный HTML, который агенты не могут надежно разобрать. Именно поэтому мы создали Web MCP: чтобы агенты могли получать доступ и взаимодействовать со старым вебом. Именно поэтому мы решили сделать дополнительный шаг и предоставить основные возможности бесплатно.

Как ведущий разработчик и сопровождающий Web MCP компании Bright Data, мы сразу поняли, что это не “обычный” MCP. Большинство MCP-серверов оборачивают один SaaS/API (например, Gmail, HubSpot, GitHub), что представляет собой аккуратную, структурированную проблему: одна схема и модель авторизации, предсказуемые входы и выходы, повторяющиеся действия с документированными ошибками.

Но Web MCP охватывает весь интернет.

Он интегрируется с открытым вебом, где каждый сайт – это свой собственный смещаемый “API”, страницы рендерятся на стороне клиента, появляется бесконечная прокрутка, а CAPTCHA или дросселирование могут менять поведение от минуты к минуте. Web MCP поглощает этот хаос с помощью устойчивой навигации и выборки, управляемых сессий и контроля регионов, а также извлечения, которое очищает беспорядочный HTML в пригодный для использования JSON/Markdown.

Что такое Web MCP

Web MCP позволяет вашему агенту просматривать реальные веб-страницы. Он обрабатывает страницы с JS-рендерингом и CAPTCHA, а затем возвращает чистый текст, который может использовать ваша модель. Считайте это “доступом в Интернет для агентов”, упакованным в инструменты MCP.

Почему бесплатно? Бесплатный тарифный план дает вам все, что нужно, чтобы начать создавать и тестировать без лишних затрат (плюс достаточно для повседневного использования). Он включает 5 000 запросов в месяц для режима Rapid, открывающего два повседневных инструмента: результаты поиска и “соскоб в формате Markdown”. Этого вполне достаточно для большинства агентов, чтобы находить страницы и надежно их читать.

Вы можете перейти на Pro позже, когда будете готовы к кликам, прокрутке, скриншотам и структурированному извлечению JSON (установите PRO_MODE в локальной версии или добавьте &pro=1 в удаленной).

Быстрый старт и документация

Учебные пособия

Проектирование сервера MCP в масштабе сети

В то время как “обычные” MCP предлагают детерминированные инструменты на основе фиксированных API, Web MCP предлагает отказоустойчивые инструменты в хаотичном интернете, чтобы агенты могли действовать надежно. Правильное решение этой задачи сопряжено как с большими инженерными проблемами, так и с реальной ответственностью.

Доставка MCP для всей сети означала, что мы должны были соответствовать трем строгим стандартам:

Будьте легкими и умными, чтобы не тратить жетоны только на подключение.
Масштабируемость и производительность – чтобы он работал при производственных нагрузках, а не только в демонстрационных версиях.
Обеспечьте безопасность и соответствие нормативным требованиям, чтобы команды могли развертывать с уверенностью.

1) Быть легкими и умными (эффективность токенов без отупения)

Изначально мы поставляли MCP с 60+ инструментами, но первые пользователи сообщили нам ценную информацию: ~90% обращений агентов использовали только два инструмента – поиск и scrape-as-markdown.

Использование инструмента Web MCP от Bright Data

Тем не менее, типичные MCP перечисляют десятки инструментов. В MCP первым шагом является /list/tools. При 60+ инструментах одно только это рукопожатие стоило ~17 000 жетонов 🤯, прежде чем выполнялась какая-либо реальная работа. Кроме того, это путало модели и приводило к неправильному выбору инструментов, что делало работу медленнее и менее последовательной.

Мы узнали, что стоимость токена во время рукопожатия отпугивает пользователей гораздо больше, чем задержка при выполнении, и что обработка CAPTCHA – это ставка на стол: без нее слишком много реальных страниц просто не работали.

Наш ответ: два режима.

Быстрый режим (по умолчанию)

Ровно два инструмента:

search_engine → возвращает результаты SERP
scrape_as_markdown → извлекает любой URL в виде чистого, дружественного LLM Markdown

Почти нулевое рукопожатие: минимум метаданных инструмента, минимум путаницы
Охватывает подавляющее большинство задач поиска и извлечения информации
Быстрая и подходит для использования в режиме реального времени

Почему `scrape_as_markdown` имеет значение

Большинство “веб-интеграций” останавливаются на этом этапе из-за CAPTCHA и блоков, которые ломаются в современном вебе.
scrape_as_markdown:

Работает на сайтах, перегруженных JS (полный рендеринг)
Автоматическое решение CAPTCHA
Возвращает чистый Markdown, который LLM переваривает гораздо лучше, чем сырой HTML

Если вам нужен структурированный JSON (например, данные о товарах), перейдите на Pro и используйте вертикальные скребки.

Профессиональный режим (по желанию)

Полная поверхность ~60 инструментов (электронная коммерция, социальные сети, новости, недвижимость, финансы, LinkedIn/HR и многое другое)
Использует API Web Scraper от Bright Data для возврата структурированного JSON, если этого требует рабочий процесс.
Вы соглашаетесь, если вертикальная структура оправдывает стоимость токенов.

Результат: более быстрые старты, меньшее количество жетонов и более счастливые агенты, выбравшие правильный инструмент.

Как включить Pro

Удаленные/хостинговые: добавьте &pro=1 к URL-адресу подключения.
STDIO/self-hosted: установить PRO_MODE = true

2) Быть масштабируемым и производительным (рассчитанным на реальный трафик).

Мы не допускаем оркестровки на горячий путь, поэтому время запроса поступает с целевого сайта, а не из Web MCP.

Обзор архитектуры:

Одиночная торцевая головка MCP с двухрежимной поверхностью инструмента
Безголовая оркестровка браузера для страниц с большим количеством JS или если требуется любое взаимодействие с целевым сайтом
Автоматическое решение CAPTCHA и устойчивое управление сессиями
Настраиваемый параллелизм и изоляция каждого аккаунта

На практике:

Низкая нагрузка на квитирование (режим Rapid) → минимальное время запуска
Надежный скраппинг на реальных сайтах с большим количеством JS
Оперативный резерв для пакетных заданий и агентов с высокой частотой кадров

Web MCP – это тонкая обертка над API Bright Data, поэтому вы наследуете конфиденциальность, безопасность и управление платформы (GDPR/CCPA) вместо того, чтобы заново внедрять средства контроля в своем агенте. Подробнее в нашем Центре доверия.

Вы работаете с проверенной инфраструктурой и политиками Bright Data – той же самой, которую используют производственные клиенты, – а уровень MCP остается минимальным. Юридическая поддержка платформы подтверждена победами в судебных делах с Meta и X Corp, поддерживающих ответственный доступ к публичным веб-данным.

Что (намеренно) не входит в состав Web MCP

Web MCP не добавляет свои собственные уровни изоляции, резидентности, PII-redaction или ограничения скорости; эти защитные механизмы обрабатываются API/политиками Bright Data и/или должны быть реализованы в вашем агенте/приложении в соответствии с вашей степенью риска.

Легкий быстрый старт

from langchain_mcp_adapters.client import MultiServerMCPClient
from langgraph.prebuilt import create_react_agent

client = MultiServerMCPClient({
    "brightdata": {
        "url": "https://mcp.brightdata.com/sse?token=<API_TOKEN>",  # add &pro=1 to opt into Pro
        "transport": "sse",
    }
})

tools = await client.get_tools()  # Rapid mode returns the slim, high-value set
agent = create_react_agent("openai:gpt-4.1", tools)

# Your agent can now search and extract live sites reliably:
resp = await agent.ainvoke({"messages": "Find the latest guidance on US passport renewal fees and summarize the changes."})

Свобода означает “никаких оправданий”.

Если ваш агент не подключен к живому Интернету, он будет уверенно ошибаться при выполнении важных задач. С помощью бесплатного уровня Web MCP вы можете исправить это уже сегодня.

Пробная версия Начать с Гугла

Решение проблемы веб-доступа для агентов (бесплатно!) с помощью Web MCP, Bright Data