Веб-скрейпинг с Qwen3: Гайд и советы на 2025 год

В этом уроке вы увидите:

Что такое Qwen3 и чем она выделяется среди других программ LLM
Почему он хорошо подходит для задач веб-скреппинга
Как использовать Qwen3 локально для веб-скреппинга с помощью Hugging Face
Его основные ограничения и способы их преодоления
Несколько альтернатив Qwen3 для скраппинга на основе искусственного интеллекта

Давайте погрузимся!

Что такое Qwen3?

Qwen3 – это последнее поколение LLM, разработанное командой Alibaba Cloud’s Qwen. Модель имеет открытый исходный код и доступна для свободного изучения на GitHubпод лицензией Apache 2.0. Это очень удобно для исследований и разработок.

Основные возможности Qwen3 включают:

Гибридное мышление: Он может переключаться между “режимом мышления” для сложных логических рассуждений (например, математических или кодовых) и “режимом без мышления” для более быстрых ответов общего назначения. Это позволяет контролировать глубину рассуждений для оптимальной производительности и экономичности.
Разнообразные модели: Qwen3 предлагает обширный набор моделей, включая плотные модели (от 0,6B до 32B параметров) и модели Mixture-of-Experts (MoE) (например, варианты 30B и 235B).
Расширенные возможности: Он демонстрирует значительные достижения в области рассуждений, следования инструкциям, возможностей агентов и многоязыковой поддержки (охватывающей более 100 языков и диалектов).
Данные для обучения: Qwen3 был обучен на огромном наборе данных, состоящем примерно из 36 триллионов токенов, что почти вдвое больше, чем у его предшественника Qwen2.5.

Почему стоит использовать Qwen3 для веб-скрапинга?

Qwen3 упрощает процесс веб-скреппинга, автоматизируя интерпретацию и структурирование неструктурированного содержимого HTML-страниц. Это устраняет необходимость в ручном разборе данных. Вместо того чтобы писать сложную логику для извлечения данных, модель понимает структуру страницы за вас.

Использование Qwen3 для разбора веб-данных особенно полезно при решении таких распространенных задач, как анализ веб-страниц:

Часто меняющиеся макеты страниц: Популярный сценарий – Amazon, где на каждой странице товара могут отображаться разные данные.
Неструктурированные данные: Qwen3 может извлекать ценную информацию из неструктурированного текста в свободной форме, не требуя жестко заданных селекторов или логики regex.
Сложный для парсинга контент: Для страниц с непоследовательной или сложной структурой LLM, такие как Qwen3, устраняют необходимость в использовании собственной логики парсинга.

Для более глубокого погружения читайте наше руководство по использованию искусственного интеллекта для веб-скреппинга.

Еще одним важным преимуществом является то, что Qwen3 имеет открытый исходный код. Это означает, что вы можете запускать его локально на своей машине бесплатно, не полагаясь на сторонние API и не платя за премиум LLM, как у OpenAI. Это дает вам полный контроль над архитектурой скраппинга.

Как выполнять веб-скраппинг с помощью Qwen3 в Python

В этом разделе целевой страницей будет страница продукта “Affirm Water Bottle” из песочницы “Ecommerce Test Site to Learn Web Scraping“:

Эта страница служит хорошим примером, поскольку страницы товаров электронной коммерции обычно имеют непостоянную структуру и отображают различные типы данных. Именно эта изменчивость делает веб-скреппинг в электронной коммерции особенно сложным, а также позволяет использовать искусственный интеллект.

Здесь мы будем использовать скребок на базе Qwen3 для интеллектуального извлечения информации о продукте без написания правил ручного парсинга.

Примечание: В этом руководстве вы узнаете, как использовать Hugging Face для локального и бесплатного запуска моделей Qwen3. Сейчас существуют и другие жизнеспособные варианты. К ним относятся подключение к провайдеру LLM, размещающему модели Qwen3, или использование таких решений, как Ollama.

Выполните следующие шаги, чтобы начать собирать веб-данные с помощью Qwen3!

Шаг № 1: Создайте свой проект

Прежде чем приступить к работе, убедитесь, что на вашей машине установлен Python 3.10+. В противном случае загрузите его и следуйте инструкциям по установке.

Затем выполните приведенную ниже команду, чтобы создать папку для вашего проекта скраппинга:

mkdir qwen3-scraper

Директория qwen3-scraper будет служить папкой проекта для веб-скрапинга с помощью Qwen3.

Перейдите в папку в терминале и инициализируйте в ней виртуальную среду Python:

cd qwen3-scraper
python -m venv venv

Загрузите папку с проектом в предпочитаемую вами IDE Python. Visual Studio Code с расширением Python или PyCharm Community Edition – отличные варианты.

Создайте файл scraper.py в папке проекта, который теперь должен содержать:

Структура файла проекта для веб-скрапинга с помощью Qwen3

Сейчас scraper.py – это просто пустой Python-скрипт, но вскоре он будет содержать логику для веб-скреппинга LLM.

Затем активируйте виртуальную среду. В Linux или macOS выполните команду:

source venv/bin/activate

Эквивалентно, в Windows используйте:

venv/Scripts/activate

Примечание: Следующие шаги помогут вам установить все необходимые библиотеки. Если вы предпочитаете установить все сразу, вы можете воспользоваться командой ниже:

pip install transformers torch accelerate requests beautifulsoup4 markdownify

Потрясающе! Ваше окружение Python полностью готово к работе с веб-скраппингом с помощью Qwen3.

Шаг №2: Настройка Qwen3 в режиме Hugging Face

Как уже говорилось в начале этого раздела, мы будем использовать Hugging Face для локального запуска модели Qwen3. Теперь это стало возможным, поскольку Hugging Face недавно добавил поддержку моделей Qwen3.

Сначала убедитесь, что вы находитесь в активированной виртуальной среде. Затем установите необходимые зависимости Hugging Face, выполнив команду:

pip install transformers torch accelerate

Далее в файле scraper.py импортируйте необходимые классы из библиотеки трансформаторов Hugging Face:

from transformers import AutoModelForCausalLM, AutoTokenizer

Теперь используйте эти классы для загрузки токенизатора и модели Qwen3:

model_name = "Qwen/Qwen3-0.6B"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

В данном случае мы используем модель Qwen/Qwen3-0.6B, но вы можете выбрать из более чем 40 других доступных моделей Qwen3 на Hugging Face.

Потрясающе! Теперь у вас есть все необходимое для использования Qwen3 в сценарии на Python.

Шаг № 3: Получите HTML целевой страницы

Теперь пришло время получить HTML-содержимое целевой страницы. Для этого можно использовать мощный HTTP-клиент Python, например Requests.

В активированной виртуальной среде установите библиотеку Requests:

pip install requests

Затем в файле scraper.py импортируйте библиотеку:

import requests

Используйте метод get(), чтобы отправить HTTP GET-запрос на URL страницы:

url = "https://www.scrapingcourse.com/ecommerce/product/ajax-full-zip-sweatshirt/"
response = requests.get(url)

В ответ сервер выдаст необработанный HTML страницы. Чтобы увидеть полное содержимое HTML, можно вывести response.content:

print(response.content)

В результате должна получиться вот такая HTML-строка:

<!DOCTYPE html>
<html lang="en-US">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1">
    <link rel="profile" href="https://gmpg.org/xfn/11">
    <link rel="pingback" href="https://www.scrapingcourse.com/ecommerce/xmlrpc.php">

    <!-- omitted for brevity... -->

    <title>Affirm Water Bottle – Ecommerce Test Site to Learn Web Scraping</title>
    <!-- omitted for brevity... -->
</head>
<body>
    <!-- omitted for brevity... -->
</body>
</html>

Теперь у вас есть полный HTML целевой страницы, доступный в Python. Давайте перейдем к его разбору и извлечению нужных нам данных с помощью Qwen3!

Шаг #4: Преобразуйте HTML страницы в Markdown (необязательно, но рекомендуется)

Примечание: Этот шаг не является обязательным. Однако он может сэкономить вам значительное время на локальном уровне (и деньги, если вы используете платных провайдеров Qwen3). Поэтому его определенно стоит рассмотреть.

Потратьте немного времени на изучение того, как другие инструменты для веб-скреппинга с поддержкой ИИ, такие как Crawl4AI и ScrapeGraphAI, обрабатывают сырой HTML. Вы заметите, что оба они предлагают опции для преобразования HTML в Markdown перед передачей содержимого в настроенный LLM.

Почему они так поступают? Есть две основные причины:

Экономическая эффективность: Преобразование в Markdown сокращает количество маркеров, отправляемых в ИИ, помогая вам сэкономить деньги.
Более быстрая обработка: Меньшее количество исходных данных означает меньшие вычислительные затраты и более быстрые ответы.

Подробнее об этом читайте в нашем руководстве о том , почему новые агенты ИИ выбирают Markdown, а не HTML.

В данном случае, поскольку Qwen3 работает локально, экономичность не имеет значения, поскольку вы не подключены к стороннему LLM-провайдеру. Что здесь действительно важно, так это скорость обработки. Почему? Потому что если попросить выбранную модель Qwen3 (которая, кстати, является одной из самых маленьких доступных моделей) обработать всю HTML-страницу, то процессор i7 может легко довести ее до 100-процентного использования в течение нескольких минут.

Это слишком много, ведь вы не хотите перегреть или заморозить свой ноутбук или ПК. Поэтому уменьшение размера исходных данных путем преобразования в Markdown имеет смысл.

Пора повторить логику преобразования HTML в Markdown и сократить использование токенов!

Сначала откройте целевую веб-страницу в режиме инкогнито, чтобы обеспечить свежую сессию. Затем щелкните правой кнопкой мыши в любом месте страницы и выберите “Inspect”, чтобы открыть DevTools. Теперь изучите структуру страницы. Вы увидите, что все необходимые данные содержатся в HTML-элементе, обозначенном CSS-селектором #main:

Сосредоточившись на содержимом внутри #main в процессе преобразования HTML в Markdown, вы извлекаете только ту часть страницы, которая содержит нужные данные. Это позволяет избежать включения заголовков, нижних колонтитулов и других разделов, которые вас не интересуют. Таким образом, конечный результат в формате Markdown будет намного короче.

Чтобы выбрать только HTML в элементе #main, вам понадобится библиотека Python для разбора HTML, например Beautiful Soup. В активированной виртуальной среде установите ее с помощью этой команды:

pip install beautifulsoup4

Если вы не знакомы с его API, следуйте нашему руководству по веб-скреппингу Beautiful Soup.

Затем импортируйте его в файл scraper.py:

from bs4 import BeautifulSoup

Теперь используйте “Красивый суп”, чтобы:

Разберите необработанный HTML, полученный с помощью Requests
Выберите элемент #main
Извлеките его HTML-содержимое

Выполните три описанных выше микрошага с помощью этого сниппета:

# Parse the HTML of the page with BeautifulSoup
soup = BeautifulSoup(response.content, "html.parser")

# Select the #main element
main_element = soup.select_one("#main")

# Get the outer HTML of the selected element
main_html = str(main_element)

Если вы напечатаете main_html, то увидите что-то вроде этого:

<main id="main" class="site-main" role="main" data-testid="main-content" data-content="main-area">
    <!-- omitted for brevity... -->
    <div id="product-2765" class="product type-product post-2765 status-publish first instock product_cat-fitness-equipment has-post-thumbnail shipping-taxable purchasable product-type-simple">
        <!-- omitted for brevity... -->
    </div>
</main>

Эта строка намного меньше, чем полная HTML-страница, но все равно содержит около 13 402 символов.

Чтобы еще больше уменьшить размер без потери важных данных, преобразуйте извлеченный HTML в Markdown. Сначала установите библиотеку markdownify:

pip install markdownify

Импортируйте markdownify в scraper.py:

from markdownify import markdownify

Затем используйте его для преобразования HTML из #main в Markdown:

main_markdown = markdownify(main_html)

В результате преобразования данных должен получиться результат, показанный ниже:

Версия в формате Markdown занимает около 2,53 КБ, по сравнению с 13,61 КБ для оригинального #main HTML. Это сокращение размера на 81 %! Кроме того, важно, что версия в формате Markdown сохраняет все ключевые данные, которые вам нужны для сканирования.

С помощью этого простого трюка вы сократили громоздкий HTML-фрагмент в компактную строку Markdown. Это значительно ускорит локальный разбор данных LLM через Qwen3!

Шаг #5: Используйте Qwen3 для парсинга данных

Чтобы заставить Qwen3 правильно соскребать данные, нужно написать эффективную подсказку. Начните с анализа структуры целевой страницы:

Верхняя часть страницы едина для всех продуктов. С другой стороны, таблица “Дополнительная информация” меняется в зависимости от продукта. Поскольку вы можете захотеть, чтобы ваша подсказка работала на всех страницах товаров на платформе, вы можете описать свою задачу в общих чертах следующим образом:

Extract main product data from the HTML content below. Respond with a raw string in JSON format containing the scraped data in product attributes as below:\n\n
SAMPLE JSON ATTRIBUTES: \n
sku, name, images, price, description, category + fields extracted from the "Additional information" section

CONTENT:\n
<MARKDOWN_PRODUCT_CONTENT>

Этот запрос указывает Qwen3 на извлечение структурированных данных из содержимого main_markdown. Чтобы получить надежные результаты, лучше всего сделать запрос как можно более четким и конкретным. Это поможет модели понять, чего именно вы ожидаете.

Теперь используйте Hugging Face для запуска подсказки, как объясняется в официальной документации:

# Define tge data extraction prompt
prompt = prompt = f"""Extract main product data from the HTML content below. Respond with a raw string in JSON format containing the scraped data in product attributes as below:\n\n
SAMPLE JSON ATTRIBUTES: \n
sku, name, images, price, description, category + fields extracted from the "Additional information" section

CONTENT:\n
{main_markdown}
"""

# Execute the prompt
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=32768
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()

# Retrieve the output in text format
product_raw_string = tokenizer.decode(output_ids, skip_special_tokens=True).strip("\n")

Приведенный выше код использует функцию apply_chat_template() для форматирования входного сообщения и генерирует ответ из настроенной модели Qwen3.

Примечание: Ключевой деталью является настройка enable_thinking=False в функции apply_chat_template(). По умолчанию эта опция установлена в True, что активирует внутренний режим “рассуждения” модели. Эта задача полезна для решения сложных проблем, но не нужна и потенциально контрпродуктивна для простых задач вроде веб-скрапинга. Отключение этого режима позволяет модели сосредоточиться исключительно на извлечении информации без добавления объяснений или предположений.

Фантастика! Вы только что поручили Qwen3 выполнить веб-скреппинг на целевой странице.
Теперь осталось только настроить вывод и экспортировать его в JSON.

Шаг #6: Преобразование выходных данных Qwen3

Результаты, полученные моделью Qwen3-0.6B, могут немного отличаться друг от друга. Это типичное поведение для LLM, особенно для небольших моделей, подобных той, что используется здесь.

Таким образом, иногда переменная product_raw_string будет содержать нужные данные в виде простой строки JSON. В других случаях она может обернуть JSON внутри блока кода Markdown, как, например, здесь:

```json\n{\n  "sku": "24-UG06",\n  "name": "Affirm Water Bottle",\n  "images": ["https://www.scrapingcourse.com/ecommerce/wp-content/uploads/2024/03/ug06-lb-0.jpg"],\n  "price": "$7.00",\n  "description": "You’ll stay hydrated with ease with the Affirm Water Bottle by your side or in hand. Measurements on the outside help you keep track of how much you’re drinking, while the screw-top lid prevents spills. A metal carabiner clip allows you to attach it to the outside of a backpack or bag for easy access.",\n  "category": "Fitness Equipment",\n  "additional_information": {\n    "Activity": "Yoga, Recreation, Sports, Gym",\n    "Gender": "Men, Women, Boys, Girls, Unisex",\n    "Material": "Plastic"\n  }\n}\n```

Чтобы справиться с обоими случаями, вы можете использовать регулярное выражение для извлечения содержимого JSON, когда оно появляется внутри блока Markdown. В противном случае воспринимайте строку как необработанный JSON. Затем вы можете разобрать полученные JSON-данные на Python-словарь json.loads():

# Check if the string contains "```json" and extract the raw JSON if present
match = re.search(r'```json\n(.*?)\n```', product_raw_string, re.DOTALL)

if match:
    # Extract the JSON string from the matched group
    json_string = match.group(1)
else:
    # Assume the returned data is already in JSON format
    json_string = product_raw_string

# Parse the extracted JSON string into a Python dictionary
product_data = json.loads(json_string)

Вот и все! На этом этапе вы разобрали собранные данные и превратили их в пригодный для использования объект Python. Последний шаг – экспорт данных в более удобный для пользователя формат.

Шаг № 7: Экспорт собранных данных

Теперь, когда у вас есть данные о продукте в словаре Python, вы можете сохранить их в JSON-файл следующим образом:

with open("product.json", "w", encoding="utf-8") as json_file:
    json.dump(product_data, json_file, indent=4)

В результате будет создан файл product.json, содержащий структурированные данные о продукте.

Отлично! Ваш веб-скребок Qwen3 завершен.

Шаг № 8: Соберите все вместе

Вот окончательный код вашего скрипта скраппинга Qwen3 scraper.py:

from transformers import AutoModelForCausalLM, AutoTokenizer
import requests
from bs4 import BeautifulSoup
from markdownify import markdownify
import json
import re

# The Qwen3 model to use for web scraping
model_name = "Qwen/Qwen3-0.6B"

# Load the tokenizer and the Qwen3 model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

# Fetch the HTML content of the target page
url = "https://www.scrapingcourse.com/ecommerce/product/affirm-water-bottle/"
response = requests.get(url)

# Parse the HTML of the target page with BeautifulSoup
soup = BeautifulSoup(response.content, "html.parser")

# Select the #main element
main_element = soup.select_one("#main")

# Get the outer HTML of the selected element and convert it to Markdown
main_html = str(main_element)
main_markdown = markdownify(main_html)

# Define tge data extraction prompt
prompt = prompt = f"""Extract main product data from the HTML content below. Respond with a raw string in JSON format containing the scraped data in product attributes as below:\n\n
SAMPLE JSON ATTRIBUTES: \n
sku, name, images, price, description, category + fields extracted from the "Additional information" section

CONTENT:\n
{main_markdown}
"""

# Execute the prompt
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=32768
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()

# Retrieve the output in text format
product_raw_string = tokenizer.decode(output_ids, skip_special_tokens=True).strip("\n")

# Check if the string contains "```json" and extract the raw JSON if present
match = re.search(r'```json\n(.*?)\n```', product_raw_string, re.DOTALL)

if match:
    # Extract the JSON string from the matched group
    json_string = match.group(1)
else:
    # Assume the returned data is already in JSON format
    json_string = product_raw_string

# Parse the extracted JSON string into a Python dictionary
product_data = json.loads(json_string)

# Export the scraped data to JSON
with open("product.json", "w", encoding="utf-8") as json_file:
    json.dump(product_data, json_file, indent=4)

Запустите сценарий с помощью:

python scraper.py

При первом запуске скрипта Hugging Face автоматически загрузит выбранную модель Qwen3. Размер этой модели составляет около 1,5 Гб, поэтому загрузка может занять некоторое время в зависимости от скорости вашего интернета. В терминале вы увидите вывод типа:

model.safetensors: 100%|██████████████████████████████████████████████████████████| 1.50G/1.50G [00:49<00:00, 30.2MB/s]
generation_config.json: 100%|█████████████████████████████████████████████████████████████████| 239/239 [00:00<?, ?B/s]

Выполнение сценария может занять некоторое время, так как PyTorch будет нагружать ваш процессор для загрузки и запуска модели.

После завершения работы скрипт создаст файл product.json в папке проекта. Откройте этот файл, и вы увидите структурированные данные о продукте, как показано ниже:

{
    "sku": "24-UG06",
    "name": "Affirm Water Bottle",
    "images": [
        "https://www.scrapingcourse.com/ecommerce/wp-content/uploads/2024/03/ug06-lb-0.jpg"
    ],
    "price": "$7.00",
    "description": "You’ll stay hydrated with ease with the Affirm Water Bottle by your side or in hand. Measurements on the outside help you keep track of how much you\u2019re drinking, while the screw-top lid prevents spills. A metal carabiner clip allows you to attach it to the outside of a backpack or bag for easy access.",
    "category": "Fitness Equipment",
    "additional_information": {
        "Activity": "Yoga, Recreation, Sports, Gym",
        "Gender": "Men, Women, Boys, Girls, Unisex",
        "Material": "Plastic"
    }
}

Примечание: Точный результат может немного отличаться из-за особенностей LLM, которые могут по-разному структурировать отсканированный контент.

И вуаля! Ваш скрипт только что превратил сырой HTML-контент в чистый, структурированный JSON. Все благодаря веб-скреппингу Qwen3.

Преодоление основных ограничений данного подхода к веб-скрапингу

Конечно, в нашем примере все работало гладко. Но это только потому, что мы использовали демо-сайт, созданный специально для этой цели.

В реальном мире большинство веб-сайтов прекрасно понимают ценность своих данных, размещаемых в открытом доступе. Поэтому они часто применяют методы борьбы со скрапингом, которые позволяют быстро блокировать автоматические HTTP-запросы, выполняемые с помощью таких инструментов, как requests.

Кроме того, такой подход не сработает на сайтах с большим количеством JavaScript. Это связано с тем, что комбинация запросов и BeautifulSoup хорошо работает для статических страниц, но не может обрабатывать динамический контент. Если вы не знаете, в чем разница, посмотрите нашу статью о статическом и динамическом контенте.

Другие потенциальные блокировщики включают запрет IP-адресов, ограничители скорости, отпечатки пальцев TLS, CAPTCHA и многое другое. Одним словом, скраппинг в Интернете – дело непростое, особенно сейчас, когда большинство сайтов оснащены системой обнаружения и блокировки краулеров и ботов искусственного интеллекта.

Решение заключается в использовании API Web Unlocker, созданного для современного веб-скраппинга с помощью запросов. Такой сервис позаботится обо всем сложном за вас, включая ротацию IP-адресов, решение CAPTCHA, рендеринг JavaScript и обход защиты от ботов.

Все, что вам нужно сделать, это передать URL целевой страницы в конечную точку Web Unlocker API. API вернет полностью разблокированный HTML, даже если страница использует JavaScript или защищена продвинутыми системами защиты от ботов.

Чтобы интегрировать его в свой скрипт, просто замените строку requests.get() из Шага #3 следующим кодом:

WEB_UNLOCKER_API_KEY = "<YOUR_WEB_UNLOCKER_API_KEY>"

# Set up authentication headers
headers = {
    "Content-Type": "application/json",
    "Authorization": f"Bearer {WEB_UNLOCKER_API_KEY}"
}

# Define the payload with the target URL
payload = {
    "zone": "unblocker",
    "url": "https://www.scrapingcourse.com/ecommerce/product/affirm-water-bottle/", # Replace this with your target URL on a different scraping scenario
    "format": "raw"
}

# Send the request
response = requests.post("https://api.brightdata.com/request", json=payload, headers=headers)

# Get the unlocked HTML
html_content = response.text

Для получения более подробной информации обратитесь к официальной документации Web Unlocker.

При наличии Web Unlocker вы можете уверенно использовать Qwen3 для извлечения структурированных данных с любого веб-сайта – больше никаких блоков, проблем с рендерингом или отсутствующего контента.

Альтернативы Qwen3 для веб-скрапинга

Qwen3 – не единственный LLM, который можно использовать для автоматического разбора веб-данных. Изучите некоторые альтернативные подходы в следующих руководствах:

Заключение

В этом уроке вы узнали, как запустить Qwen3 локально с помощью Hugging Face и создать веб-скрепер на базе ИИ. Одним из самых больших препятствий в веб-скреппинге является блокировка, но эта проблема была решена с помощью API Web Unlocker от Bright Data.

Как уже говорилось ранее, сочетание Qwen3 с Web Unlocker API позволяет извлекать данные практически с любого веб-сайта. При этом не требуется никакой собственной логики парсинга. Эта настройка демонстрирует лишь один из многих мощных сценариев использования инфраструктуры Bright Data, помогая вам создавать масштабируемые конвейеры веб-данных, управляемые искусственным интеллектом.

Так зачем же останавливаться на достигнутом? Рассмотрите API Web Scraper – специальныеконечные точки для извлечения свежих, структурированных и полностью соответствующих требованиям веб-данных с более чем 120 популярных сайтов.

Зарегистрируйтесь в бесплатной учетной записи Bright Data сегодня и начните строить с помощью решений для скраппинга с поддержкой искусственного интеллекта!

Веб-скрапинг с помощью Qwen3 в 2025 году: Полное руководство