CAPTCHA была разработана для того, чтобы отличать пользователей-людей от автоматизированных компьютерных программ. Обычно она используется в качестве защитного барьера для веб-сервисов, чтобы предотвратить ряд вредных или разрушительных действий, которые могут быть выполнены ботами или автоматизированными скриптами, включая создание многочисленных учетных записей, выполнение автоматизированных атак методом грубой силы, парсинга данных и рассылку спама.
CAPTCHA предотвращает эти действия, представляя тест вызов-ответ, созданный таким образом, чтобы быть простым для человека, но сложным для автоматизированных алгоритмов и программ.
В этой статье вы узнаете о некоторых наиболее распространенных типах CAPTCHAS, а также о том, как использовать Web Unlocker от Bright Data для обхода этих проблем.
Различные типы CAPTCHA
Задачи CAPTCHA могут быть представлены в различных формах, включая следующие:
Текстовые CAPTCHA
Текстовые CAPTCHA – одна из наиболее распространенных форм CAPTCHA, в которой от пользователей требуется правильно определить и ввести серию символов, представленных искаженным или творчески оформленным шрифтом. Доступ к веб-сайту или онлайн-ресурсу предоставляется или запрещается в зависимости от точности ответа:
Вот некоторые характеристики текстовых CAPTCHA:
- Искажение: В текстовых CAPTCHA часто применяются методы искажения для устранения неясных символов, что затрудняет их точную интерпретацию автоматическим программным обеспечением. Такие искажения включают в себя изменения размеров, форм, поворотов, шрифтов, стилей и интервалов.
- Ограничения по времени: Задачи CAPTCHA на основе текста обычно имеют заранее определенное время для завершения. Это создает дополнительный уровень безопасности, не позволяя сложному программному обеспечению использовать временные задержки для решения этих задач.
- Чувствительность к регистру: Текстовые CAPTCHA обычно содержат как прописные, так и строчные буквы, и от пользователей часто требуется вводить символы с соответствующей чувствительностью к регистру.
- Рандомизация: Символы, используемые в этом CAPTCHA-задании, обычно генерируются случайным образом, чтобы обеспечить уникальность каждого задания.
Графическая CAPTCHA
В случае с графической CAPTCHA пользователям предлагаются изображения, которые они должны идентифицировать и правильно взаимодействовать с ними, чтобы получить доступ. Эти задачи с изображениями создаются таким образом, чтобы быть визуально привлекательными и сложными для автоматических скриптов, поскольку они требуют сложных возможностей распознавания изображений, обычно выходящих за рамки возможностей автоматических скриптов:
Ниже перечислены ключевые особенности графических CAPTCHA:
- Визуальная идентификация и взаимодействие: Графические CAPTCHA часто требуют от пользователей идентифицировать, распознавать и взаимодействовать с определенными компонентами, встроенными в изображение. Эти компоненты могут включать объекты, знаки или любые другие визуально различимые предметы.
- Решение головоломки: Некоторые типы графических CAPTCHA представляют пользователям головоломку, которую они должны решить. Эти задачи могут включать в себя сопоставление похожих элементов или успешное завершение сложных визуальных узоров.
- Ограничения по времени: Как и их текстовые аналоги, графические CAPTCHA часто накладывают ограничение по времени.
Аудио CAPTCHA
Аудио CAPTCHA были разработаны в первую очередь как альтернативный способ проверки человека для людей с нарушениями зрения. Однако они могут служить ценной альтернативой для пользователей, сталкивающихся с трудностями при расшифровке искаженного текста или при решении задач, основанных на изображениях.
Аудио CAPTCHA могут включать в себя такие действия, как прослушивание последовательности символов и ввод их в правильном порядке или ответ на аудиоинструкции, например, нажатие на определенную кнопку после того, как вы услышите определенное слово:
Ниже перечислены некоторые характеристики аудио CAPTCHA:
- Доступность: Аудио CAPTCHA в первую очередь разработаны для обеспечения доступности для пользователей с нарушениями зрения, которые могут использовать программы чтения с экрана или другие вспомогательные технологии.
- Низкий уровень безопасности: По сравнению с визуальными аналогами, аудио CAPTCHA обладают более низким уровнем безопасности. В первую очередь это связано с повышенной уязвимостью перед продвинутыми ботами, способными анализировать и реагировать на аудиозадачи. Чтобы снизить этот риск, в аудио CAPTCHA часто включают такие элементы, как фоновый шум, изменение высоты тона или другие звуковые изменения, чтобы повысить сложность задачи.
CAPTCHA на основе головоломок
Задачи CAPTCHA на основе головоломок требуют от пользователей точно заполнить части большой головоломки. Этот метод проверки человеком обеспечивает более надежный подход, чем текстовые CAPTCHA. Среди распространенных головоломок можно назвать головоломки со слайдами, распознавание образов или подбор цвета:
Ниже перечислены ключевые особенности CAPTCHA на основе головоломок:
- Повышенная безопасность: Известно, что CAPTCHA на основе головоломок менее уязвимы для автоматических ботов, поскольку для их создания требуются такие возможности, как сопоставление шаблонов и распознавание изображений, которые являются более сложными, чем обычный текст и оптическое распознавание символов.
- Интерактивность: CAPTCHA на основе головоломок разработаны таким образом, чтобы быть интерактивными. Это делает процесс более увлекательным и приятным для пользователя.
Как обойти CAPTCHA с помощью Web Unlocker
Благодаря растущей популярности веб-скрапинга, решения для CAPTCHA теперь используют машинное обучение и искусственный интеллект для определения и эффективного обхода проблем CAPTCHA. Одним из таких решений является Bright Data Web Unlocker.
С Web Unlocker инициировать прокси-запрос очень просто: пользователь может указать целевой сайт и получить хорошо организованный ответ в нескольких форматах, включая HTML и JSON. Процесс получения данных также прост благодаря алгоритму Web Unlocker, который определяет наиболее оптимальные прокси-сети, настраивает заголовки запросов, реализует отпечатки пальцев браузера и решает задачи CAPTCHA любого типа.
Чтобы использовать Web Unlocker для решения CAPTCHA, подпишитесь на бесплатную пробную версию. После того как вы введете свои данные в указанные поля ввода, вы перейдете к приветственному интерфейсу:
Выберите Прокси и инфраструктура скрапингаи остановите свой выбор на решении Web Unlocker. После этого вы перейдете в раздел Конфигурация, где сможете ввести желаемое имя и параметры конфигурации:
После завершения выберите Сохранить и активировать. Перед активацией продукта вам будет предложено ввести платежную информацию. Этот процесс необходим для активации бесплатных кредитов, но плата с вас не взимается.
После ввода платежной информации вернитесь в раздел Прокси и инфраструктура скрапинга. Найдите только что созданный Web Unlocker в списке ресурсов на вкладке и нажмите на него. Вы будете перенаправлены на вкладку Параметры доступа вашего решения Web Unlocker:
Учетные данные доступа включают ваш хост, имя пользователя и пароль, которые будут использоваться для аутентификации прокси-запросов. Нажмите на кнопку Проверить код и интеграцию, и вам будет показан скрипт curl:
Скопируйте скрипт и запустите терминал или командную строку. Выполните скрипт, и вы увидите, как данные будут получены и отображены в окне терминала:
{
"ip": "196.212.93.740",
"country": "US",
"asn": {
"asnum": 265,
"org_name": "Vodafone"
},
"geo": {
"city": "Newyork",
"region": "NE",
"region_name": "North East USA",
"postal_code": "",
"latitude": 40.7128,
"longitude": 74.0060,
"tz": "USA/NY",
"lum_city": "newyork",
"lum_region": "ne"
}
}
Это показывает, что Web Unlocker выполнил запрос по URL-адресу https://lumtest.com.
Чтобы еще больше продемонстрировать возможности Bright Data Web Unlocker, вот пример использования Web Unlocker для доступа к веб-ресурсу, защищенному CAPTCHA.
В целях этой статьи вы будете использовать Web Unlocker для доступа к защищенной CAPTCHA странице входа в Postman.
В личном окне или в окне инкогнито вставьте URL-адрес входа в систему Postman (т.е. https://identity.getpostman.com/login) и нажмите Ввод или Возврат. Появится запрос CAPTCHA, как показано здесь
После успешного завершения откроется страница входа в систему Postman:
Чтобы обойти эту CAPTCHA с помощью Bright Data Web Unlocker, инициируйте прокси-запрос через Web Unlocker к Postman, выполнив следующий запрос curl в командной строке или терминале:
curl --proxy brd.superproxy.io:22225 --proxy-user [BRIGHTDATA USERNAME]:[BRIGHTDATA PASSWORD] -k https://identity.getpostman.com/login
Убедитесь, что вы заменили адрес прокси и пользователя на ваши учетные данные прокси Bright Data Web Unlocker.
При выполнении команды curl программа Web Unlocker должна автоматически обойти CAPTCHA:
Чтобы убедиться в этом, скопируйте ответ curl и вставьте его в выбранный вами веб-редактор. В результате должно получиться HTML-представление страницы входа в систему Postman:
Чтобы упростить интеграцию Web Unlocker в вашу систему, вы можете сгенерировать необходимый код, указав выбранный вами язык программирования, целевой URL и любые дополнительные конфигурации. Просто скопируйте сгенерированный код и внедрите его в свое решение по сбору данных, чтобы насладиться плавным и беспроблемным процессом:
Заключение
Появление таких инструментов, как Bright Data Web Unlocker, изменило представление об автоматизированном доступе и сборе данных. В этой статье вы узнали о пяти различных видах CAPTCHA и методах их обхода.
Хотя Web Unlocker может предложить способ автоматического решения CAPTCHA, очень важно осознавать этические и юридические последствия его использования и убедиться, что он применяется ответственно и без злоупотреблений.
