Apify proxy integration

Использование прокси Apify

Что такое Apify?

Apify — мощная платформа для веб-скрапинга, извлечения данных и автоматизации процессов взаимодействия с сайтами в браузере. В магазине Apify Store представлены сотни готовых к использованию инструментов, для работы с которыми достаточно изменить несколько настроек.

Прокси часто являются неотъемлемой частью веб-скрапинга. При выполнении парсинга всегда нужно сохранять свою анонимность. Кроме того, необходимо учитывать меры по борьбе с веб-скрапингом и другие ограничения, установленные на целевом сайте.

Вот здесь и приходит на помощь Bright Data

Прокси-решения Bright Data помогут вам успешно выполнять задачи по веб-скрапингу и автоматизации. Прокси Bright Data легко интегрируются с Apify, поэтому вы сможете выполнять свою работу без опасения блокировок.

Как настроить Apify с использованием прокси Bright Data:

Перейдите на Bright Data:

  1. Войдите в свою учетную запись Bright Data и перейдите в панель управления
  2. Нажмите на прокси и создайте зону
  3. Вы можете выбрать IP-адреса среди серверных, резидентных и мобильных прокси
  4. Сконфигурируйте и создайте зону в соответствии с требованиями проекта
  5. Кликните на иконку Settings рядом с названием зоны
  6. Получите имя пользователя и пароль доступа.

Перейдите на Apify:

  1. Перейдите по адресу apify.com и войдите в свою учетную запись.
  2. Войдя в консоль Apify, кликните на пункт Actors в левом меню.
  3. Во вкладке «Магазин» вы найдете парсер Google Maps. Мы будем использовать его в качестве примера. Кликните по нему.
  4. Перейдите на вкладку «Ввод».
  5. Введите ключевое слово или URL-адрес Google Maps для веб-скрапинга.
  6. Затем прокрутите страницу вниз, чтобы найти настройки прокси.
  7. Нажмите на пользовательский прокси и введите учетные данные прокси в следующем формате.
  8. http://username:password@hostname:port Имя пользователя и пароль можно взять из настроек зоны, которую мы только что создали.
  9. Имя хоста для прокси Bright Data — zproxy.lum-superproxy.io, а порт — 22225
  10. Вот как будет выглядеть окончательный URL прокси Bright Data: http://lum-customer-c_375eb5c4-zone-zone5:[email protected]:22225
  11. Затем просто нажмите кнопку «Выполнить».

После данные можно просмотреть и загрузить в виде HTML, JSON, CSV, Excel, XML и RSS-ленты.

Чтобы убедиться в том, что Apify использовал прокси, зайдите в панель управления Bright Data, перейдите к прокси и проверьте журнал событий.

Получить прокси для Apify

apify actors
Apfiy web scraper
lum test
      
    
apify proxy config

Готовы начать?

add proxy credentials
details and start
output tab
Proxy badges

Работает на базе отмеченной наградами прокси-сети

С более чем 72 миллионами жилых IP-адресов, лучшая в своем классе технология и таргетинг на любую страну, город, оператора и ASN – сделали наши премиальные прокси-сервисы лучшим выбором для разработчиков

Типы прокси для любых задач

Резидентные прокси

  • 72+ млн IP-адресов
  • Доступны в 195 странах
  • Крупнейшая вращающаяся реальная IP-сеть
  • Доступ и сканирование всех сложных сайтов

Серверные прокси

  • 1 600 000+ IP-адресов
  • Доступны в 98 странах
  • Общие и выделенные пулы IP-адресов
  • Быстрый доступ к несложным веб-сайтам

ISP прокси

  • 700+ тыс IP-адресов
  • Доступны в 35 странах
  • Реальные статические резидентные IP-адреса без ротации
  • Лучший вариант для входа в несколько учетных записей

Мобильные прокси

  • 7+ млн IP-адресов
  • Доступны в 195 странах
  • Крупнейшая в мире IP-сеть 3G/4G с реальными одноранговыми узлами
  • Проверка мобильной рекламы и сканирование мобильных сайтов

Лидер категории прокси и сбора данных

Category leader in proxies

Каждый день собирается 650ТБ общедоступных данных.

Number of ISP proxies

Новые выпуски функций каждый день

Serving 7/10 universities

На службе у 7/10 ведущих университетов мира

Trust pilot ratings

4,6/5 – рейтинг удовлетворенности клиентов на Trustpilot

Лучшее качество обслуживания и поддержки клиентов в отрасли

Вы спрашиваете, мы разрабатываем

Каждый день выходят новые функции

Техподдержка 24/7

ответит на любые вопросы тогда, когда вам это нужно

Полная прозрачность

Панель мониторинга состояния сети в реальном времени

Персональный аккаунт-менеджер

Поможет оптимизировать производительность

Индивидуальные решения

Разработанные под ваши цели