Scrapy

Scrapy — это быстрый, управляемый событиями Python-фреймворк, созданный для скрейпинга в больших масштабах. Добавьте Proxied в settings.py:

var proxy = new WebProxy('socks5://gateway.proxied.com:1080')
browser.Proxy = proxy

Каждый запрос наследует доверенный мобильный IP, снижая количество страниц 403 и CAPTCHA в .NET конвейерах данных.