クローラー

クローラー（スパイダー）は、シードURLから始まり、ページをダウンロードしてリンクを抽出し、繰り返すことでサイトマップやデータセットを構築します。各リクエストをProxiedのキャリアIPにローテーションすることで、レート制限やブロックを回避します。