网络抓取在大数据时代变得非常重要。网络爬行是从网站自动提取数据的过程。网络爬行允许你访问大量的数据。比如可以实时跟踪竞争对手的价格，及时调整自己的价格，提高自己的竞争力。同一个网站也采取了一些措施来防止机器人过度抓取数据。如果有太多的ip访问，该网站将被禁止。本文将重点讨论如何合理避免被网站屏蔽。
目前，使用轮流居住代理是避免被网站访问的最常见的方法。代理是家庭住宅的真实ip，不容易被网站怀疑。住宅代理会掩盖你的抓取工具，隐藏你原来的IP地址。此外，使用代理时，您可以在收集数据时不断更改IP地址以发送无限数量的请求。
代理解决了请求限制问题，在线模拟自然的人类活动，所以你爬的网站很难注意到你的行为，禁止你访问网站。
