curl

如何 Debug 爬虫无法成功爬取的问题

a tractor in a field
~ 白宦成 ~ Leave a comment

在写爬虫的时候，我们会遇到最常见的问题是浏览器访问是一切正常的，但到代码编写的时候，就发现无法正常爬取。

y39ss5

这个时候往往是我们的爬虫所模拟的行为和代码里是不同的（比如浏览器拥有 30 个参数，但我们的代码中只有一个参数），从而导致最终执行的效果不同。而想要在代码中实现和浏览器相同的效果，最重要的是完全复制浏览器的行为，以便于让代码去模拟。

所以关键在于找到从30个参数正常运转，到1个参数不运转的关键参数，毕竟我们不想在代码当中添加太多的 Magic Value 来解决一些问题。所以要找到关键的参数。

获取现场

首先，我们需要获取到和浏览器一样的数据，因为这个是我们进行后续的基础，有了它，我们才能进行从 30 个参数减少到 1 个参数。在执行这个步骤时，你需要借助 Chrome Devtools，来获取到现场。

使用 F12 打开 Chrome DevTools，切换到 「网络」Tab ，并刷新页面，以重新加载请求。页面正常加载完成后，你就可以从中找到你要 Debug 的请求。在这个请求上点击右键，选择「复制」，并选择「以 cURL 格式复制」，复制以后，你会得到如下的内容。这就是你在使用浏览器时，实际发送给服务器的请求。

你可以将这段命令放在 Terminal 中运行，你会看到和浏览器中的一样的内容输出。

此时，我们看复制出来的命令，其中包含了链接（我们的一个的参数），以及大量的 Header，这些 Header 中的某一个可能就是服务器将我们视为爬虫的 Header，然后拒绝我们的。

curl 'https://www.baidu.com/' \
  -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7' \
  -H 'Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-US;q=0.7' \
  -H 'Cache-Control: no-cache' \
  -H 'Connection: keep-alive' \
  -H 'Cookie: BIDUPSID=1B455AFF07892965CF63335283C0BD80; PSTM=1690036933; BD_UPN=123253; BDUSS=BDcmp1YzFSeTRDLXVGZlNBbDJKZ08ya1lMQUpBVTlEaWM5WE9mV25YWn5EfmxrRVFBQUFBJCQAAAAAAAAAAAEAAADwPbowsNe084aq4MIAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAH-C0WR~gtFkan; BDUSS_BFESS=BDcmp1YzFSeTRDLXVGZlNBbDJKZ08ya1lMQUpBVTlEaWM5WE9mV25YWn5EfmxrRVFBQUFBJCQAAAAAAAAAAAEAAADwPbowsNe084aq4MIAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAH-C0WR~gtFkan; delPer=0; BD_CK_SAM=1; ZFY=sMxi79JqlMJjPMSJ3gQr5ht5g0MCtkIqefc2OTMspV4:C; BD_HOME=1; BDRCVFR[feWj1Vr5u3D]=I67x6TjHwwYf0; rsv_jmp_slow=1691762441727; BAIDUID=1B455AFF07892965CF63335283C0BD80:SL=0:NR=10:FG=1; sug=0; sugstore=1; ORIGIN=2; bdime=0; BAIDUID_BFESS=1B455AFF07892965CF63335283C0BD80:SL=0:NR=10:FG=1; PSINO=2; COOKIE_SESSION=161794_0_4_3_2_11_1_0_4_4_1_0_161839_0_9_0_1691922269_0_1691922260%7C4%230_0_1691922260%7C1; MCITY=-131%3A; H_PS_PSSID=36558_39217_38876_39118_39198_26350_39138_39100; BA_HECTOR=8gah01agag8g2kala0a12l2o1idr2ba1o; RT="z=1&dm=baidu.com&si=8e7a4596-4b9f-45c3-bf30-f7dffaddd79d&ss=llewny2r&sl=3&tt=1ag&bcn=https%3A%2F%2Ffclog.baidu.com%2Flog%2Fweirwood%3Ftype%3Dperf&ld=89j&ul=104t&hd=105p"' \
  -H 'DNT: 1' \
  -H 'Pragma: no-cache' \
  -H 'Sec-Fetch-Dest: document' \
  -H 'Sec-Fetch-Mode: navigate' \
  -H 'Sec-Fetch-Site: none' \
  -H 'Sec-Fetch-User: ?1' \
  -H 'Upgrade-Insecure-Requests: 1' \
  -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36' \
  -H 'sec-ch-ua: "Not.A/Brand";v="8", "Chromium";v="114", "Google Chrome";v="114"' \
  -H 'sec-ch-ua-mobile: ?0' \
  -H 'sec-ch-ua-platform: "macOS"' \
  --compressed
Code language: JavaScript (javascript)

使用二分法测试 Header

如果要查出哪些 Header 是关键参数，一个比较便捷的方式是采用二分法的方式来调试这些 Header。

具体操作时，你只需要删除一半的 Header，并再次发送 cURL，看是否可以正确获得我们想要的内容。如果你发现删除的这一半并不会让你拿到的返回结果报错，就可以继续使用二分法删除 Header，直到定位到真正会影响到我们正确获取结果的 Header 为止。

当你测试到某个 header 被移除后回导致无法正确返回内容，接下来你可以把剩下的 header 继续使用二分法来删除，测试具体会影响结果的 Header，直到删无可删之时，就说明我们已经拿到了能正常运转的最简参数。

此时，你就可以放心的将上述逻辑放在你的代码中来进行维护。

除此之外，你还可以使用上述的逻辑，把你的爬虫逻辑放进单元测试，这样当目标网站调整了爬虫逻辑之后，你就会快速发现。