Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Cookie更换频率和请求频率 #417

Open
scn0901 opened this issue Jun 3, 2024 · 9 comments
Open

Cookie更换频率和请求频率 #417

scn0901 opened this issue Jun 3, 2024 · 9 comments

Comments

@scn0901
Copy link

scn0901 commented Jun 3, 2024

我在尝试使用自己部署的服务爬取TikTok的视频评论。我想请教一下作者:为了避免被平台控,Cookie推荐多长时间换一次?以及请求频率推荐为多快?此外,是否有其他的避免被控的注意事项?谢谢~

@yuanmomoya
Copy link

我在尝试使用自己部署的服务爬取TikTok的视频评论。我想请教一下作者:为了避免被平台控,Cookie推荐多长时间换一次?以及请求频率推荐为多快?此外,是否有其他的避免被控的注意事项?谢谢~

cookie可以很久不用换,我这边试着一周是没有问题的,我这边试着是抖音会封IP,你可以加下网络代理,请求频率最好是30s的随机时间,这样就可以用很久

@scn0901
Copy link
Author

scn0901 commented Jun 4, 2024

谢谢@yuanmomoya的解答!我想再问一下就是加代理会不会导致Cookie或账户被封,因为可能会频繁地更换ip而被检测?此外,是否有方法可以在确保账户不被封的情况下,尽可能提升爬取速度?以及@Evil0ctal有建议嘛?爬虫小白谢谢各位哇!

@Evil0ctal
Copy link
Owner

Evil0ctal commented Jun 6, 2024

抖音和TikTok一般不会封号,如果cookie失效,重新手动获取即可,使用代理的情况下没有测试过。

@yuanmomoya
Copy link

抖音和TikTok一般不会封号,如果cookie失效,重新手动获取即可,使用代理的情况下没有测试过。

算是封请求url 我这边遇到的是会封禁请求 就是不能进入视频详情页,进入详情页就异常了,自动跳转其它视频页了 其它功能正常

@Evil0ctal
Copy link
Owner

嗯嗯对的,这个情况抖音会出现,TikTok则没有。

@scn0901
Copy link
Author

scn0901 commented Jun 6, 2024

嗯嗯谢谢!还想问下有没有一些推荐的爬虫策略哇?我想尽量让请求不报错400,并且加快爬取速度orz

@scn0901
Copy link
Author

scn0901 commented Jun 6, 2024

我还想问下如何识别各种错误类型(例如:Cookie失效、爬取速度过快、TikTok服务器内部错误等)?这个API服务针对各种错误类型是否有特殊的错误码/log信息等?因为我想debug和处理各种错误~

@yuanmomoya
Copy link

嗯嗯谢谢!还想问下有没有一些推荐的爬虫策略哇?我想尽量让请求不报错400,并且加快爬取速度orz

账号池 多搞几个部署下,自己封装一层分发请求到部署的 随机一下请求时间,可以用很久 量大的请求还是买api靠谱,项目作者提供api还是可以的 可以是下

@scn0901
Copy link
Author

scn0901 commented Jun 9, 2024

嗯嗯谢谢!还想问下有没有一些推荐的爬虫策略哇?我想尽量让请求不报错400,并且加快爬取速度orz

账号池 多搞几个部署下,自己封装一层分发请求到部署的 随机一下请求时间,可以用很久 量大的请求还是买api靠谱,项目作者提供api还是可以的 可以是下

好滴好滴!我先试试自己用账号池部署啦,实在不行我就用作者API。谢谢你!!!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants