MediaCrawler,轻松爬取抖音小红书评论数据!(小红书评论采集)

AIGC动态欢迎阅读

原标题:MediaCrawler,轻松爬取抖音小红书评论数据

关键字:快手,爬虫,数据,环境,帖子

文章来源:大数据文摘

内容字数:3242字

内容摘要:

大数据文摘受权转载自法纳斯特

今天给大家介绍一个Python爬虫实战的项目,MediaCrawler。

可以实现小红书爬虫,抖音爬虫, 快手爬虫, B站爬虫, 微博爬虫。

目前能抓取小红书、抖音、快手、B站、微博的视频、图片、评论、点赞、转发等信息。项目地址:

https://github.com/NanmiCoder/MediaCrawler

原理:利用playwright搭桥,保留登录成功后的上下文浏览器环境,通过执行JS表达式获取一些加密参数 通过使用此方式,免去了复现核心加密JS代码,逆向难度大大降低。

下面小F就来介绍下如何使用~

首先使用conda创建虚拟环境,Python版本3.9。

激活环境后,安装相关的依赖。

#创建conda环境condacreate–nameMediaCrawlerpython=3.9#激活环境condaactivateMediaCrawler#安装相关依赖pipinstall-rrequirements.txt-ihttps://pypi.tuna.tsinghua.edu.cn/simple#安装playwright浏览器驱动playwrig

原文链接:MediaCrawler,轻松爬取抖音小红书评论数据!

联系作者

文章来源:大数据文摘

作者微信:BigDataDigest

作者简介:普及数据思维,传播数据文化

0
分享到:
没有账号? 忘记密码?