时间:2023-01-19 | 标签: | 作者:Q8 | 来源:网络
小提示:您能找到这篇{他说:作为产品经理,不懂技术和代码也一样可}绝对不是偶然,我们能帮您找到潜在客户,解决您的困扰。如果您对本页介绍的他说:作为产品经理,不懂技术和代码也一样可内容感兴趣,有相关需求意向欢迎拨打我们的服务热线,或留言咨询,我们将第一时间联系您! |
文章主要提供一些解决问题的思维方法。这篇文章可能很啰嗦,先把思路写出来:
1.天河液压阀企业网络营销策数据爬取需要的数据都在竞品用户个人空间,所以第一个想到的是让开发用 Python 写个爬虫。跟开发确认了一下时间,说要三天,果断放弃,自己来。 先找了个网页信息爬取工具(百度一搜一大把),我用的是火车采集器。它可以对指定的URL中的页面内容进行抓取。抓取的规则是通过H5标签识别,所以输入需要抓取字段的起止标签就可以了。 我想了解的是主播收入、大R的送礼金额、还有个人空间的地址。 大R的送礼记录个人空间就有。不过主播个人总收益是没有展示的,所以我只能假定主播的粉丝越高,他的收益越多。 所以我最终抓取的是三个字段是:粉丝量、送礼总额、个人空间地址。 在爬取工具上设置好抓取字段,测试了几个页面,数据可用。然后麻烦的问题来了,没办法知道触手更多个人空间地址。 2.获取URL个人空间的 URL 是这样的“//chushou.tv/u/用户ID.htm”。观察了一下,用户ID是不规则的,从6位到9位都有。如果直接从一个一个 URL 循环过去,抓到999999999不现实。 最后选择了Xenu,这是一个检查网站死链的工具,据说会模拟百度蜘蛛爬取网站URL,检测是否为死链。最重要的是会把检查结果显示出来,这样我可以拿到竞品域名下所有的URL,再通过Excel筛选出我需要的个人空间URL。 避免URL爬取不完整,连续抓了3个晚上。再放到Excel中去重。Xenu在运行时比较消耗内存,早上来的时候都会发现软件已经崩溃,所以我三天累计抓到了近100w个URL,实际可用的只有7w个。 这样我拿到了竞品的7w个用户个人空间地址,不过这个数字跟他们PR出去的数字相差甚远。(严格来说,由于不确定这些数据的来源,所以即便得出结论也是不可信的。) 3.数据整理拿到这些数据就有了排行榜。我可以按照粉丝量最高的来排,寻找大主播;也可以按照送礼金额(平台的虚拟货币)来排,寻找土豪粉。 寻找用户进行访谈: 利用百度的站内搜索 这样我能找到好多在个人签名或公告中留有 QQ 的用户。然后加了好友,开始聊天。 后记这些文字是在半年前写的,时隔半年,还是觉得这个过程很有趣,不断提出问题,解决问题。 实际上还有很多问题,没啥可以实操的东西,比如:网站有反爬虫;被封 IP ;页面中都是各种 JS 导致无法顺利完成抓取,等等。看个热闹就好了。 ^_^ 相关阅读:
作者:王也,上海,产品经理,个人公众号:野生产品国内邮件营销软件经理。 本文由 @王也 于。,。 |
上一篇:常见用户行为分析模型解析(3)——漏斗分析模
下一篇:数据分析方法论:你真的懂 Session(会话) 分析
小提示:您应该对本页介绍的“他说:作为产品经理,不懂技术和代码也一样可”相关内容感兴趣,若您有相关需求欢迎拨打我们的服务热线或留言咨询,我们尽快与您联系沟通他说:作为产品经理,不懂技术和代码也一样可的相关事宜。
关键词:web数据, 数据抓取, 数据爬