他说:作为产品经理,不懂技术和代码也一样可

时间:2023-01-19 | 标签: | 作者:Q8 | 来源:网络

小提示:您能找到这篇{他说:作为产品经理,不懂技术和代码也一样可}绝对不是偶然,我们能帮您找到潜在客户,解决您的困扰。如果您对本页介绍的他说:作为产品经理,不懂技术和代码也一样可内容感兴趣,有相关需求意向欢迎拨打我们的服务热线,或留言咨询,我们将第一时间联系您!

聊完不懂技术的情况下,怎么通过app抓包获取用户数据。今天分享一下上次抓web数据的经信誉好的竞价推广代理商历。



文章主要提供一些解决问题的思维方法。这篇文章可能很啰嗦,先把思路写出来:

  1. 利用Xenu检索全站URL地址
  2. 用Excel筛选出有用的URL
  3. 网页爬取工具,爬取页面中指定的内容信息
  4. Excel信息整理
  5. 寻找竞品的典型用户
  • 目的:调研竞品主播基本情况。我想知道他们的主播粉丝数量分布、用户关注数量分布、用户送礼额度。
  • 背景:一个不懂技术的产品经理。

1.天河液压阀企业网络营销策数据爬取

需要的数据都在竞品用户个人空间,所以第一个想到的是让开发用 Python 写个爬虫。跟开发确认了一下时间,说要三天,果断放弃,自己来。

先找了个网页信息爬取工具(百度一搜一大把),我用的是火车采集器。它可以对指定的URL中的页面内容进行抓取。抓取的规则是通过H5标签识别,所以输入需要抓取字段的起止标签就可以了。



我想了解的是主播收入、大R的送礼金额、还有个人空间的地址。

大R的送礼记录个人空间就有。不过主播个人总收益是没有展示的,所以我只能假定主播的粉丝越高,他的收益越多。

所以我最终抓取的是三个字段是:粉丝量、送礼总额、个人空间地址。

在爬取工具上设置好抓取字段,测试了几个页面,数据可用。然后麻烦的问题来了,没办法知道触手更多个人空间地址。

2.获取URL

个人空间的 URL 是这样的“//chushou.tv/u/用户ID.htm”。观察了一下,用户ID是不规则的,从6位到9位都有。如果直接从一个一个 URL 循环过去,抓到999999999不现实。

最后选择了Xenu,这是一个检查网站死链的工具,据说会模拟百度蜘蛛爬取网站URL,检测是否为死链。最重要的是会把检查结果显示出来,这样我可以拿到竞品域名下所有的URL,再通过Excel筛选出我需要的个人空间URL。

避免URL爬取不完整,连续抓了3个晚上。再放到Excel中去重。Xenu在运行时比较消耗内存,早上来的时候都会发现软件已经崩溃,所以我三天累计抓到了近100w个URL,实际可用的只有7w个。

这样我拿到了竞品的7w个用户个人空间地址,不过这个数字跟他们PR出去的数字相差甚远。(严格来说,由于不确定这些数据的来源,所以即便得出结论也是不可信的。)

3.数据整理

拿到这些数据就有了排行榜。我可以按照粉丝量最高的来排,寻找大主播;也可以按照送礼金额(平台的虚拟货币)来排,寻找土豪粉。

寻找用户进行访谈:

利用百度的站内搜索site:在竞品网站中搜索用户联系方式。比如QQ site:www.chushou.tv主播 Q site:www.chushou.tv等。

这样我能找到好多在个人签名或公告中留有 QQ 的用户。然后加了好友,开始聊天。

后记

这些文字是在半年前写的,时隔半年,还是觉得这个过程很有趣,不断提出问题,解决问题。

实际上还有很多问题,没啥可以实操的东西,比如:网站有反爬虫;被封 IP ;页面中都是各种 JS 导致无法顺利完成抓取,等等。看个热闹就好了。 ^_^

相关阅读:

 

作者:王也,上海,产品经理,个人公众号:野生产品国内邮件营销软件经理。

本文由 @王也 于。,。

他说:作为产品经理,不懂技术和代码也一样可

上一篇:常见用户行为分析模型解析(3)——漏斗分析模
下一篇:数据分析方法论:你真的懂 Session(会话) 分析


版权声明:以上主题为“他说:作为产品经理,不懂技术和代码也一样可"的内容可能是本站网友自行发布,或者来至于网络。如有侵权欢迎联系我们客服QQ处理,谢谢。
相关内容
扫码咨询
    他说:作为产品经理,不懂技术和代码也一样可
    打开微信扫码或长按识别二维码

小提示:您应该对本页介绍的“他说:作为产品经理,不懂技术和代码也一样可”相关内容感兴趣,若您有相关需求欢迎拨打我们的服务热线或留言咨询,我们尽快与您联系沟通他说:作为产品经理,不懂技术和代码也一样可的相关事宜。

关键词:web数据, 数据抓取, 数据爬

关于 | 业务 | 案例 | 免责 | 隐私
客服邮箱:545321@QQ.com
电话:400-021-1330 | 客服QQ:545321
沪ICP备12034177号 | 沪公网安备31010702002418号