我最常用的从网上获取数据的方法有两种,一是下载公开数据,可以从政府、企业、统计局等机构去下载公开数据。二是通过Python编写网页爬虫,收集互联网的数据。比如我就抓取过:知乎粉丝过万所有用户,咪蒙的211 万的新浪微博粉丝信息,豆瓣8分以上的书籍以及网易云音乐歌单排行榜等等。
虽然我平常撰写数据分析报告大部分都是自己写代码抓取的,但我也有在网上下载过公开数据。这里我分享几个免费可获取数据来源。当然,如果是程序员的话,也可以学习怎么自己抓取数据,毕竟这样获取数据更灵活。
1.国家数据
这个数据库信息内容涵盖范围全面、详实,并且有些数据已经做好了可视化,所以具有很高的实用性;基本只要和国情相关的信息都会在里边发布;比如地区房价、工业、能源、居民消费总额、房地产投资甚至食品的平均价格。
国家统计数据库包括历年月、季、年度数据,可通过数据库“搜索”、选择“指标”等方式,方便快捷地查询到历年、分地区、分专业的数据。是公众快速查阅统计指标及系列数据的最便捷方法。
如果你会爬虫等数据处理技术,那可以通过该项技术从网站下载到一手大数据,如各类app用户的部分信息数据及其对产品的评论等等。一般经济环境类数据可以通过如下渠道下载:
第一,知网统计年鉴。其中包含了全国各类统计年鉴和地区统计年鉴,年份都比较长。http://tongji.cnki.net/kns55/Navi/NaviDefault.aspx?uid=WEEvREcwSlJHSldRa1FhcEE0NXh1TENEUTIwejRqcnVWMldyQVVSaGFJZz0=$9A4hF_YAuvQ5obgVAqNKPCYcEjKensW4ggI8Fm4gTkoUKaID8j8gFw!! 不过有的学校没有购买知网使用权,可能不能下载。这种情况可以到淘宝买账号。
第二,国家和地区统计局官网。这里面的数据往往都是免费的。以国家统计局为例,官网为http://www.stats.gov.cn/,只需要注册账号就可以免费下载数据。
第三,人大经济论坛,http://bbs.pinggu.org/。这个平台有很多人共享他们已经整理好的各类数据。不过有些好的数据资源都要论坛币才能下载。如果缺少币的话可以咨询共享人是否可以免费共享或者按照平台所说的方法赚取论坛币。
第四,数据圈,http://www.shujuquan.com/。这个平台类似于人大经济论坛。
这里是各行业大的数据平台,对于这种数据类平台如果需要批量获取的话,可以使用爬虫软件来进行采集,我一般用ForeSpider来采集,速度快,功能很全。
互联网数据
营销查询:
- 5118 / chinaz:支持查询网站排名及发展趋势、百度收录情况等信息
- 百度指数:百度旗下/以百度网民行为数据为基础的数据分享平台,支持查询需求图谱
- 微信指数:微信旗下/基于微信大数据分析的移动端指数,打开微信→搜索“微信指数”可用
- 移动观象台:基于移动设备用户的操作行为,提供应用、公众号排行等,以及大量数据报告
- 新榜/微小宝/易赞:几款工具比较类似,支持查看公众号排行、看公众号人群画像等功能
- 阿里指数:阿里旗下/反映淘宝平台市场动向的数据分析平台
报告分析:
- 易观智库:199IT导航的母网站,权威的互联网数据平台,涵盖战略新兴产业、电商互联网、共享经济、社交营销、移动互联网以及其他互联网服务的数据及分析报告
- 艾瑞网:高频率更新互联网前沿的新闻资讯、分析报告,旗下包括艾瑞指数、艾瑞咨询等
- 艾媒网:艾媒与艾瑞无关,艾媒网发布的研究报告多偏向移动互联网方向
- CBNDdata:以阿里巴巴的商业数据库为基础,输出产业经济分析报告
- QuestMobile:周期性地发布一些关于APP的研究报告
- 阿里研究院:阿里旗下/发布研究电商等方向趋势的数据报告,内容多与阿里相关
- 360研究报告:360旗下/移动、PC、网站、企业、诈骗等安全领域的研究,以及大数据等非安全领域的研究
- 中国互联网信息研究中心:经国家主管部门批准组建的管理和服务机构,经常发布一些有价值的互联网信息报告
- 中国信通院:针对互联网多个行业的发展趋势,发布白皮书,角度较为宏观
- 中国互联网数据平台:提供全国各地区互联网发展报告、基础数据及研究分析报告,数据及报告偏向学术性研究
- 清博大数据:提供微信、微博、头条榜单数据,各种研究报告、数据报告、舆情报告及行业热点
- 数据观:丰富的前沿行业资讯,及部分研究报告下载
- 腾讯大数据:数据服务平台,提供调查研究、移动互联网及特色数据报告,质量较高
- 大数据世界:提供大数据相关资讯、应用案例、技术方案及资料下载
金融财经数据
- 同花顺数据中心:提供股票债券等金融数据
- 和讯数据:提供各种股票、基金、外汇、债券等实时数据,有付费,有免费
- 零壹财经:大大小小的网贷数据、排行榜等
- 金融数据网:提供每日的黄金、汇率、农产品、汽油价格的相关数据
- 萝卜投研:提供股市、证券等数据,多以数据研究报告形式展示
- 金融界:提供股市、融资等各种资金流向数据,以及丰富的财报和研报
- 东方财富网:提供多国的股票、财税、行业、消费等大量丰富的经济数据
- 吉林金融网:提供吉林的融资、市场数据
- 搜狐证券:提供货币、外汇、行业、市场等宏观数据
- CCER经济金融数据库:提供企业财务年度数据、股票收益数据等数据库下载
- 香港金融管理局:提供香港的各种经济及金融数据,以宏观数据为主
- 世纪未来:数据服务平台,提供银行业务研究、金融大数据等各种付费数据
- 新浪财经:提供国内国民经济、行业信息、对外经贸、居民收入等各种宏观的经济数据
- 司尔亚司数据信息有限公司:覆盖超过195+个国家的经济数据库,数据全面但收费
- INSEE数据:法国统计与经济研究院公开数据
- 投中研究院:提供投资领域的分析报告,网站更新频率较高
地理数据
水土气候数据:
- 水土保持生态建设网http://www.swcc.org.cn/
- 黄河风情http://www.yellowriver.org/
- 黄河流域数据中心http://henu.geodata.cn/index.jsp
- 黄土高原水土保护数据库http://www.loess.csdb.cn/
- 数字黑河http://heihe.westgis.ac.cn/Default.aspx?tabid=106
- 大气科学数据库http://data.iap.ac.cn/
- 中国气象科学数据http://cdc.cma.gov.cn/
- 中国气象科学数据共享服务网http://cdc.cma.gov.cn/
- 全球森林土地覆盖动态http://www.fao.org/gtos/gofc-gold/
- FRA 2000http://edcsns17.cr.usgs.gov/glcc/fao/index.html全球森林资源
- NOAAhttp://www.noaa.gov/美国国家海洋和大气管理局
- NCDC http://lwf.ncdc.noaa.gov/oa/ncdc.html美国国家气候数据中心
- 国际水管理研究所http://www.iwmidsp.org/iwmi/info/main.asp
- 气候研究所http://www.cru.uea.ac.uk/
- 植被覆盖数据http://www.vgt.vito.be/
环境数据: