详细数据分析步骤（一）-数据获取
数据分析师如今风靡全网，那么什么是数据分析呢？此合集将会对数据分析的框架做一个细致解析并推荐相关文章以便入门学习。
一、数据获取
现如今大数据时代已经到来，企业需要数据来分析用户行为、自己产品的不足之处以及竞争对手的信息等，而这一切的首要条件就是数据的采集。常用的数据获取手段有数据仓库和操作日志，监测与爬取（即爬虫），填写、埋点和计算
1、数据仓库和操作日志
数据仓库（Data Warehouse，DW）长期储存在计算机内，有组织、可共享的数据集合，是为决策支持系统提供基础数据的分析型数据库。
数据仓库有几个定义特征，即 ：
推荐阅读：一、数据仓库 - 架构艺术 - 博客园
日志和数据仓库具有相同的作用，但相比之下日志的记录比数据仓库精简，且在出现故障时更容易定位问题。
2.监测与爬取
爬虫是指： 通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。
根据使用场景，网络爬虫可分为通用爬虫和聚焦爬虫两种。
通用爬虫是捜索引擎抓取系统（Baidu、Google等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，再对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。
聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于： 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。
推荐阅读：爬虫（爬虫原理与数据抓取） - lclc - 博客园
爬虫 - Z-J-H - 博客园
3.填写、埋点
这两个都是对用户行为进行记录。
填写是指用户在注册时填写信息或者对相关问卷进行填写。 通过问卷调查、抽样调查获取的数据是有限的，并且有时也不能够保证真实性。
埋点主要指 APP或网页埋点，跟踪app或网页被使用情况，以便优化。通常记录访客、页面查看、跳出率等等页面统计和操作行为）。直接记录用户与网络产品的交互过程，几乎可以复现，从而 获得用户的行为模式，购买记录、搜索习惯等。这些数据都是用户自己产生的，可以保证数据的真实性。
推荐阅读：6大步骤：快速学会如何进行数据埋点
4.计算
很多数据无法直接获取，需要通过已有数据计算得到。例如企业的投入产出比。
最后，需要强调的是进行数据分析的数据必须真实、准确且具有时效性。数据获取后使用个人信息要遵守以下5大原则：
（1）合法、公开原则。
（2）目的限制原则。
（3）最小数据原则。
（4）数据安全原则。
（5）限期存储原则。
下一篇文章将会对数据分析中的数据预处理做一个简单梳理
绛旓細涓銆鏁版嵁鑾峰彇 鐜板浠婂ぇ鏁版嵁鏃朵唬宸茬粡鍒版潵锛屼紒涓氶渶瑕佹暟鎹潵鍒嗘瀽鐢ㄦ埛琛屼负銆佽嚜宸变骇鍝佺殑涓嶈冻涔嬪浠ュ強绔炰簤瀵规墜鐨勪俊鎭瓑锛岃岃繖涓鍒囩殑棣栬鏉′欢灏辨槸鏁版嵁鐨勯噰闆嗐傚父鐢ㄧ殑鏁版嵁鑾峰彇鎵嬫鏈夋暟鎹粨搴撳拰鎿嶄綔鏃ュ織锛岀洃娴嬩笌鐖彇锛堝嵆鐖櫕锛夛紝濉啓銆佸煁鐐瑰拰璁＄畻 1銆佹暟鎹粨搴撳拰鎿嶄綔鏃ュ織 鏁版嵁浠撳簱锛圖ata Warehouse锛孌W锛夐暱鏈熷偍瀛樺湪璁...
绛旓細鏁版嵁鍒嗘瀽鏄暟鎹垎鏋愮殑鏍稿績姝ラ锛屽彲浠ラ氳繃缁熻鍒嗘瀽銆佹満鍣ㄥ涔犵瓑鏂瑰紡杩涜銆備互涓嬫槸鏁版嵁鍒嗘瀽鐨勫叿浣撴楠わ細1.缁熻鍒嗘瀽 缁熻鍒嗘瀽鏄渶甯哥敤鐨勬暟鎹垎鏋愭柟娉曚箣涓锛屽彲浠ラ氳繃鎻忚堪缁熻銆佹帹鏂粺璁＄瓑鏂瑰紡瀵规暟鎹繘琛屽垎鏋愩傛瘮濡傦紝鍙互璁＄畻鏁版嵁鐨勫潎鍊笺佹柟宸佹爣鍑嗗樊绛夌粺璁￠噺锛岃繘琛屽亣璁炬楠岀瓑銆2.鏈哄櫒瀛︿範 鏈哄櫒瀛︿範鏄竴绉嶅熀浜庢暟鎹殑...
绛旓細鏁版嵁鍒嗘瀽鐨勬楠や竴鑸寘鎷湅鏁板瓧銆佹暟鎹敹闆嗐佹槑纭洰鐨勫拰鎬濊矾銆佹暟鎹竻娲椼佹姤鍛婃挵鍐欍佹暟鎹噯澶囩瓑绛銆1銆佺湅鏁板瓧 鏁版嵁鍒嗘瀽鐨勬楠や竴鑸寘鎷湅鏁板瓧銆佹暟鎹鐞嗗拰鏁版嵁澶勭悊銆傜湅鏁板瓧鏄暟鎹垎鏋愮殑鍩虹姝ラ锛岄氳繃鍒嗘瀽鏁板瓧鍙互浜嗚В鏁版嵁鐨勮秼鍔垮彉鍖栥傜劧鑰岋紝浠呬粎鐪嬪埌鏁板瓧鏄笉澶熺殑锛岄渶瑕佹繁鍏ュ垎鏋愭暟瀛楃殑鍚箟鍜岃儗鏅傚彧鏈夐氳繃鏁版嵁鍒嗘瀽锛...
绛旓細鏁版嵁鍒嗘瀽鐨勬祦绋嬮『搴忓寘鎷互涓嬪嚑涓楠わ細涓銆佹暟鎹敹闆 鏁版嵁鏀堕泦鏄暟鎹垎鏋愮殑鍩虹鎿嶄綔姝ラ锛岃鍒嗘瀽涓涓簨鐗╋紝棣栧厛闇瑕佹敹闆嗚繖涓簨鐗╃殑鏁版嵁銆傜敱浜庣幇鍦ㄦ暟鎹敹闆嗙殑闇姹傦紝涓鑸湁Flume銆丩ogstash銆並ibana绛夊伐鍏凤紝瀹冧滑閮借兘閫氳繃绠鍗曠殑閰嶇疆瀹屾垚澶嶆潅鐨勬暟鎹敹闆嗗拰鏁版嵁鑱氬悎銆備簩銆佹暟鎹澶勭悊 鏀堕泦瀹屾垚鍚庯紝鎴戜滑闇瑕佸鏁版嵁杩涜涓浜...
绛旓細鏁版嵁鍒嗘瀽鐨勬楠ゅ寘鎷互涓嬪嚑涓樁娈碉細1. 鏄庣‘鐩爣鍜岄棶棰樺畾涔锛氬湪鍒嗘瀽寮濮嬩箣鍓嶏紝闇纭珛鍒嗘瀽鐨勭洰鐨勫拰瑕佽В鍐崇殑闂銆傝繖鏈夊姪浜庣‘淇濆垎鏋愯繃绋嬩笌涓氬姟鐩爣淇濇寔涓鑷淬2. 鏁版嵁鏀堕泦锛氭悳闆嗕笌鍒嗘瀽鐩爣鐩哥鐨勬暟鎹傛暟鎹潵婧愬鏍凤紝濡傛暟鎹簱銆佹棩蹇椼侀棶鍗疯皟鏌ャ佷紶鎰熷櫒绛夛紝骞剁‘淇濇暟鎹殑鍏ㄩ潰鎬с佸噯纭у強鍙潬鎬с3. 鏁版嵁娓呮礂鍜...
绛旓細1. 鍒嗘瀽璁捐锛氬湪杩欎竴姝ラ涓紝闇瑕佺‘瀹氭暟鎹垎鏋愮殑鐩爣鍜岃寖鍥达紝鍒跺畾鐩稿簲鐨勫垎鏋愯鍒掑拰鏂规硶銆2. 鏁版嵁鏀堕泦锛氭牴鎹垎鏋愯璁＄殑瑕佹眰锛屾敹闆嗘墍闇鐨勬暟鎹傝繖鍙兘鍖呮嫭鍐呴儴鏁版嵁搴撱佸叕寮鏁版嵁闆嗘垨閫氳繃璋冩煡鍜屽疄楠岃幏寰楃殑鏁版嵁銆3. 鏁版嵁澶勭悊锛氬鏀堕泦鍒扮殑鏁版嵁杩涜娓呮礂銆佽浆鎹㈠拰鏁村悎锛屼互纭繚鏁版嵁鐨勮川閲忓拰涓鑷存с傝繖涓姝ラ杩樺彲鑳...
绛旓細杩涜鏁版嵁鍒嗘瀽姝ラ锛1銆佹暟鎹敹闆 褰撴垜浠繘琛屾暟鎹垎鏋愭椂锛岄鍏堣В鍐崇殑闂灏辨槸鏁版嵁婧愮殑闂銆傚垎涓轰袱澶х被銆傜涓绫伙細鐩存帴鑳藉鑾峰彇鐨勬暟鎹紝涔熷氨鏄唴閮ㄦ暟鎹傜浜岀被锛氬閮ㄦ暟鎹紝缁忓姞宸ユ暣鐞嗗悗鑾峰緱鏁版嵁銆2銆佹暟鎹竻鐞 娓呮礂鏁版嵁鐨勭洰鐨勪篃灏辨槸浠庡ぇ閲忕殑銆佹潅涔辨棤绔犵殑鏁版嵁涓娊鍙栦互鍙婃帹瀵煎嚭瀵硅В鍐抽棶棰樻湁浠峰肩殑銆佹湁鎰忎箟鐨...
绛旓細銆愮瓟妗堛戯細鏁版嵁鍒嗘瀽鐨勪富瑕杩囩▼鍖呮嫭锛氭敹闆嗘暟鎹紝鏁寸悊鏁版嵁锛屾彁鍙栦俊鎭紝鏋勫缓妯″瀷锛岃繘琛屾帹鏂紟鑾峰緱缁撹銆鍏蜂綋鍒嗘瀽濡備笅锛锛1锛鏀堕泦鏁版嵁锛屾暣鐞嗘暟鎹傞鍏堣閫夋嫨鍚堢悊鐨勬敹闆嗘暟鎹殑鏂规硶锛岃幏寰楁湁浠峰肩殑鍘熷鏁版嵁锛岄氳繃鍒朵綔鍥俱佽〃绛夋柟寮忥紝瀵规暟鎹繘琛屾暣鐞嗭紝浠ヤ究鎺㈢储鏁版嵁涓殣钘忕殑淇℃伅銆傦紙2锛夋彁鍙栦俊鎭紝鏋勫缓妯″瀷銆傞氳繃鐢ㄥ悇绉...
绛旓細1. 鏁版嵁閲囬泦鏄暟鎹垎鏋愮殑鍩虹锛屾秹鍙婁娇鐢ㄥ伐鍏峰Flume銆丩ogstash鍜孠ibana鏉ュ畬鎴鏁版嵁鏀堕泦涓庤仛鍚堛2. 鏁版嵁棰勫鐞嗙揣闅忓叾鍚庯紝杩欎竴姝ラ鑷冲叧閲嶈锛屽洜涓虹洿鎺ュ垎鏋愬師濮嬫暟鎹線寰浼氬鑷翠笉鍑嗙‘鐨勭粨鏋溿傞澶勭悊鍖呮嫭澶勭悊寮傚父鍊笺佺己澶卞肩瓑銆3. 鏁版嵁棰勫鐞嗗畬鎴愬悗锛岄渶瑕佽冭檻鏁版嵁鐨勫瓨鍌ㄦ柟寮忋備紶缁熺殑鍏崇郴鍨嬫暟鎹簱濡侻ySQL銆丱racle...
绛旓細鎯宠鎼缓涓涓彲瑙嗗寲鐪嬫澘锛屽ぇ鑷寸殑娴佺▼鍙互鍒嗕负锛鏁版嵁鑾峰彇鈫掓暟鎹竻娲椻啋鏁版嵁寤烘ā鈫掑彲瑙嗗寲鐪嬫澘鎼缓銆備笅闈細閫愪釜姝ラ璇︾粏浠嬬粛銆備笁銆佹暟鎹幏鍙 PowerBi鏀寔澶氱鏁版嵁婧愶紝鍍忓悇绉嶆湰鍦版枃浠讹細Excel銆丆SV銆佹枃浠跺す绛夈傛敮鎸佸悇绫绘暟鎹簱锛歄racel銆丮ysql绛夈傛敮鎸佺敱琛ㄦ牸鏋勬垚鍓嶇鐨刉eb绛夈備互Excel涓轰緥锛岀敱浜庝竴涓狤xcel鏂囦欢鍙兘鍖呮嫭寰...
