目前各大互联网公司如阿里，腾讯，滴滴，美团，今日头条这些公司的大数据分析的框架是怎样的？求解答！ 互联网大数据分析属于计算机哪个分支
\u4e92\u8054\u7f51+\u4e0b\u7684\u5927\u6570\u636e\u5206\u6790\u5982\u4f55\u8fdb\u884c\uff1f\u4e92\u8054\u7f51+\u65f6\u4ee3\u5927\u6570\u636e\u5f88\u91cd\u8981\uff0c\u4f01\u4e1a\u5982\u4f55\u8fdb\u884c\u5927\u6570\u636e\u5206\u6790\uff0c\u6b65\u9aa4\u5982\u4e0b\uff1a\u642d\u5efa\u7ebf\u4e0a\u5e73\u53f0\u3001\u6536\u96c6\u5ba2\u6237\u76f8\u5173\u4fe1\u606f\u3001\u5927\u6570\u636e\u5206\u6790\u3002\u5728\u8fd9\u4e2a\u8fc7\u7a0b\u4e2d\uff0c\u642d\u5efa\u5e73\u53f0\u662f\u57fa\u7840\uff0c\u4f01\u4e1a\u60f3\u83b7\u5f97\u5927\u6570\u636e\u6ca1\u6709\u5e73\u53f0\u662f\u884c\u4e0d\u901a\u7684\u3002\u4f01\u4e1a\u53ef\u4ee5\u901a\u8fc7\u5efa\u8bbe\u4e92\u8054\u7f51\u751f\u6001\u5708\u6765\u5b9e\u73b0\u5927\u6570\u636e\u5206\u6790\u3002\u4e92\u8054\u7f51\u751f\u6001\u5708\u63d0\u4f9b\u57fa\u7840\u5e73\u53f0\u642d\u5efa\uff0c\u5927\u6570\u636e\u6536\u96c6\uff0c\u8fd8\u6709\u4e91\u8ba1\u7b97\uff0c\u5e2e\u52a9\u4f01\u4e1a\u8d27\u7269\u5927\u6570\u636e\u4fe1\u606f\u3002
\u6570\u636e\u6316\u6398 .
在互联网时代，什么是第一生产力呢？毫无疑问，一定是研发人员。没有研发人员码代码，即使有产品经理提很多好的idea、设计出很好的设计稿、运维人员把机房网络服务器全搞定，那也没用。没有代码就等于没有操作系统，没有手机电脑平板等硬件设备，没有数据库消息队列等中间件，没有淘宝抖音支付宝美团滴滴等软件。
所以在互联网时代中，研发人员是最重要的人员，他是可以实现从0到1的创造一个产品，如果研发人员不给力，那么就会出现经常性加班、频繁出现事故、重复低效工作等情况。因此提高研发人员的生产效率，建设研发效能对于大型互联网公司来说非常重要，统计数据显示，亚马逊、阿里每年在研发的投入成本占整个公司成本预算15%。那么研发效能是什么呢？又如何建设？如何考量呢？
软件从开发到上线的流程大概是需求评审》开发〉提测》测试〉预发》发布〉运维，在整个过程中，研发人员从需求评审阶段就参与了整个过程，直到上线，重度参与的阶段包含开发代码、写单元测试用例、写自动化测试用例、打包、部署测试环境、测试、部署生产环境、上线，在这个过程中要使用到的工具包含需求管理工具、代码仓库工具、打包工具、部署工具、测试工具、上线工具，如果每个工具都是分散在不同的地方，由不同的团队开发实现，对于研发人员来说，需要去不同的平台找到这些工具，需要把这些工具都学会使用，需要在开发的过程中把这些工具都串联起来，精力很分散，导致于研发人员不能聚焦于业务开发。所以建设研发效能就是建设持续交付能力。
对于持续交付能力的建设，就是持续集成、持续交付、持续部署的思想。对于持续集成，就是当研发在本地开发了代码之后，不断的集成了主干分支中，让团队的人员都知道最新的修改内容；对于持续交付，就是代码合并到了主干分支后，不断的部署在测试环境，交付给测试或产品或内测用户进行验收测试；对于持续部署，就是不断的将修改内容部署到生产环境，让用户来不断的使用，验证产品可行性。
除了本身研发持续交付能力的建设之外，还要充分利用好云计算资源。在云计算中的服务化模式、自动化模式、弹性伸缩模式，这些全是基本功，程序要运行起来必须要靠服务器、数据库、操作系统、中间件，因此在使用云厂商提供的IAAS、PAAS、SAAS产品时，需要把开发细节抽象的更加细致，让云厂商负责更多底层能力建设，在使用云资源时，通过API调用自动化实现，避免人力投入，在线上运维时通过弹性伸缩能力来动态扩缩容。
对于研发效能的考量，我们可以从需求交付周期、持续发布能力、交付过程质量、交付质量。对于需求交付周期，则是看从产品提出需求后，多久上线，开发时长。对于持续发布能力，则是看单位时间了发布次数、从代码提交到上线花费的时间。对于交付过程质量，则是在代码提交后，有多个自动化测试、单元测试跑失败，有多少bug。对于交付质量，则是在产品上线后，单位时间内有多少问题，线上问题多少时间响应，多少时间解决。通过这四个方向的考量，我们可以来衡量研发人员的生产力，从而根据实际情况做调整。
在阿里甚至有2-1-1的说法，不是985、211的211噢，所谓211指的是在2周的交付周期内，有85%的需求可以完成，需要1周的开发周期，提交完代码之后1小时内完成发布。
现在已经进入到了互联网的下半场，市面上能有的想法都差不多被实现了，然而用户就这么多，流量就这么多，开源不行就只能节流了，通过研发效能能力的建设，将研发团队生产效率提高，降低整个企业的成本，这也是新的思路啊。现在你明白了为什么滴滴头条、阿里美团都在纷纷投入做研发效能了吧。
研发效能的建设宜早不宜迟，从早期开始尽可能的打好技术底子，培养好的研发团队合作规范，避免后期用户规模扩大时，再来弥补早期的技术债。现在赶紧行动起来吧～
阿里，腾讯 实力强，估计是自己开发或二次开发的，其他公司估计会用开源或商用的，但本质都是相同的，举例，不外乎一个分布式集群（hadoop），搭配一些部署组件（docker，zookeeper），分布MQ（kafka），处理&计算（spark，hive，MR），存储（es，hbase，mongo），可视化的话选择很多，比如vue，react，angular，画图可以选择highchart，echarts。
上述基本都是必备的，每个公司还会根据自己的需求增加额外的组件。
绛旓細鍦闃块噷鐢氳嚦鏈2-1-1鐨勮娉曪紝涓嶆槸985銆211鐨211鍣紝鎵璋211鎸囩殑鏄湪2鍛ㄧ殑浜や粯鍛ㄦ湡鍐咃紝鏈85%鐨勯渶姹傚彲浠ュ畬鎴愶紝闇瑕1鍛ㄧ殑寮鍙戝懆鏈燂紝鎻愪氦瀹屼唬鐮佷箣鍚1灏忔椂鍐呭畬鎴愬彂甯冦鐜板湪宸茬粡杩涘叆鍒颁簡浜掕仈缃鐨勪笅鍗婂満锛屽競闈笂鑳芥湁鐨勬兂娉曢兘宸笉澶氳瀹炵幇浜嗭紝鐒惰岀敤鎴峰氨杩欎箞澶氾紝娴侀噺灏辫繖涔堝锛屽紑婧愪笉琛屽氨鍙兘鑺傛祦浜嗭紝閫氳繃鐮...
绛旓細1. 鐧惧害銆鑵捐鍜岄樋閲屽反宸寸瓑浜掕仈缃戝叕鍙鐨勮柂璧勫緟閬囬氬父鏄牴鎹憳宸ユ墍鍦ㄧ殑绾у埆鏉ョ‘瀹氱殑銆2. 鍦闃块噷宸村反锛鎶鏈矖浣嶉噰鐢≒绾у埆锛岀鐞嗗矖浣嶉噰鐢∕绾у埆銆傛妧鏈矖浣嶆湁10涓瓑绾э紝鑰岀鐞嗗矖浣嶆湁5涓瓑绾с傚憳宸ラ氬父浜湁12涓湀鐨勫熀鏈伐璧勫姞涓1涓湀鐨勭哗鏁堝伐璧勫拰3涓湀鐨勫勾缁堝锛屽勾缁堝閫氬父涓哄憳宸ユ湀钖殑0鑷6涓湀锛屽ぇ澶氭暟浜哄彲...
绛旓細鑵捐鐨勬妧鏈矖浣嶅垎绾т笌闃块噷宸村反鍜岀櫨搴︿笉鍚岋紝澶ц嚧鍒嗕负T1鑷砊4鍏4涓骇鍒紝姣忎釜绾у埆鍐嶇粏鍒嗕负3涓瓙绾у埆銆傝吘璁殑鏍囧噯钖祫涓14涓湀锛屼絾鍛樺伐閫氬父鑳芥嬁鍒16鑷20涓湀鐨勮柂璧勩07 鑵捐鐨勫憳宸ヤ富瑕侀泦涓湪T2.3鑷砊3.1绾у埆涔嬮棿锛屼絾瑕佷粠T2.3鏅嬪崌鑷砊3.1骞朵笉瀹规槗銆傝吘璁疄琛屾窐姹板埗鑰冩牳锛屾瘡骞翠袱娆★紝鍦6鏈堝拰12鏈堣繘琛岋紝閲...
绛旓細棣栧厛锛岄樋閲屽反宸鐨勮柂閰綋绯诲簽澶э紝鎷ユ湁P搴忓垪锛堟妧鏈矖锛14绾у拰M搴忓垪锛堢鐞嗗矖锛10绾с傛柊鍛樺伐鐨勮柂璧勪互12+1+3钖负鍩虹锛孭7绾у埆鐨勫憳宸ュ紑濮嬩韩鏈夎偂绁紝鍒4骞撮愭鍏戠幇銆傝冩牳涓ユ牸锛屼笟缁╁拰浠峰艰鍚勫崰50%锛屽搴﹁冩牳涓轰富锛屾檵鍗囨潯浠惰嫑鍒汇鑵捐鐨勮柂璧勮皟鏁磋嚦14绾э紝鍏蜂綋缁嗚妭鏈锛屼絾鏍℃嫑涓庣ぞ鎷涚殑瀵瑰簲鏁板瓧搴忓垪锛屽T3-3绾...
绛旓細鐩墠涓浗鏈钁楀悕鐨処T浜掕仈缃戝叕鍙搴旇褰撳睘浜嶣AT锛屽嵆鐧惧害銆闃块噷銆佽吘璁笁澶у法澶淬傝吘璁槸浜哄潎鍒涢犺惀鏀舵渶楂樼殑鍏徃锛屽叾涓井淇°佸強灏忕▼搴忓簲鐢ㄦ渶涓虹伀鐑锛岃吘璁闄勫甫鐨勫湴浜с佽祫璁篃姣旇緝鍚搁噾銆傜櫨搴︼紝鍏ㄧ悆鏈澶х殑涓枃鎼滅储寮曟搸銆佹渶澶х殑涓枃缃戠珯銆傝浜虹О涓烘渶璧氶挶鐨勬満鍣紝鍏舵悳绱㈢珵浠锋帓鍚嶅箍鍛婄泩鍒╁崰鍒颁簡涓氬姟鏀跺叆鐨60%锛屽彲璋撹汉鐫...
绛旓細鑵捐鐨勬繁搴﹀お娴呬簡锛岃闃块噷宸村反鐨勪笟鍔″鏉傜▼搴︿娇寰楀畠寰堥毦琛拌惤銆傝吘璁殑鍟嗕笟妯″紡澶畝鍗曚簡锛屾墍鏈変汉閮界煡閬擄紝涓鍙ヨ瘽灏辫兘姒傛嫭锛氱ぞ浜ゅ伐鍏峰湀娴侀噺锛岀劧鍚庣敤娓告垙鍙樼幇銆傝吘璁湰璐ㄤ笂鏉ヨ鏄竴涓父鎴鍏徃銆傝岄樋閲屽反宸寸殑涓氬姟鏁伴噺鍜屽眰娆″氨涓板瘜澶氫簡銆傛瘮濡傝锛屾垜浠瘡涓汉閮界敤娣樺疂鍜屽ぉ鐚紝浣嗘槸娣樺疂鍜屽ぉ鐚湰韬笉缁欓樋閲岃础鐚敹鐩婏紝鏄...
绛旓細椹お鏁堝簲灏嗕娇闃块噷宸村反鐨勪細鍛樻暟閲忓闀垮緱鏇村揩骞惰幏寰楁洿澶氱殑甯傚満浠介,浜掕仈缃鐨勭涓娉曞垯灏嗕娇闃块噷宸村反娲诲緱鏇存粙鍛炽 B 2 B缃戠珯鐨勪富瑕佸鎴锋槸涓皬浼佷笟,涔犳儻浜庝韩鍙椾簰鑱旂綉鐨勫厤璐瑰ぇ椁,鐜板湪澶閮ㄥ垎鐨勬敞鍐岃呴兘涓嶆効鎰忚喘涔颁粯璐规湇鍔,鍖呮嫭鎱ц仾璧勮鍦ㄥ唴鐨勫浗鍐呭ぇ閮ㄥ垎B 2 B缃戠珯澶勪簬鐑ч挶銆佷簭鎹熺殑鐘舵併侭 2 B鏀跺叆妯″紡浠ヤ細鍛樿垂鍜屽箍鍛婅垂涓...
绛旓細02 鍦ㄨ吘璁紝鎶鏈嚎鍦ㄦ涔嬪墠灞炰簬 T 搴忓垪锛岃吘璁澶ч儴鍒嗗憳宸ラ泦涓湪T2.3 鍜 T3.1鍦ㄨ吘璁殑鑱岀骇浣撶郴閲岋紝T3 绾у埆宸茬粡鏄緢澶氫汉鐨勪笂闄愶紝浠2.3鍗3.1鏄潪甯稿洶闅剧殑銆傝吘璁柂璧勬灦鏋勶細 12+1+1= 14钖紝鑵捐鏍囧噯钖祫鏄14钖紝浣嗘槸閫氬父鑳芥嬁鍒 16-20钖傝吘璁勾缁堝闈炲父鍚稿紩浜恒鑵捐鐩墠鐢ㄧ殑鏄4-17鐨勬柊绾у埆锛...
绛旓細Lscssh 绉戞妧 瀹樿鐐: 缁煎悎鏉ヨ,鑵捐銆闃块噷杩欐牱鐨浼佷笟鏄笉鍙兘涓诲姩鍘荤爺鍙戝伐涓氳蒋浠,鏈韩鍜屼粬浠嚜韬殑瀹氫綅涓嶇浉绗﹀悎,宸ヤ笟杞欢浣犳病鏈夌浉鍏抽鍩熺殑绉疮,鏍规湰娌℃硶鍏ラ棬,杩欎袱瀹朵竴涓帺 娓告垙 涓涓帺璧勬湰,浣犺浠栦滑鎬庝箞鏁淬傚叾娆″伐涓氳蒋浠剁爺鍙戦渶瑕佸ぇ閲忚祫鏈,闈㈠杩欑鍚炲櫖鐜伴噾娴佹吔涓鍒囦互鍒╂鼎涓轰笂鐨浜掕仈缃澶у巶鏄笉鏁㈠幓纰扮殑銆 鐪熻鎯...
绛旓細銆愭渚嬨85%澶鍏徃閮芥浜庡喅绛栧け璇,鑵捐銆佸崕涓恒闃块噷娲讳笅鏉ラ潬浠涔?1. 鍦ㄨ繖涓厖婊′笉纭畾鎬х殑鏂扮粡娴庢椂浠,鍐崇瓥澶辫姝ｆ垚涓轰腑鍥戒紒涓氶潰涓寸殑鏈澶ч闄,鑰屼笖杩欑椋庨櫓鏄嚧鍛界殑銆傛湁鐮旂┒琛ㄦ槑,涓栫晫姣1000瀹跺掗棴鐨澶т紒涓涓,鏈
