数据采集|教育大数据的来源、分类及结构模型
一、 教育大数据的来源教育是一个超复杂的系统，涉及 教学、管理、教研、服务 等诸多业务。与金融系统具有清晰、规范、一致化的业务流程所不同的是，不同地区、不同学校的教育业务虽然具有一定的共性，但差异性也很突出，而业务的差异性直接导致教育数据来源更加多元、数据采集更加复杂。
教育大数据产生于 各种教育实践活动 ，既包括校园环境下的教学活动、管理活动、科研活动以及校园生活，也包括家庭、社区、博物馆、图书馆等非正式环境下的学习活动；既包括线上的教育教学活动，也包括线下的教育教学活动。
教育大数据的核心数据源头是“人”和“物”——“人”包括学生、教师、管理者和家长，“物”包括信息系统校园网站、服务器、多媒体设备等各种教育装备。
依据来源和范围的不同，可以将教育大数据分为个体教育大数据、课程教育大数据、班级教育大数据、学校教育大数据、区域教育大数据、国家教育大数据等六种 。
二、 教育大数据的分类
教育数据有多重分类方式。
从数据产生的业务来源来看，包括 教学类数据、管理类数据、科研类数据 以及服务类数据。
从数据产生的技术场景来看，包括 感知数据 、业务数据和互联网数据等类型。
从数据结构化程度来看，包括 结构化数据、半结构化数据和非结构化数据 。结构化数据适合用二维表存储。
从数据产生的环节来看，包括 过程性数据和结果性数据 。过程性数据是活动过程中采集到的、难以量化的数据（如课堂互动、在线作业、网络搜索等）；结果性数据则常表现为某种可量化的结果（如成绩、等级、数量等）。
国家采集的数据主要以管理类、结构化和结果性的数据为主，重点关注宏观层面教育发展整体状况。到大数据时代，教育数据的全面采集和深度挖掘分析变得越来越重要。教育数据采集的重心将向非结构化、过程性的数据转变。
三、教育数据的结构模型
整体来说，教育大数据可以分为四层，由内到外分别是基础层、状态层、资源层和行为层。
基础层：也就是我们国家最最基础的数据，是高度保密的数据； 包括教育部2012年发布的七个教育管理信息系列标准中提到的所有数据，如学校管理信息、行政管理信息和教育统计信息等；
状态层，各种装备、环境与业务的运行状态的数据； 必然设备的耗能、故障、运行时间、校园空气质量、教室光照和教学进度等；
资源层，最上层是关于教育领域的用户行为数据。 比如PPT课件、微课、教学视频、图片、游戏、教学软件、帖子、问题和试题试卷等；
行为层：存储扩大教育相关用户（教师、学生、教研员和教育管理者等）的行为数据， 比如学生的学习行为数据、教师的教学行为数据、教研员的教学指导行为数据以及管理员的系统维护行为数据等。
不同层次的数据应该有不同的采集方式和教育数据应用的场景。
关于教育大数据的冰山模型，目前我们更多的是采集一些显性化的、结构性的数据，而存在冰山之下的是更多的非结构化的，而且真正为教育产生最大价值的数据是在冰山之下的。
参考文献：
教育大数据的来源与采集技术 邢蓓蓓
绛旓細渚濇嵁鏉ユ簮鍜岃寖鍥寸殑涓嶅悓锛屽彲浠ュ皢鏁欒偛澶鏁版嵁鍒涓轰釜浣撴暀鑲插ぇ鏁版嵁銆佽绋嬫暀鑲插ぇ鏁版嵁銆佺彮绾ф暀鑲插ぇ鏁版嵁銆佸鏍℃暀鑲插ぇ鏁版嵁銆佸尯鍩熸暀鑲插ぇ鏁版嵁銆佸浗瀹舵暀鑲插ぇ鏁版嵁绛夊叚绉 銆備簩銆 鏁欒偛澶ф暟鎹殑鍒嗙被 鏁欒偛鏁版嵁鏈夊閲嶅垎绫绘柟寮忋備粠鏁版嵁浜х敓鐨勪笟鍔℃潵婧愭潵鐪嬶紝鍖呮嫭 鏁欏绫绘暟鎹佺鐞嗙被鏁版嵁銆佺鐮旂被鏁版嵁 浠ュ強鏈嶅姟绫绘暟鎹備粠鏁版嵁浜х敓鐨勬妧...
绛旓細鏁欏娲诲姩涓洿鎺ヤ骇鐢熺殑鏁版嵁銆鏁欒偛绠＄悊娲诲姩涓閲囬泦鍒扮殑鏁版嵁銆佺瀛︾爺绌朵腑閲囬泦鍒扮殑鏁版嵁绛夈1銆佹暀瀛︽椿鍔ㄤ腑鐩存帴浜х敓鐨勬暟鎹細鍖呮嫭璇惧爞鏁欏涓鐢熺殑瀛︿範琛屼负鏁版嵁銆佽冭瘯娴嬭瘎鏁版嵁浠ュ強缃戠粶浜掑姩鏁版嵁绛夈2銆佹暀鑲茬鐞嗘椿鍔ㄤ腑閲囬泦鍒扮殑鏁版嵁锛氬寘鎷鐢熺殑瀹跺涵淇℃伅銆佸仴搴蜂綋妫淇℃伅銆佹暀鑱屽伐鍩虹淇℃伅銆佸鏍″熀鏈俊鎭佽储鍔′俊鎭拰璁惧璧勪骇淇...
绛旓細鏁欒偛鏁版嵁閲囬泦鐨鎶鏈綋绯诲叡鍖呮嫭锛氱墿鑱旀劅鐭ョ被鎶鏈佽棰戝綍鍒剁被鎶鏈佸浘鍍忚瘑鍒被鎶鏈佸钩鍙伴噰闆嗙被鎶鏈1銆佺墿鑱旀劅鐭ョ被鎶鏈 璇ョ被鎶鏈富瑕佸寘鎷墿鑱旂綉鎰熺煡鎶鏈佸彲绌挎埓璁惧鎶鏈拰鏍″洯涓鍗￠氭妧鏈傚叾涓紝鐗╄仈缃戞劅鐭ユ妧鏈富瑕佺敤浜庨噰闆嗚澶囩姸鎬鏁版嵁锛鍙┛鎴磋澶囨妧鏈富瑕佺敤浜庨噰闆嗕釜浣撶敓鐞嗘暟鎹笌瀛︿範琛屼负鏁版嵁锛屾牎鍥竴鍗￠氭妧鏈垯...
绛旓細澶ф暟鎹殑鏁版嵁閲囬泦鏂规硶绯荤粺鏃ュ織閲囬泦鏂规硶寰堝浜掕仈缃戜紒涓氶兘鏈夎嚜宸辩殑娴烽噺鏁版嵁閲囬泦宸ュ叿锛屽鐢ㄤ簬绯荤粺鏃ュ織閲囬泦锛屽Hadoop鐨凜hukwa锛孋loudera鐨凢lume锛孎acebook鐨凷cribe绛夛紝杩欎簺宸ュ叿鍧囬噰鐢ㄥ垎甯冨紡鏋舵瀯锛岃兘婊¤冻姣忕鏁扮櫨MB鐨勬棩蹇楁暟鎹噰闆嗗拰浼犺緭闇姹傘傜綉缁滄暟鎹噰闆嗘柟娉曪細瀵归潪缁撴瀯鍖栨暟鎹殑閲囬泦缃戠粶鏁版嵁閲囬泦鏄寚閫氳繃缃戠粶鐖櫕鎴栫綉绔...
绛旓細鏁欒偛澶ф暟鎹殑閲囬泦杩囩▼澶嶆潅锛屽簲鐢ㄩ渶瑕佸垱閫犳у湴瑙ｅ喅闂銆備笌涓鑸ぇ鏁版嵁涓嶅悓锛屾暀鑲插ぇ鏁版嵁鏇村己璋冨洜鏋滃叧绯伙紝鑰屼笉浠呬粎鏄浉鍏冲叧绯汇4. 鏁欒偛澶ф暟鎹殑鍒嗗眰鏋舵瀯 涓轰簡鏇村ソ鍦扮悊瑙ｆ暀鑲插ぇ鏁版嵁锛屽彲浠ユ牴鎹鏁版嵁鐨勬潵婧鍜岃寖鍥村皢鍏跺垎涓轰簲涓眰娆°5. 鏁欒偛澶ф暟鎹殑浣撻噺 IT鐣岃涓哄ぇ鏁版嵁鏄寚浣撻噺鍦═b绾у埆浠ヤ笂鎴栨潯鐩湪鐧句竾绾у埆浠ヤ笂鐨...
绛旓細鏁欒偛鏁版嵁閲囬泦鐨勬暟鎹浣撶郴鍏卞寘鎷洓澶х被,鍒嗗埆鏄墿鑱旀劅鐭ユ妧鏈佽棰戝綍鍒舵妧鏈佸浘鍍忚瘑鍒妧鏈佸钩鍙伴噰闆嗘妧鏈1銆佺墿鑱旀劅鐭ョ被鎶鏈 涓昏鍖呮嫭鐗╄仈缃戞劅鐭ユ妧鏈佸彲绌挎埓璁惧鎶鏈拰鏍″洯涓鍗￠氭妧鏈傜墿鑱旂綉鎰熺煡鎶鏈富瑕佺敤浜庨噰闆嗚澶囩姸鎬鏁版嵁锛鍙┛鎴磋澶囨妧鏈富瑕佺敤浜庨噰闆嗕釜浣撶敓鐞嗘暟鎹笌瀛︿範琛屼负鏁版嵁锛屾牎鍥竴鍗￠氭妧鏈垯涓昏鐢ㄤ簬閲囬泦...
绛旓細鏉ユ簮锛氫粠鎶鏈笂鐪锛屽ぇ鏁版嵁涓庝簯璁＄畻鐨勫叧绯诲氨鍍忎竴鏋氱‖甯佺殑姝ｅ弽闈竴鏍峰瘑涓嶅彲鍒嗐傚ぇ鏁版嵁蹇呯劧鏃犳硶鐢ㄥ崟鍙扮殑璁＄畻鏈鸿繘琛屽鐞嗭紝蹇呴』閲囩敤鍒嗗竷寮忔灦鏋勩傚畠鐨勭壒鑹插湪浜庡娴烽噺鏁版嵁杩涜鍒嗗竷寮忔暟鎹寲鎺樸備絾瀹冨繀椤讳緷鎵樹簯璁＄畻鐨勫垎甯冨紡澶勭悊銆佸垎甯冨紡鏁版嵁搴撳拰浜戝瓨鍌ㄣ佽櫄鎷熷寲鎶鏈傚ぇ鏁版嵁闇瑕佺壒娈婄殑鎶鏈紝浠ユ湁鏁堝湴澶勭悊澶ч噺鐨勫蹇嶇粡杩囨椂闂...
绛旓細澶ф暟鎹噰闆嗙殑鍒嗕富瑕鍖呮嫭鍝嚑绫伙紵鐩稿叧鍐呭濡備笅锛1. 浼犵粺鏁版嵁婧愰噰闆嗭細杩欑被鏁版嵁閫氬父鏉ヨ嚜浼佷笟鍐呴儴鐨勬暟鎹簱銆佹棩蹇椼佹枃浠躲佽〃鏍肩瓑锛屼互鍙婂閮ㄧ殑浼犵粺鏁版嵁婧愶紝姣斿鍏叡鏁版嵁搴撱佹斂搴滄姤鍛娿佺粺璁℃暟鎹瓑銆傝繖浜涙暟鎹氬父鏄粨鏋勫寲鏁版嵁锛屾槗浜庡瓨鍌ㄥ拰澶勭悊銆2. 绀句氦濯掍綋鏁版嵁閲囬泦锛氱ぞ浜ゅ獟浣撳钩鍙帮紙濡侳acebook銆乀witter銆両nstagram绛...
绛旓細澶ф暟鎹殑鏉ユ簮閫斿緞鏈夎澶,濡備笅鍝簺灞炰簬澶鏁版嵁鏉ユ簮锛圓銆丅銆丆銆丏锛夈侫锛庝紶鎰熷櫒璁惧閲囬泦鐨勬暟鎹銆侭锛庤绠楁満缃戠粶杩愯浜х敓鐨勬棩蹇椼侰锛庣綉缁滅埇铏緱鍒扮殑鏁版嵁銆侱锛庡叧绯诲瀷鏁版嵁搴撲腑閲囬泦鍒扮殑鏁版嵁銆傛嫇灞曪細澶ф暟鎹兘鏌ュ埌涓汉鐨勬柊闂绘姤閬撲俊鎭佸鍚嶅拰鐢熸棩绛変俊鎭佷釜浜烘斂搴滅浉鍏虫湇鍔′俊鎭瓑銆1銆佹柊闂绘姤閬撲俊鎭 鍦ㄦ悳绱㈠紩鎿庝笂杈撳叆鐩...
绛旓細鏁欒偛澶ф暟鎹殑閲囬泦鍛堢幇楂樺害鐨勫鏉傛э紱鏁欒偛澶ф暟鎹殑搴旂敤闇瑕侀珮搴︾殑鍒涢犳э紱鏁欒偛澶ф暟鎹笉浠呮敞閲嶇浉鍏冲叧绯伙紝鏇村己璋冨洜鏋滃叧绯伙紱4銆佹暀鑲插ぇ鏁版嵁鐨勫垎灞傛灦鏋 涓轰簡鏇村姞娓呮櫚鍦拌璇嗘暀鑲插ぇ鏁版嵁鐨勬璨岋紝鏍规嵁鏁欒偛鏁版嵁鐨勬潵婧涓庤寖鍥达紝灏嗗叾鍒嗘垚 浜斿眰鏋舵瀯锛屽涓嬪浘鎵绀猴細5銆佹暀鑲插ぇ鏁版嵁鐨勪綋閲 IT 鐣屾櫘閬嶈涓猴紝澶ф暟鎹寚浣撻噺鍦 ...
