xgboost的python包有多少参数 如何调用xgboost python
\u5982\u4f55\u5728xgboost Python\u5b89\u88c5\u5305\u4e0d\u77e5\u9053\u4f7f\u7528\u4ec0\u4e48\u5f00\u53d1\u73af\u5883\uff0c\u6211\u5efa\u8bae\u5927\u5bb6\u4f7f\u7528anoconda\uff0c\u91cc\u9762\u96c6\u6210\u4e86\u4e0d\u5c11\u505a\u6316\u6398\u3001\u7edf\u8ba1\u76f8\u5173\u7684\u5305\uff0c\u7701\u53bb\u4e86\u6211\u4eec\u81ea\u5df1\u5b89\u88c5\u7684\u9ebb\u70e6\u3002\uff08\u4e3b\u8981\u662f\u8003\u8651\u5230\u5305\u4e0e\u5305\u4e4b\u95f4\u6709\u4f9d\u8d56\u5173\u7cfb\uff0c\u5efa\u8bae\u7528anoconda\uff0cnumpy\u3001matplotlib\u8fd9\u4e9b\u57fa\u7840\u5305\u81ea\u52a8\u90fd\u5b89\u88c5\u4e0a\u4e86\uff09\u3002
\u5728\u5b89\u88c5\u5b8c\u96c6\u6210\u5f00\u53d1\u73af\u5883\u540e\uff0c \u4e0b\u8f7dxgboost-windows\u6587\u4ef6\uff0c\u94fe\u63a5\u5982\u4e0b\uff1a
xgboost-windows\u6587\u4ef6
\u6253\u5f00xgboost\u76ee\u5f55\u4e0b\u7684windows\u6587\u4ef6\u5939\uff0c\u7528vs2013\u4ee5\u4e0a\u7248\u672c\u6253\u5f00xgboost.sln\u5de5\u7a0b\uff08\u4e00\u5b9a\u8981\u7528\u4ee5\u4e0a\u7248\u672c\uff0c\u4e4b\u524d\u6211\u7528
vs2010\u6253\u5f00\u4f1a\u51fa\u73b0\u5404\u79cd\u95ee\u9898\uff09\uff0c\u53f3\u952e\u9879\u76ee\u540d\u79f0-\u70b9\u51fb\u914d\u7f6e\u7ba1\u7406\u5668-\u5c06debug\u6539\u4e3arelease\uff0cwin32\u8fd8\u662fwin64\u6839\u636e\u81ea\u5df1\u7684\u7535\u8111\u9009\u3002
\u7136\u540e\u53f3\u952e\u91cd\u65b0\u751f\u6210\u89e3\u51b3\u65b9\u6848\uff0c\u5f53\u5728\u8f93\u51fa\u7a97\u53e3\u51fa\u73b0\u6210\u529f\u5b57\u6837\u540e\uff0c\u5c31\u8868\u793axgboost\u7684C++\u7248\u672c\u5b89\u88c5\u6210\u529f\u4e86\u3002
\u6253\u5f00cmd\uff0c\u8fdb\u5165\u5230xgboost\u7684python-package\u76ee\u5f55\u4e0b\uff0c\u6211\u7684\u662f\u8fd9\u4e2a\u8def\u5f84\uff1aF:\Program Files\annoconda\xgboost-master\python-package\u3002cmd\u547d\u4ee4\u4e3a\uff1a
f\uff1a\u56de\u8f66
cd \Program Files\annoconda\xgboost-master\python-package
\u7136\u540e\u8f93\u5165python setup.py install \u56de\u8f66
\u82e5\u4e0a\u8ff0\u6b65\u9aa4\u90fd\u6ca1\u95ee\u9898\uff0c\u6b64\u65f6\u7cfb\u7edf\u4f1a\u81ea\u52a8\u5728python-package\u5305\u91cc\u5b89\u88c5xgboost\u5305\u3002
\u5224\u65adxgboost\u662f\u5426\u6210\u529f\u5b89\u88c5\uff1a
import xgboost as xgb
\u6210\u529f\u5bfc\u5165\u540e\uff0c\u57fa\u672c\u5c31\u6ca1\u6709\u95ee\u9898\u4e86\u3002
1
\u5efa\u8bae\u5927\u5bb6\u4f7f\u7528anoconda\uff0c\u91cc\u9762\u96c6\u6210\u4e86\u4e0d\u5c11\u505a\u6316\u6398\u3001\u7edf\u8ba1\u76f8\u5173\u7684\u5305\uff0c\u7701\u53bb\u4e86\u6211\u4eec\u81ea\u5df1\u5b89\u88c5\u7684\u9ebb\u70e6\u3002\uff08\u4e3b\u8981\u662f\u8003\u8651\u5230\u5305\u4e0e\u5305\u4e4b\u95f4\u6709\u4f9d\u8d56\u5173\u7cfb\uff0c\u5efa\u8bae\u7528anoconda\uff0cnumpy\u3001matplotlib\u8fd9\u4e9b\u57fa\u7840\u5305\u81ea\u52a8\u90fd\u5b89\u88c5\u4e0a\u4e86\uff09\u3002
\u5728\u5b89\u88c5\u5b8c\u96c6\u6210\u5f00\u53d1\u73af\u5883\u540e\uff0c \u4e0b\u8f7dxgboost-windows\u6587\u4ef6\uff0c\u94fe\u63a5\u5982\u4e0b\uff1a
xgboost-windows\u6587\u4ef6
\u6253\u5f00xgboost\u76ee\u5f55\u4e0b\u7684windows\u6587\u4ef6\u5939\uff0c\u7528vs2013\u4ee5\u4e0a\u7248\u672c\u6253\u5f00xgboost.sln\u5de5\u7a0b\uff08\u4e00\u5b9a\u8981\u7528\u4ee5\u4e0a\u7248\u672c\uff0c\u4e4b\u524d\u6211\u7528vs2010\u6253\u5f00\u4f1a\u51fa\u73b0\u5404\u79cd\u95ee\u9898\uff09\uff0c\u53f3\u952e\u9879\u76ee\u540d\u79f0-\u70b9\u51fb\u914d\u7f6e\u7ba1\u7406\u5668-\u5c06debug\u6539\u4e3arelease\uff0cwin32\u8fd8\u662fwin64\u6839\u636e\u81ea\u5df1\u7684\u7535\u8111\u9009\u3002
\u7136\u540e\u53f3\u952e\u91cd\u65b0\u751f\u6210\u89e3\u51b3\u65b9\u6848\uff0c\u5f53\u5728\u8f93\u51fa\u7a97\u53e3\u51fa\u73b0\u6210\u529f\u5b57\u6837\u540e\uff0c\u5c31\u8868\u793axgboost\u7684C++\u7248\u672c\u5b89\u88c5\u6210\u529f\u4e86\u3002
\u6253\u5f00cmd\uff0c\u8fdb\u5165\u5230xgboost\u7684python-package\u76ee\u5f55\u4e0b\uff0c\u6211\u7684\u662f\u8fd9\u4e2a\u8def\u5f84\uff1aF:\Program Files\annoconda\xgboost-master\python-package\u3002cmd\u547d\u4ee4\u4e3a\uff1a
f\uff1a\u56de\u8f66
cd \Program Files\annoconda\xgboost-master\python-package
\u7136\u540e\u8f93\u5165python setup.py install \u56de\u8f66
\u82e5\u4e0a\u8ff0\u6b65\u9aa4\u90fd\u6ca1\u95ee\u9898\uff0c\u6b64\u65f6\u7cfb\u7edf\u4f1a\u81ea\u52a8\u5728python-package\u5305\u91cc\u5b89\u88c5xgboost\u5305\u3002
\u5224\u65adxgboost\u662f\u5426\u6210\u529f\u5b89\u88c5\uff1a
import xgboost as xgb
\u6210\u529f\u5bfc\u5165\u540e\uff0c\u57fa\u672c\u5c31\u6ca1\u6709\u95ee\u9898\u4e86\u3002
XGBoost参数
XGBoost的参数可以分为三种类型：通用参数、booster参数以及学习目标参数
General parameters：参数控制在提升（boosting）过程中使用哪种booster，常用的booster有树模型（tree）和线性模型（linear model）。
Booster parameters：这取决于使用哪种booster。
Learning Task parameters：控制学习的场景，例如在回归问题中会使用不同的参数控制排序。
除了以上参数还可能有其它参数，在命令行中使用
booster [default=gbtree]
有两种模型可以选择gbtree和gblinear。gbtree使用基于树的模型进行提升计算，gblinear使用线性模型进行提升计算。缺省值为gbtree
silent [default=0]
取0时表示打印出运行时信息，取1时表示以缄默方式运行，不打印运行时的信息。缺省值为0
建议取0，过程中的输出数据有助于理解模型以及调参。另外实际上我设置其为1也通常无法缄默运行。。
nthread [default to maximum number of threads available if not set]
XGBoost运行时的线程数。缺省值是当前系统可以获得的最大线程数
如果你希望以最大速度运行，建议不设置这个参数，模型将自动获得最大线程
num_pbuffer [set automatically by xgboost, no need to be set by user]
size of prediction buffer, normally set to number of training instances. The buffers are used to save the prediction results of last boosting step.
num_feature [set automatically by xgboost, no need to be set by user]
boosting过程中用到的特征维数，设置为特征个数。XGBoost会自动设置，不需要手工设置
eta [default=0.3]
为了防止过拟合，更新过程中用到的收缩步长。在每次提升计算之后，算法会直接获得新特征的权重。 eta通过缩减特征的权重使提升计算过程更加保守。缺省值为0.3
取值范围为：[0,1]
通常最后设置eta为0.01~0.2
gamma [default=0]
minimum loss reduction required to make a further partition on a leaf node of the tree. the larger, the more conservative the algorithm will be.
range: [0,∞]
模型在默认情况下，对于一个节点的划分只有在其loss function 得到结果大于0的情况下才进行，而gamma 给定了所需的最低loss function的值
gamma值使得算法更conservation，且其值依赖于loss function ，在模型中应该进行调参。
max_depth [default=6]
树的最大深度。缺省值为6
取值范围为：[1,∞]
指树的最大深度
树的深度越大，则对数据的拟合程度越高（过拟合程度也越高）。即该参数也是控制过拟合
建议通过交叉验证（xgb.cv ) 进行调参
通常取值：3-10
min_child_weight [default=1]
孩子节点中最小的样本权重和。如果一个叶子节点的样本权重和小于min_child_weight则拆分过程结束。在现行回归模型中，这个参数是指建立每个模型所需要的最小样本数。该成熟越大算法越conservative。即调大这个参数能够控制过拟合。
取值范围为: [0,∞]
max_delta_step [default=0]
Maximum delta step we allow each tree’s weight estimation to be. If the value is set to 0, it means there is no constraint. If it is set to a positive value, it can help making the update step more conservative. Usually this parameter is not needed, but it might help in logistic regression when class is extremely imbalanced. Set it to value of 1-10 might help control the update
取值范围为：[0,∞]
如果取值为0，那么意味着无限制。如果取为正数，则其使得xgboost更新过程更加保守。
通常不需要设置这个值，但在使用logistics 回归时，若类别极度不平衡，则调整该参数可能有效果
subsample [default=1]
用于训练模型的子样本占整个样本集合的比例。如果设置为0.5则意味着XGBoost将随机的从整个样本集合中抽取出50%的子样本建立树模型，这能够防止过拟合。
取值范围为：(0,1]
colsample_bytree [default=1]
在建立树时对特征随机采样的比例。缺省值为1
取值范围：(0,1]
colsample_bylevel[default=1]
决定每次节点划分时子样例的比例
通常不使用，因为subsample和colsample_bytree已经可以起到相同的作用了
scale_pos_weight[default=0]
A value greater than 0 can be used in case of high class imbalance as it helps in faster convergence.
大于0的取值可以处理类别不平衡的情况。帮助模型更快收敛
lambda [default=0]
L2 正则的惩罚系数
用于处理XGBoost的正则化部分。通常不使用，但可以用来降低过拟合
alpha [default=0]
L1 正则的惩罚系数
当数据维度极高时可以使用，使得算法运行更快。
lambda_bias
在偏置上的L2正则。缺省值为0（在L1上没有偏置项的正则，因为L1时偏置不重要）
objective [ default=reg:linear ]
定义学习任务及相应的学习目标，可选的目标函数如下：
“reg:linear” –线性回归。
“reg:logistic” –逻辑回归。
“binary:logistic” –二分类的逻辑回归问题，输出为概率。
“binary:logitraw” –二分类的逻辑回归问题，输出的结果为wTx。
“count:poisson” –计数问题的poisson回归，输出结果为poisson分布。
在poisson回归中，max_delta_step的缺省值为0.7。(used to safeguard optimization)
“multi:softmax” –让XGBoost采用softmax目标函数处理多分类问题，同时需要设置参数num_class（类别个数）
“multi:softprob” –和softmax一样，但是输出的是ndata * nclass的向量，可以将该向量reshape成ndata行nclass列的矩阵。每行数据表示样本所属于每个类别的概率。
“rank:pairwise” –set XGBoost to do ranking task by minimizing the pairwise loss
base_score [ default=0.5 ]
the initial prediction score of all instances, global bias
eval_metric [ default according to objective ]
校验数据所需要的评价指标，不同的目标函数将会有缺省的评价指标（rmse for regression, and error for classification, mean average precision for ranking）
用户可以添加多种评价指标，对于Python用户要以list传递参数对给程序，而不是map参数list参数不会覆盖’eval_metric’
The choices are listed below:
“rmse”: root mean square error
“logloss”: negative log-likelihood
“error”: Binary classification error rate. It is calculated as #(wrong cases)/#(all cases). For the predictions, the evaluation will regard the instances with prediction value larger than 0.5 as positive instances, and the others as negative instances.
“merror”: Multiclass classification error rate. It is calculated as #(wrong cases)/#(all cases).
“mlogloss”: Multiclass logloss
“auc”: Area under the curve for ranking evaluation.
“ndcg”:Normalized Discounted Cumulative Gain
“map”:Mean average precision
“ndcg@n”,”map@n”: n can be assigned as an integer to cut off the top positions in the lists for evaluation.
“ndcg-“,”map-“,”ndcg@n-“,”map@n-“: In XGBoost, NDCG and MAP will evaluate the score of a list without any positive samples as 1. By adding “-” in the evaluation metric XGBoost will evaluate these score as 0 to be consistent under some conditions.
training repeativelyseed [ default=0 ]
随机数的种子。缺省值为0
可以用于产生可重复的结果（每次取一样的seed即可得到相同的随机划分）
eta –> learning_rate
lambda –> reg_lambda
alpha –> reg_alpha
General Parameters
Booster Parameters
From xgboost-unity, the bst: prefix is no longer needed for booster parameters. Parameter with or without bst: prefix will be equivalent(i.e. both bst:eta and eta will be valid parameter setting) .
Parameter for Tree Booster
Parameter for Linear Booster
Task Parameters
Console Parameters
The following parameters are only used in the console version of xgboost
* use_buffer [ default=1 ]
- 是否为输入创建二进制的缓存文件，缓存文件可以加速计算。缺省值为1
* num_round
- boosting迭代计算次数。
* data
- 输入数据的路径
* test:data
- 测试数据的路径
* save_period [default=0]
- 表示保存第i*save_period次迭代的模型。例如save_period=10表示每隔10迭代计算XGBoost将会保存中间结果，设置为0表示每次计算的模型都要保持。
* task [default=train] options: train, pred, eval, dump
- train：训练模型
- pred：对测试数据进行预测
- eval：通过eval[name]=filenam定义评价指标
- dump：将学习模型保存成文本格式
* model_in [default=NULL]
- 指向模型的路径在test, eval, dump都会用到，如果在training中定义XGBoost将会接着输入模型继续训练
* model_out [default=NULL]
- 训练完成后模型的保存路径，如果没有定义则会输出类似0003.model这样的结果，0003是第三次训练的模型结果。
* model_dir [default=models]
- 输出模型所保存的路径。
* fmap
- feature map, used for dump model
* name_dump [default=dump.txt]
- name of model dump file
* name_pred [default=pred.txt]
- 预测结果文件
* pred_margin [default=0]
- 输出预测的边界，而不是转换后的概率
如果你比较习惯scikit-learn的参数形式，那么XGBoost的Python 版本也提供了sklearn形式的接口 XGBClassifier。它使用sklearn形式的参数命名方式，对应关系如下：
绛旓細Python寮鍙戝伐绋嬪笀蹇呯煡鐨勫崄澶ф満鍣ㄥ涔犲簱锛氫竴銆丼cikit-Learn 鍦ㄦ満鍣ㄥ涔犲拰鏁版嵁鎸栨帢鐨勫簲鐢ㄤ腑锛孲cikit-Learn鏄竴涓姛鑳藉己澶鐨凱ython鍖锛屾垜浠彲浠ョ敤瀹冭繘琛屽垎绫汇佺壒寰侀夋嫨銆佺壒寰佹彁鍙栧拰鑱氶泦銆備簩銆丼tatsmodels Statsmodels鏄彟涓涓仛鐒﹀湪缁熻妯″瀷涓婄殑寮哄ぇ鐨勫簱锛屼富瑕佺敤浜庨娴嬫у拰鎺㈢储鎬у垎鏋愶紝鎷熷悎绾挎фā鍨嬨佽繘琛岀粺璁″垎鏋...
绛旓細conda3 conda create -n kaggle_env python=3.6 pip install xgboost conda install nb_conda // jupyter notebook 鍙互妫娴嬪埌 鏂扮殑铏氭嫙鐜 鍙傝冭祫鏂欙細conda_new_env conda_install xgboost jupyter_in_new_env 鐩稿叧鏂囩珷
绛旓細鎴戜篃閬囧埌杩囪繖涓棶棰 鎴戠粰浣犳垜鐨勮В鍐虫柟寮 鍦ㄥ鍏xgboost鍓 鍏堟妸vcomp140.dll妯″潡瀵煎叆杩涙潵 鍥犱负xgboost.dll鏄緷璧杤comp140.dll 甯屾湜鍙互瑙ｅ喅浣犵殑闂 import ctypes ctypes.cdll.LoadLibrary('C:/WINDOWS/SysWOW64/vcomp140.dll')
绛旓細NuPIC鍙敤浜庨娴嬩互鍙婂紓甯告娴嬶紝浣跨敤闈㈤潪甯稿箍锛屼粎瑕佹眰杈撳叆鏃堕棿搴忓垪鍗冲彲銆5銆丮ilk Milk鏄Python涓鐨勪竴涓満鍣ㄥ涔犲伐鍏峰寘銆侻ilk娉ㄩ噸鎻愬崌杩愯閫熷害涓庨檷浣庡唴瀛樺崰鐢紝鍥犳澶ч儴鍒嗗鎬ц兘鏁忔劅鐨勪唬鐮侀兘鏄娇鐢–++缂栧啓鐨勶紝涓轰簡渚垮埄鎬у湪姝ゅ熀纭涓婃彁渚汸ython鎺ュ彛銆傞噸鐐规彁渚涚洃鐫ｅ垎绫绘柟娉曪紝濡係VMs銆並NN銆侀殢鏈烘．鏋楀拰鍐崇瓥鏍戠瓑銆
绛旓細涓嬮潰,婕旂ず涓涓嬪浣曞皢Python鐨刋GBoost妯″瀷杞垚SAS浠ｇ爜銆傞鍏堝鍏ユ墍闇鐨勫簱鍖呭拰鏁版嵁銆# 瀵煎叆搴搃mport pandas as pdimport numpy as npimport os import refrom sklearn import datasetsfrom xgboost import XGBClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score...
绛旓細NuPIC鍙敤浜庨娴嬩互鍙婂紓甯告娴嬶紝浣跨敤闈㈤潪甯稿箍锛屼粎瑕佹眰杈撳叆鏃堕棿搴忓垪鍗冲彲銆5銆丮ilk Milk鏄Python涓鐨勪竴涓満鍣ㄥ涔犲伐鍏峰寘銆侻ilk娉ㄩ噸鎻愬崌杩愯閫熷害涓庨檷浣庡唴瀛樺崰鐢紝鍥犳澶ч儴鍒嗗鎬ц兘鏁忔劅鐨勪唬鐮侀兘鏄娇鐢–++缂栧啓鐨勶紝涓轰簡渚垮埄鎬у湪姝ゅ熀纭涓婃彁渚汸ython鎺ュ彛銆傞噸鐐规彁渚涚洃鐫ｅ垎绫绘柟娉曪紝濡係VMs銆並NN銆侀殢鏈烘．鏋楀拰鍐崇瓥鏍戠瓑銆
绛旓細XGBoost妯″瀷鐨勭壒鐐规槸浠涔堬紵XGBoost妯″瀷鍦ㄨ澶氭柟闈㈤兘闈炲父浼樼銆傚畠閲囩敤浜嗗绉嶆鍒欏寲鏂规硶锛屽寘鎷琇1銆丩2鍜屾繁搴﹂檺鍒剁瓑锛屼互閬垮厤杩囨嫙鍚堝拰鎻愰珮娉涘寲鑳藉姏銆傝妯″瀷杩樻敮鎸佽澶氬厛杩涚殑鐗规э紝濡傜己澶卞煎鐞嗐佹潈閲嶈皟鏁村拰鑷傚簲瀛︿範鐜囩瓑銆傛澶栵紝XGBoost妯″瀷鍏锋湁楂樺害鍙墿灞曟э紝骞惰兘澶熶笌鍚勭缂栫▼璇█鍜屽伐鍏疯繘琛岄泦鎴愶紝鍖呮嫭Python銆丷銆...
绛旓細浣鐨刾ython鑴氭湰鏂囦欢鍚嶄笉鑳芥槸xgboost.py, 鍥犱负杩欐牱鐨勮瘽灏辨妸xgboost杩欎釜鍚嶅瓧缁欏崰浜, 浣爄mport鐨勬椂鍊檖ython灏辨妸浣犺繖涓獂gboost.py褰撲綔涓涓猰odule鏉ョ紪璇戠劧鍚巌mport, 鑰屼笉鏄痠mport鐪熸鐨剎gboost.
绛旓細Python瀹炴垬婕旂ず 浠ョ粡鍏哥殑Iris鏁版嵁闆嗕负渚嬶紝鎴戜滑鍙互鍒╃敤Python瀹炵幇PMML閮ㄧ讲銆傞鍏堬紝浠庢暟鎹澶勭悊寮濮嬶紝瀵煎叆蹇呰鐨勫寘:import pandas as pdfrom sklearn.datasets import load_irisfrom sklearn.pipeline import Pipelinefrom xgboost import XGBClassifierfrom sklearn2pmml import sklearn2pmml鎺ョ潃锛屾垜浠鏁版嵁...
绛旓細1. Mac OSX绯荤粺鑸嚜甯python鎵撶粓绔緭鍏ython鍗冲啓python浠ｇ爜鎵python鐜宸茬粡鍏峰 2.瀹夎 Homebrew , 绫讳技浜巙buntuapt-getcentosyumOSX闈㈤潪鐢ㄨ蒋浠跺畨瑁呭伐鍏 /usr/bin/ruby -e "$锛坈url -fsSL 锛"鐩存帴杩颁唬鐮佺矘璐磋嚦缁堢鍗冲畨瑁咃紙瀹夎杞欢鐩簬鏇存柊gcc鐗堟湰瀹樻枃妗ｈ鏂癵cc鐗堟湰鎵嶈兘浣xgboost鏀寔绾跨▼锛3.瀹夎鏂...
