特征选择 (Feature Selection)

特征选择旨在从原始数据中挑选出对模型预测最有贡献的特征子集，以提高机器学习模型的效率和准确性。

决策变量：使用二进制变量

x_{i} \in {0, 1}

表示第

i

个特征是否被选中。

优化目标：

相关性：增加特征与目标变量之间的相关性。

冗余性：减少被选特征之间的相互依赖（冗余）。

数量惩罚：避免选择过多的特征。

H = - α \sum_{i} Rel (i) x_{i} + β \sum_{i < j} Red (i, j) x_{i} x_{j} + γ \sum_{i} x_{i}

第一项：鼓励选择与目标相关的特征。

第二项：惩罚同时选择高度冗余的特征。

第三项：控制特征子集的大小。

通过计算特征间的互信息或相关系数矩阵，生成

J

矩阵与

h

向量，提交至伊辛云平台进行搜索，即可得到最优特征组合。

案例-特征选择