当前位置:首页 > 经验 >

机器学习建模基础知识(机器学习软件建模)

来源:原点资讯(www.yd166.com)时间:2022-10-30 05:32:38作者:YD166手机阅读>>

字符类的数据可以用多维数组表示,有Onehot独热编码表示、word2vetor分布式表示及bert动态编码等;

机器学习建模基础知识,机器学习软件建模(9)

  • 异常值处理收集的数据由于人为或者自然因素可能引入了异常值(噪音),这会对模型学习进行干扰。通常需要对人为引起的异常值进行处理,通过业务判断和技术手段(python、正则式匹配、pandas数据处理及matplotlib可视化等数据分析处理技术)筛选异常的信息,并结合业务情况删除或者替换数值。
  • 缺失值处理数据缺失的部分,通过结合业务进行填充数值、不做处理或者删除。根据缺失率情况及处理方式分为以下情况:① 缺失率较高,并结合业务可以直接删除该特征变量。经验上可以新增一个bool类型的变量特征记录该字段的缺失情况,缺失记为1,非缺失记为0;② 缺失率较低,结合业务可使用一些缺失值填充手段,如pandas的fillna方法、训练随机森林模型预测缺失值填充;③ 不做处理:部分模型如随机森林、xgboost、lightgbm能够处理数据缺失的情况,不需要对缺失数据做任何的处理。
  • 数据离散化数据离散化能减小算法的时间和空间开销(不同算法情况不一),并可以使特征更有业务解释性。离散化是将连续的数据进行分段,使其变为一段段离散化的区间,分段的原则有等距离、等频率等方法。
  • 数据标准化数据各个特征变量的量纲差异很大,可以使用数据标准化消除不同分量量纲差异的影响,加速模型收敛的效率。常用的方法有:① min-max 标准化:将数值范围缩放到(0,1),但没有改变数据分布。max为样本最大值,min为样本最小值。② z-score 标准化:将数值范围缩放到0附近, 经过处理的数据符合标准正态分布。u是平均值,σ是标准差。
  • 特征衍生

基础特征对样本信息的表述有限,可通过特征衍生出新含义的特征进行补充。特征衍生是对现有基础特征的含义进行某种处理(组合/转换之类),常用方法如:

① 结合业务的理解做衍生,比如通过12个月工资可以加工出:平均月工资,薪资变化值,是否发工资 等等;

② 使用特征衍生工具:如feature tools等技术;

  • 特征选择

特征选择筛选出显著特征、摒弃非显著特征。特征选择方法一般分为三类:

机器学习建模基础知识,机器学习软件建模(10)

① 过滤法:按照特征的发散性或者相关性指标对各个特征进行评分后选择,如方差验证、相关系数、IV值、卡方检验及信息增益等方法。

② 包装法:每次选择部分特征迭代训练模型,根据模型预测效果评分选择特征的去留。

③ 嵌入法:使用某些模型进行训练,得到各个特征的权值系数,根据权值系数从大到小来选择特征,如XGBOOST特征重要性选择特征。

机器学习建模基础知识,机器学习软件建模(11)

  • 特征降维

如果特征选择后的特征数目仍太多,这种情形下经常会有数据样本稀疏、距离计算困难的问题(称为 “维数灾难”),可以通过特征降维解决。常用的降维方法有:主成分分析法(PCA), 线性判别分析法(LDA)等。

机器学习建模基础知识,机器学习软件建模(12)

栏目热文

机器学习建模方法(适合新手的建模软件)

机器学习建模方法(适合新手的建模软件)

在数据的世界中,机器学习已经成为不可或缺的工具。机器学习可以帮助发现隐藏在大量数据中的特定知识。很多时候,这些知识都不是...

2022-10-30 05:49:27查看全文 >>

三种机器学习模型(最新机器学习模型)

三种机器学习模型(最新机器学习模型)

AI 科技大本营按:本文节选自微软亚洲研究院机器学习研究团队刘铁岩、陈薇、王太峰、高飞合著的《分布式机器学习:算...

2022-10-30 05:16:01查看全文 >>

机器学习模型训练步骤(机器学习训练步骤)

机器学习模型训练步骤(机器学习训练步骤)

本文是为机器学习初学者准备的,目的是了解制作一个真正好的机器学习模型所涉及的不同步骤,以及应该避免哪些错误。本文并不是任...

2022-10-30 05:25:41查看全文 >>

机器学习建模的工具包(机器学习可视化建模)

机器学习建模的工具包(机器学习可视化建模)

机器之心报道机器之心编辑部如何应用自动机器学习 (AutoML) 加速图机器学习任务的处理?清华大学发布全球首个开源自动...

2022-10-30 05:27:59查看全文 >>

机器学习建模标准流程(一份机器学习模型再训练终极指南)

机器学习建模标准流程(一份机器学习模型再训练终极指南)

前言机器学习 作为人工智能领域的核心组成,是计算机程序学习数据经验以优化自身算法,并产生相应的“智能化的”建议与决策的过...

2022-10-30 05:19:23查看全文 >>

使用机器学习模型一般步骤(机器学习训练好的模型怎么用)

使用机器学习模型一般步骤(机器学习训练好的模型怎么用)

选自horace博客作者:Horace He机器之心编译编辑:Juniper深度学习是门玄学?也不完全是。每个人都想让模...

2022-10-30 05:52:38查看全文 >>

机器学习的模型如何落地(一份机器学习模型再训练终极指南)

机器学习的模型如何落地(一份机器学习模型再训练终极指南)

本文根据数美科技李田老师在2018年 DataFun AI Talk中分享的《机器学习在数美业务上的落地》编辑整理而成...

2022-10-30 05:55:56查看全文 >>

机器学习模型步骤(机器学习模型的搭建)

机器学习模型步骤(机器学习模型的搭建)

来源:Datawhale本文约5200字,建议阅读9分钟。本文用手绘图的方式讲解了机器学习模型构建的全流程。周末在家无聊...

2022-10-30 05:29:32查看全文 >>

机器学习建模流程(机器学习模型训练全流程)

机器学习建模流程(机器学习模型训练全流程)

根据3D科学谷的市场观察,从电子商务网站和流媒体平台内置的推荐工具到智能手机中复杂的图像编辑,人工智能和机器学习应用程序...

2022-10-30 05:35:32查看全文 >>

机器学习算法建模过程视频(机器学习 预测算法)

机器学习算法建模过程视频(机器学习 预测算法)

上课的学员至少要有一定的第一性原理计算 或 量子化学计算基础,或者曾经上过初级班的课程。本次培训通知是机器学习专题(6天...

2022-10-30 05:21:56查看全文 >>

文档排行