np.log1p()取对数符合正态分布
一、SEM基础SEM是Search Engine Marketing 的简称。也就是搜索引擎营销搜索引擎竞价推广是从搜索引擎衍生出的一项广告。竞价推广定义:企业主根据自身产品需求确定关键词,撰写广告内容并自主定价投放的广告别名:付费搜索广告、搜索引擎广告、搜索引擎推广、PPC广告或CPC广告竞价推广特点:搜索引擎为平台、关键词为产品、网民为产品使用者、企业为消费者按关键词点击次数收取费用确定投放目
机器学习算法中,一些算法要求数据符合正态分布,但是对于一些标签和特征来说,分布不一定符合正态分布,
我们可以用np.log1p(x),即取对数,这样可以使得数据在一定程度上符合正态分布的特征。(正态分布(Normal distribution),也称高斯分布(Gaussian distribution)
数据平滑处理 -- log1p( ) 和 exmp1( )
1. 数据预处理时首先可以对偏度比较大的数据用og1p函数进行转化,使其更加服从高斯分布,此步处理可能会使我们后续的分类结果得到一个好的结果。
2. 平滑问题很容易处理掉,导致模型的结果达不到一定的标准,log1p( )能够避免复值得问题 — 复值指一个自变量对应多个因变量
log1p( ) 的使用就像是一个数据压缩到了一个区间,与数据的标准类似。其逆运算就是expm1的函数
由于使用的log1p()对数据进行了压缩,最后需要将预测出的平滑数据进行一个还原,而还原过程就是log1p的逆运算expm1.
log1p = log(x+1)
当x较大时直接计算,当x较小时用泰勒展开式计算。
#le是2.718281828459
np.log1p(1e-99)
#1e-99
np.log(1 + 1e-99)
#0.0
结论:log1p函数有它存在的意义,即保证了x数据的有效性,当x很小时(如 两个数值相减后得到),由于太小超过数值有效性,用
计算得到结果为0,换作log1p则计算得到一个很小却不为0的结果,
同样的道理对于expm1,当x特别小,就会急剧下降出现如上问题,甚至出现错误值。
未经过np.log1p()处理的,经过数据后,符合正态分布图像展示:
更多推荐
所有评论(0)