YeeKal
optimization

smooth function

YeeKal
"#optimization"

不可导函数的可导化

|x|

//  |x|
sqrt(x * x + epsilon)-sqrt(epsilon)
1/k * ln(e^(kx) + e^(-kx))

// x >0, x
// x<0, 0
log(1+e^x)

// step function
// 1, x > 0
// 0, x < 0
1/(1+e^(-kx)), k is a large number

// max(x, y): 找一个在整个实数域上都单调递增的函数,而且增长速度要快于线性增长,然后求和,最后取逆函数
1/k * ln(e^(kx) + e^(ky))