diff --git a/NN/nnff.m b/NN/nnff.m index 32a2c69..03ca9ec 100644 --- a/NN/nnff.m +++ b/NN/nnff.m @@ -17,6 +17,10 @@ nn.a{i} = sigm(nn.a{i - 1} * nn.W{i - 1}'); case 'tanh_opt' nn.a{i} = tanh_opt(nn.a{i - 1} * nn.W{i - 1}'); + case 'relu' + nn.a{i} = max(0,nn.a{i - 1} * nn.W{i - 1}'); + case 'softp' + nn.a{i} = log(1+exp(nn.a{i - 1} * nn.W{i - 1}')); end %dropout