神经网络的函数逼近是什么意思？

神经网络“逼近”的过程1786 播放 · 1 赞同视频​

#-*-coding:UTF-8 -*- import torch import torch.nn as nn import torch.nn.functional as F import matplotlib.pyplot as plt from torch.autograd import Variable #%% 构造数据 x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # 100 x 1 的数据 y = x.pow(3) + 0.1 * torch.randn(x.size()) x, y = (Variable(x), Variable(y)) plt.scatter(x, y) plt.scatter(x.data, y.data) plt.scatter(x.data.numpy(), y.data.numpy()) plt.ion() # 打开交互模式，绘制图片以后不会卡在plt.show()那条语句那里 plt.show() #%% 定义具有2个隐藏层的全连接前馈神经网络类 class Net1(nn.Module): def __init__(self, n_input, n_hidden, n_output): super(Net1, self).__init__() self.hidden_1 = nn.Linear(n_input, n_hidden) self.hidden_2 = nn.Linear(n_hidden, n_hidden) self.predict = nn.Linear(n_hidden, n_output) def forward(self, input): out = self.hidden_1(input) out = F.relu(out) out = self.hidden_2(out) out = F.sigmoid(out) out = self.predict(out) return out #%% 使用Sequential方法定义具有2个隐藏层的全连接前馈神经网络类 class Net2(nn.Module): def __init__(self, n_input, n_hidden, n_output): super().__init__() self.layer = nn.Sequential( nn.Linear(n_input, n_hidden), nn.ReLU(True), # 使用ReLU作为第1个隐藏层的激活函数, 设定为True表示将输出直接赋给输入，目的是节约内存 nn.Linear(n_hidden, n_hidden), nn.Sigmoid(), # 使用Sigmoid作为第2个隐藏层的激活函数 nn.Linear(n_hidden, n_output) ) def forward(self, input): return self.layer(input) #%% 使用Sequential方法定义具有2个隐藏层的全连接前馈神经网络类 class Net3(nn.Module): def __init__(self, n_input, n_hidden, n_output): super().__init__() self.layer = nn.Sequential() self.layer.add_module(input_layer, nn.Linear(n_input, n_hidden)) self.layer.add_module(relu_func, nn.ReLU()) # 使用ReLU作为第1个隐藏层的激活函数 self.layer.add_module(hidden_layer_2, nn.Linear(n_hidden, n_hidden)) self.layer.add_module(sigmoid_func, nn.Sigmoid()) # 使用Sigmoid作为第2个隐藏层的激活函数 self.layer.add_module(output_layer, nn.Linear(n_hidden, n_output)) def forward(self, input): return self.layer(input) #%% 构造网络实体 n_input = 1 n_hidden = 32 n_output = 1 # 两种构造网络的方法 # net = Net1(n_input, n_hidden, n_output) # net = Net2(n_input, n_hidden, n_output) net = Net3(n_input, n_hidden, n_output) print(net) # 采用SGD作为优化方法, MSE作为loss optimizer = torch.optim.SGD(net.parameters(), lr=0.05) # 设置学习速率为0.1 loss_func = torch.nn.MSELoss() for t in range(4000): prediction = net(x) loss = loss_func(prediction, y) # 计算loss，这里为MSE # 把梯度置零 optimizer.zero_grad() # 误差反向传播，计算参数更新值 loss.backward() # 更新参数 optimizer.step() if t%5 == 0: plt.cla() plt.scatter(x.data.numpy(), y.data.numpy()) plt.plot(x.data.numpy(), prediction.data.numpy(), r-, lw=5) plt.text(0.3, -0.6, epoch=%d % t, fontdict={size: 20, color: red}) plt.text(0.3, -0.8, Loss=%.4f % loss.data, fontdict={size: 20, color: red}) plt.pause(0.05) plt.ioff() # 关闭交互模式 plt.show()