风格迁移的特征提取

2025年3月17日 | 阅读 3 分钟

将图像加载到内存后，我们将实现风格迁移。为了实现风格迁移，需要将图像的风格与其内容分开。之后，也可以将一个图像的风格元素转移到第二个图像的内容元素上。这个过程主要使用标准卷积神经网络的特征提取来完成。

然后，对这些特征进行操作以提取内容信息或风格信息。这个过程涉及三个图像：一个风格图像、一个内容图像，最后是一个目标图像。将风格图像的风格与内容图像的内容相结合，创建最终的目标图像。

Feature Extraction for Style Transferring

这个过程首先从我们的模型中选择几个层来提取特征。通过选择几个层来提取特征，我们可以很好地了解我们的图像在整个神经网络中的处理方式。我们提取风格图像和内容图像的模型特征。之后，我们从目标图像中提取特征，并将其与风格图像特征和内容图像特征进行比较。

从图像中获取特征

# Defining simple method with two arguments, i.e. our image and our model
def get_features(image,model):
#choosing specific layer within our VGG-19 model that we are going to extract features from 
# Defining layers dictionary object which contains the specific layers  
  layers={'0':'conv1_1', #Mapping 0 to conv1_1
          '5':'conv2_1', #Mapping 5 to conv2_1
          '10':'conv3_1', #Mapping 10 to conv3_1
          '19':'conv4_1', #Mapping 19 to conv4_1
          '21':'conv4_2', #Mapping 21 to conv4_2
          '28':'conv5_1',} #Mapping 28 to conv5_1

现在我们有六个特征提取层。在这六个特征提取层中，我们将使用其中的五个进行风格提取，仅使用其中一个进行内容提取。我们将使用 conv4_2 进行内容提取。仅这单个层就足以提取内容。此层更深入到我们的神经网络中，并提供高深度图像特征。这就是预训练的对象检测卷积神经网络在表示内容元素方面变得非常有效的原因。

从网络中的各种特征中获取风格特征，从而实现最佳的风格创建。从多个层中提取风格特征将使风格提取和再现更有效。

#Defining an empty dictionary called features to store all the extracted features 
features={}
  #Running a loop which iterates over all of the layers in our model 
  for name, layer in model._modules.items(): 
    #Running our image through the specific layer and store into the new image
    image=layer(image)
    #checking the name of the current layer which we are iterating through is inside layers
    if name in layers:
      #If true then store the output from that specific layer 
      features[layers[name]]=image 
  #returning feature dictionary 
  return features

一旦我们初始化了获取特征的方法，我们就必须使用我们的内容图像和我们的 VGG 模型来调用它。

同样，我们也将对我们的风格图像这样做

下一主题风格迁移的 Gram 矩阵