ABSTRACT
- 本文提出了一种基于数据驱动的深度神经网络方法，通过将地表波转换为相速度-频率面板来预测近地表速度剖面，区别于传统的通过反射体波或导波估计速度的方法。
- 研究的第二个目标是分析迁移学习和数据增强等深度学习方法对预测精度的影响。通过数值实验，证明这些方法有助于提高速度估计的精度。
- 第三个目标是解决深度学习模型在处理超出分布（OOD）数据时的泛化能力问题，提出了基于先验知识约束输出映射的领域自适应网络。
1.Institution
- 地球物理学领域也同样受益于深度学习的应用。深度学习被应用于地震处理的多个方面，主要可以分为四个类别：
- 基于机器视觉的地震解释：这是最成熟的应用，包括断层检测、地震相分类和初至波拾取等任务。
- 信号处理任务：包括地震去噪、去叠加、地面滚动衰减和地震预处理。
- 岩性参数反演：例如岩性反演和地震阻抗反演。
- 物理信息神经网络（PINNs）：这些网络结合了标准前馈神经网络和偏微分方程的参数，应用于如波场建模等任务。
传统与基于深度学习的近地表速度估计
- 本文首先回顾了传统的地表波估计近地表速度的方法，接着介绍了基于深度学习的方法，特别是迁移学习、数据增强和领域自适应策略。通过这种新方法，本文在合成数据和真实的陆地地震数据上进行了评估。
1.1. Deep learning in seismic velocity estimation
-
本节讨论了深度学习在地震速度估计中的应用，特别是在近地表速度估计方面的潜力。传统的地震速度估计方法主要依赖反射地震数据或P波数据，而深度学习提供了一种数据驱动的解决方案，能够通过学习复杂的地震数据模式来估算速度模型。深度学习的优势在于它可以自动化处理和分析大量数据，减少了传统方法中需要大量手动干预的步骤。
-
本节提到，深度学习的一个重要优势是通过选择合适的训练数据，能够将先验知识融入到神经网络的训练过程中，从而提高反演精度并限制网络的预测结果。训练好的神经网络可以在生产处理中高效应用，减少了计算资源的消耗。
-
此外，深度学习方法还能够处理多种类型的速度定义，不仅包括传统的岩石物理学速度定义，还能应用于反射地震数据中的速度反演、信号处理任务（如去噪和去叠加），以及物理信息神经网络（PINN）的应用。
1.2. Near-surface velocity estimation with surface waves
-
讨论了基于地表波的近地表速度估计方法，重点使用瑞利波和色散曲线反演来提取Vp和Vs速度信息。传统的地震速度估计方法通常依赖垂直传播的P波和反射地震数据，然而，本文采用水平传播的地表波，更适用于近地表速度的测量。
-
色散曲线反演过程中，传统方法手动选择每个频率的最大值，存在主观性和繁琐性，尤其在大规模地震勘探中。为了自动化这一过程，已有研究尝试采用机器学习方法，但这些方法仍依赖于瑞利波基本模式的假设，且高阶模式可能会与基本模式重叠，导致误差。
-
在反演中，剪切速度和层厚度是常见的模型参数，低频信息能感知地下的深层结构，而高频则主要作用于浅层。色散曲线反演结果显示，少层数的模型能与多层数模型展现相同的基本模式色散曲线。
-
尽管色散曲线反演方法历史悠久，但仍存在一定局限，尤其是在高阶模式交叉重叠的情况下，可能影响基本模式的提取。理想情况下，反演不应依赖手动选择色散曲线，而应直接使用整个频率-相速度数据进行处理。为此，本文探讨了深度神经网络在弥合色散曲线反演与全波形反演（FWI）之间差距的潜力。通过监督学习，深度神经网络能够从完整的相速度谱中学习，自动估算合理的Vp和Vs模型。
2.Method
- 本节介绍了一种基于深度学习的近地表速度估计方法。与传统方法不同，深度学习方法不再依赖手动估算色散曲线，而是通过数据驱动方式学习色散曲线的代理。方法流程包括将相速度的幅度谱输入增强模块，应用多种变换生成新变体，并结合每个谱点的速度和频率坐标作为网格信息，形成3通道输入。
- 变换后的输入通过CNN骨干网络回归得到Vp和Vs曲线。通过多种输入输出组合训练该深度学习管道，并通过领域自适应模块提升网络的泛化能力，使其能够对未见过的数据进行有效预测。
2.1 Transfer learning
- 本节讨论了迁移学习在深度学习中的应用，尤其是在较小数据集上的泛化能力较差的情况下如何通过迁移学习来改善性能。迁移学习通过将从更复杂任务中学习到的知识转移到新的任务中，帮助网络更好地初始化，并加速优化过程。在地球物理问题中，本文使用了来自ImageNet任务的预训练神经网络权重和偏置，尽管地震数据与自然图像在空间分布上差异显著，但仍值得探索它们的潜在空间是否存在重叠，以及迁移学习是否能为地震数据分析带来帮助。
2.2. Artificial image augmentations
- 本节讨论了人工图像增强技术在深度学习中的应用，尤其是在数据稀缺的情况下，如何通过增强现有图像来增加数据集的规模，从而避免过拟合。所采用的图像增强技术包括：随机裁剪、随机平移、随机膨胀、随机旋转、随机遮蔽
2.2.1 Random cropping
本节介绍了随机裁剪技术，这是一种通过从原始图像中创建随机子集来进行数据增强的方法。输入图像首先被缩放到更大的尺寸，然后随机裁剪出一个与原始图像大小相等的部分。随机裁剪有助于提高模型的泛化能力，特别是在目标物体在图像中未完全可见或在训练数据中以不同尺度出现时。这种方法在传统计算机视觉问题中被证明是有效的。
2.2.2. Random masking
- 在图像中随机添加零值区域，遮蔽部分信息，有助于避免网络在某些区域过拟合，并提高模型的泛化能力。
2.2.3 Artificial image augmentations
- 本节讨论了人工图像增强在深度学习中的应用，尤其是当数据集较小或稀缺时，通过增强现有图像的多样性来增加数据量。数据增强技术通过生成不同版本的图像，帮助深度学习模型提高泛化能力，避免过拟合。本文采用了包括随机裁剪、随机平移、随机膨胀、随机旋转和随机遮蔽在内的增强方法，这些方法能有效地改善模型的学习效果，并加速优化过程，同时确保图像的空间信息得到保留。通过这些增强技术，模型可以在多种不同的输入数据上进行训练，从而提高预测的准确性和稳定性。
2.2.4 Random cropping
- 本节讨论了随机裁剪技术，这是通过从原始图像中创建随机子集来增强数据的一种方法。随机裁剪将图像先放大，然后随机裁剪出与原始图像相同大小的区域。此方法帮助深度学习模型更好地泛化，尤其是在目标物体未完全显示或在不同尺度下出现时。在计算机视觉中，这种方法已被证明有助于提高模型的学习能力，特别是在目标物体的位置不固定或尺寸不一的情况下。
2.2.5 Random masking
- 本节介绍了随机遮蔽技术，它通过向图像中随机添加零值或空白区域来掩盖部分信息，帮助模型避免在特定区域的过拟合，并促使模型有效地使用整个特征空间。对于地震数据，随机遮蔽也起到了去噪的作用，因为只有遵循色散曲线的高振幅值才包含关于地下模型的预测信息，而低振幅值则对速度预测的影响较小。这种技术使得模型能够更好地关注于重要的、高振幅的部分，从而提升预测的准确性。
2.3. Domain adaptation
- 本节讨论了域自适应在深度学习中的应用，尤其是在地球物理学中，训练数据集与实际数据可能存在显著差异的情况下，如何通过领域自适应提高模型对超出分布（OOD）数据的泛化能力。通过引入Vp和Vs的先验范围作为额外输入，p-CNN能够使模型更好地学习相应的输出曲线趋势，并适应不同的数据分布。该方法通过对输出曲线添加随机偏移，避免过于严格地学习每个输入的具体值范围，集中学习输出曲线的整体趋势，从而提升网络对OOD样本的适应性。同时，显式提供输出范围，帮助网络在训练过程中拟合到合理的输出区间。
2.4Synthetic training dataset
- 合成训练数据集的生成过程，该数据集包含7000个地震采集数据和相应的相速度频谱图像。数据是通过2D弹性有限差分模型生成的，基于1D模型，其中的层数和厚度是随机设置的，每一层的Vp和Vs值也是随机生成的，并且在物理范围内进行了合理的扰动。数据集被分为训练集和验证集，其中5600个数据用于模型训练，剩余的1400个用于验证。验证集被随机划分为分布内（ID）和超出分布（OOD）两部分，且ID与OOD样本在Vp/Vs分布上有明显区分。这种数据集设计旨在训练深度学习模型，并测试其在不同数据分布下的泛化能力。
2.5. Evaluation metrics
- 评估深度学习模型性能的两种评估指标：均方误差（MSE）和平均绝对误差（MAE）。MAE衡量模型预测值与真实值之间的平均绝对偏差，MSE则衡量预测误差的平方平均值。对于P波和S波速度，我们分别计算其MAE和MSE，并将两者合并得到总的MAE和MSE评分。这些指标用于衡量模型对P波和S波速度预测的准确性，帮助评估模型的整体性能。
2.6. Implementation details
2.6.1. Model architecture
- 用于深度学习模型的架构，首先采用了编码器类型的残差块序列，后接全连接神经网络。通过使用预训练的ResNet-18架构，取得了更好的性能。残差网络被选为学习高维特征的骨干网络，因其通过跳跃连接有效解决了梯度消失问题。为了适应特定任务，模型将全连接层替换为两个线性层，分别用于预测Vp和Vs，且输入和输出维度为512和50。实验中使用了这种定制的ResNet-18架构，并且为领域自适应模块提供了稍微不同的架构设计。
2.6.2. Domain adaptation architecture
- 域自适应的架构，其中ResNet18仍然作为网络的骨干架构。在添加Vp和Vs的先验知识时，使用了两个元架构。每个元架构包括一个线性层、批归一化层和ReLU激活模块，负责将Vp和Vs的上下限编码为50个神经元。然后，将这两个元架构的输出与CNN骨干网络的输出拼接，并输入到两个线性层中，分别用于预测Vp和Vs。这种结构结合了物理先验知识，帮助模型在超出分布的样本上提高预测准确性。
2.6.3. Training and inference
- 模型的训练和推理过程。在训练过程中，模型使用了预训练的ResNet-18网络，并添加了两个回归头来预测Vp和Vs。为了提高模型在不同数据集上的泛化能力，采用了Adam优化器，并使用了学习率调整策略。对于领域自适应模块，在训练过程中引入了加性噪声和恒定偏移，以增强模型对数据分布变化的适应性。在推理时，则直接使用训练过程中学习到的最小和最大Vp、Vs值范围来保证输入的物理一致性。