#define FileName        Symb.Name()+"_"+EnumToString(TimeFrame)+"_"+StringSubstr(__FILE__,0,StringFind(__FILE__,".",0))

文件名由以下部分组成：

上述所有组件都由下划线分隔。

以下扩展名之一将添加到文件名中：

将创建模型的所有文件保存在终端的 “Files” 目录或 “Common/Files” 中。 在这种情况下，包含文件的目录必须与程序代码中指定的 common 标志匹配。 common 标志的 true 值对应于 “common” 目录。

bool CNet::Load(string file_name, float &error, float &undefine, float &forecast, datetime &time, bool common = true)

现在我们回到智能系统的代码。 在 OnInit 函数中，我们首先初始化处理指标的类。

//+------------------------------------------------------------------+//| Expert initialization function                                   |//+------------------------------------------------------------------+int OnInit()  {//---   if(!Symb.Name(_Symbol))      return INIT_FAILED;   Symb.Refresh();//---   if(!RSI.Create(Symb.Name(), TimeFrame, RSIPeriod, RSIPrice))      return INIT_FAILED;//---   if(!CCI.Create(Symb.Name(), TimeFrame, CCIPeriod, CCIPrice))      return INIT_FAILED;//---   if(!ATR.Create(Symb.Name(), TimeFrame, ATRPeriod))      return INIT_FAILED;//---   if(!MACD.Create(Symb.Name(), TimeFrame, FastPeriod, SlowPeriod, SignalPeriod, MACDPrice))      return INIT_FAILED;

然后我们尝试加载先前准备好的模型。 请注意，我正在从 “Common/Files” 目录加载模型。 这种方式允许我能在策略测试器和实时使用 EA 时无需更改。 这是因为当 EA 在策略测试器中启动时，它不会访问终端的 “Files” 目录。 出于安全原因，策略测试器为每个测试代理者创建“自己的沙箱”。 不过，每个代理者都可以访问共享文件资源，即 “Common/Files” 目录。

//---   if(!StudyNet.Load(FileName + ".icm", true))      if(!StudyNet.Load(FileName + ".nnw", FileName + ".fwd", FileName + ".inv", 6, true))        {

如果无法加载预先训练的模型，我们会为所用模型架构创建描述。 我把这个子过程在一个单独的 CreateDescriptions 方法中实现。 在此，我们调用它，并检查操作的结果。 如果失败，我们将删除不必要的对象，并以 INIT_FAILED 结果退出 EA 初始化函数。

         CArrayObj *model = new CArrayObj();         CArrayObj *forward = new CArrayObj();         CArrayObj *inverse = new CArrayObj();         if(!CreateDescriptions(model, forward, inverse))           {            delete model;            delete forward;            delete inverse;            return INIT_FAILED;           }

成功创建所有三个所需模型的描述后，我们调用模型创建方法。 确定检查操作执行结果。

         if(!StudyNet.Create(model, forward, inverse))           {            delete model;            delete forward;            delete inverse;            return INIT_FAILED;           }         StudyNet.SetStateEmbedingLayer(6);         delete model;         delete forward;         delete inverse;        }

接下来，我们依据编码器结果指定我们正在训练模型的神经层，并把不再需要的已创建模型架构描述对象删除。

在下一步中，我们将模型切换到训练模式，并指定体验回放缓冲区的大小。

   if(!StudyNet.TrainMode(true))      return INIT_FAILED;   StudyNet.SetBufferSize(Batch, 10 * Batch);

我们设置指标缓冲区的大小。

//---   CBufferFloat* temp;   if(!StudyNet.GetLayerOutput(0, temp))      return INIT_FAILED;   HistoryBars = (temp.Total() - 9) / 12;   delete temp;   if(!RSI.BufferResize(HistoryBars) || !CCI.BufferResize(HistoryBars) ||      !ATR.BufferResize(HistoryBars) || !MACD.BufferResize(HistoryBars))     {      PrintFormat("%s -> %d", __FUNCTION__, __LINE__);      return INIT_FAILED;     }

指定交易操作执行类型。

//---   if(!Trade.SetTypeFillingBySymbol(Symb.Name()))      return INIT_FAILED;//---   return(INIT_SUCCEEDED);  }

这样就完成了 EA 初始化方法。 现在我们转到 CreateDescriptions 方法，该方法创建模型体系结构的描述。

bool CreateDescriptions(CArrayObj *Description, CArrayObj *Forward, CArrayObj *Inverse)  {

在参数中，该方法接收指向三个动态数组的指针，以便写入三个模型的体系结构：

在方法主体中，我们立即检查收到的指针。 如有必要，我们会创建新的对象实例。

//---   if(!Description)     {      Description = new CArrayObj();      if(!Description)         return false;     }//---   if(!Forward)     {      Forward = new CArrayObj();      if(!Forward)         return false;     }//---   if(!Inverse)     {      Inverse = new CArrayObj();      if(!Inverse)         return false;     }

我们再次控制操作执行过程。 如果失败的话，我们在完成该方法时返回 False 结果。

成功创建必要的对象后，我们移入下一个子过程，在其中我们描述正在创建的模型的体系结构。 我们从训练模型架构开始。 我们清除动态数组以便写入模型架构的描述，并准备一个变量来写入指向一个神经层描述对象 ClayerDescription 的指针。

//--- Model   Description.Clear();   CLayerDescription *descr;

像往常一样，我们首先创建源数据的神经层。 作为输入数据层，我们将使用没有激活函数的全连接神经层。 我们指定神经层的大小等于传输到模型的值的数量。 请注意，为了描述每个历史数据烛条，我们传输 12 个值。 这些是烛台的描述和所分析指标的值。 此外，我们还传递账户状态和持仓量。 这又增加了 9 个值。

神经层描述算法将针对每个神经层重复。 它由三个步骤组成。 首先，我们创建神经层描述对象的新实例。 不要忘记检查操作结果，因为如果在创建新对象时出错，我们可能会在访问不存在的对象时遇到严重错误。

接下来，我们设置神经层的描述。 在此，指定参数的数量因神经层的类型而异。 对于输入数据层，我们指定神经层类型、神经层中的元素数量、参数优化类型和激活函数。

在指定了神经层的所有必要参数后，我们把指向神经层描述对象的指针添加到模型架构描述的动态数组之中。

//--- Input layer   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronBaseOCL;   int prev_count = descr.count = HistoryBars * 12 * 9;   descr.window = 0;   descr.activation = None;   descr.optimization = ADAM;   if(!Description.Add(descr))     {      delete descr;      return false;     }

根据我在训练神经网络方面的经验，使用归一化的初始数据时，学习过程更加稳定。 为了在训练和使用期间规范化数据，我们将使用批量规范化层。 我们将在源数据层之后立即创建它。

此处，我们再次创建神经层描述对象的新实例，并检查操作的结果。 接下来，指定要创建的神经层的类型 - defNeuronBatchNormOCL，即前一个神经层大小级别的元素数， 和规范化批量大小。 之后，我们将指向神经层描述对象的指针添加到模型架构描述的动态数组之中。

//--- layer 1   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronBatchNormOCL;   descr.count = prev_count;   descr.batch = 1000;   descr.activation = None;   descr.optimization = ADAM;   if(!Description.Add(descr))     {      delete descr;      return false;     }

规范化数据后，我们将创建一个预处理模块。 在此，我们将采用卷积神经层来查找源数据中形态。

和以前一样，我们创建一个新的 ClayerDescription 神经层描述对象实例，指定 defNeuronConvOCL 神经层类型，指定分析数据的窗口等于 3 个元素，并将数据窗口步长设置为 1。 采用这些参数，一个过滤器中的元素数量将比前一层的尺寸少 2 个。 为了最大限度地发挥潜力，我在这个神经层中创建了 16 个过滤器。 似乎过滤器太多，但我想令模型尽可能灵活。 我采用 LeakReLU 作为激活函数。 为了优化参数，我们将使用 Adam。

//--- layer 2   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronConvOCL;   descr.count = prev_count - 2;   descr.window = 3;   descr.step = 1;   descr.window_out = 16;   descr.activation = LReLU;   descr.optimization = ADAM;   if(!Description.Add(descr))     {      delete descr;      return false;     }

下一步不是标准的。 在卷积层之后，我们通常使用子采样层进行降维。 但这次我们操控时间序列。 除了值之外，我们还需要跟踪要素变化动态。 为此，我决定进行一个实验，并在卷积层之后使用 LSTM 模块。 当然，它的尺寸会小于卷积层的输出。 但是由于递归模块的架构，我们希望得到降维，就要考虑到系统的先前状态。

//--- layer 3   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronLSTMOCL;   descr.count = 300;   descr.optimization = ADAM;   if(!Description.Add(descr))     {      delete descr;      return false;     }

为了揭示更复杂的结构，我们将重复卷积和递归神经层模块。

//--- layer 4   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronConvOCL;   descr.count = 100;   descr.window = 3;   descr.step = 3;   descr.window_out = 10;   descr.activation = LReLU;   descr.optimization = ADAM;   if(!Description.Add(descr))     {      delete descr;      return false;     }//--- layer 5   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronLSTMOCL;   descr.count = 100;   descr.optimization = ADAM;   if(!Description.Add(descr))     {      delete descr;      return false;     }

接下来，我们移步讨论训练模型的关系模块。 在此，我们将使用来自多层多目击者自

不要把模型输入输入处描述一根烛条的符号数量，与关系模块混淆。 由于关系模块之前是由卷积和递归神经层执行的数据预处理。

Keys 矢量大小将等于 16。 目击者数量将等于 64。 与卷积神经网络的过滤器类似，我指示更多的目击者，以便全面分析当前的市场情况。

我们将创建四个这样的层。 但是我们不会将这个神经层描述保存四次。 取而代之，我们将 layers 参数设置为等于 4。

与之前的所有情况一样，我们将使用 Adam 方法来优化参数。 在这种情况下，我们不指定激活函数，因为所有激活函数都由神经层构造算法指示。

//--- layer 6   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronMLMHAttentionOCL;   descr.count = 20;   descr.window = 5;   descr.step = 64;   descr.window_out = 16;   descr.layers = 4;   descr.optimization = ADAM;   if(!Description.Add(descr))     {      delete descr;      return false;     }

为了完成模型架构的描述，我们需要指出完全参数化的分位数函数的层。 在该神经层的描述中，我们仅指出神经层类型 defNeuronFQF、动作空间、分位数和参数优化方法。

//--- layer 7   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronFQF;   descr.count = 4;   descr.window_out = 32;   descr.optimization = ADAM;   if(!Description.Add(descr))     {      delete descr;      return false;     }

与描述训练模型的体系结构相关的子过程至此结束。 现在我们需要正向和逆向模型。 我们将采用上一篇文章中的架构。 为了令智能系统正常工作，我们需要将它们的描述添加到我们的方法之中。 描述子过程与上述过程相同。

首先，我们清除前向模型架构描述的动态数组。 然后我们添加源数据神经层。 对于前向模型，输入数据层的大小等于主模型编码器输出的级联向量大小，以及可能的代理者操作空间。

//--- Forward   Forward.Clear();//--- Input layer   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronBaseOCL;   descr.count = 104;   descr.window = 0;   descr.activation = None;   descr.optimization = ADAM;   if(!Forward.Add(descr))     {      delete descr;      return false;     }

接下来是具有 LReLU 激活函数和 Adam 优化方法的 500 个元素的完全连接的神经层。

//--- layer 1   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronBaseOCL;   descr.count = 500;   descr.activation = LReLU;   descr.optimization = ADAM;   if(!Forward.Add(descr))     {      delete descr;      return false;     }

在 Forward 模块的输出端，我们期望在模型编码器输出端获得下一个状态。 因此，该模型由一个完全连接的神经层完成，其中神经元的数量等于模型编码器输出处的向量大小。 不使用激活函数。 同样，我们利用 Adam 作为参数优化方法。

//--- layer 2   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronBaseOCL;   descr.count = 100;   descr.activation = None;   descr.optimization = ADAM;   if(!Forward.Add(descr))     {      delete descr;      return false;     }

逆模型构造方法与此类似。 唯一的区别是我们将两个后续状态的级联向量馈送到这个模块当中。 因此，源数据层的大小是模型编码器输出大小的两倍。

//--- Inverse   Inverse.Clear();//--- Input layer   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronBaseOCL;   descr.count = 200;   descr.window = 0;   descr.activation = None;   descr.optimization = ADAM;   if(!Inverse.Add(descr))     {      delete descr;      return false;     }

第二个神经层与前向模型的神经层相同。

//--- layer 1   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronBaseOCL;   descr.count = 500;   descr.activation = LReLU;   descr.optimization = ADAM;   if(!Inverse.Add(descr))     {      delete descr;      return false;     }

我们期望在逆模型的输出端采取动作。 因此，下一个神经层的大小等于可能的代理者动作的空间。 此层不使用激活功能。 我们用下一个 Softmax 层替代。

//--- layer 2   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronBaseOCL;   descr.count = 4;   descr.activation = None;   descr.optimization = ADAM;   if(!Inverse.Add(descr))     {      delete descr;      return false;     }//--- layer 3   if(!(descr = new CLayerDescription()))      return false;   descr.type = defNeuronSoftMaxOCL;   descr.count = 4;   descr.step = 1;   descr.activation = None;   descr.optimization = ADAM;   if(!Inverse.Add(descr))     {      delete descr;      return false;     }//---   return true;  }

其余的 EA 代码与我们在上一篇文章中研究的相同。 附件中提供了完整的 EA 代码，以及所有用到的函数库。

3. 测试

该模型在策略测试器中采用 EURUSD 历史数据进行训练和测试，时间帧为 H1。 指标采用默认参数。

模型训练显示策略测试器中的余额增长。 虽然平均每 2 笔盈利交易就有 2 笔亏损交易，但盈利交易的份额为 53.7%。 总的来说，我们看到余额和净值图表的增长相当均匀，因为平均盈利交易比平均亏损交易高 12.5%。 盈利因子为 1.31，恢复因子为 2.85。

结束语

在本文中，我们熟悉了强化学习领域的关系方式。 我们在模型中添加了一个关系模块，并使用内在好奇心模块对其进行了训练。 试验结果验证了该方法在模型训练中的可行性。 这些模型可以用于创建可盈利 EA 的基础。

尽管所呈现的 EA 可以执行交易操作，但它尚未准备好在真实交易中运用。 该 EA 仅用于评估目的。 在实盘运用之前，需要在所有可能的条件下进行细致改进和全面测试。

参考文献列表

通过共同学习对齐和翻译的神经机器翻译基于

本文中用到的程序

#

名称

类型

说明

1

RRL-learning.mq5

智能交易系统

模型训练 EA

2

ICM.mqh

类库

模型规划类库

3

NeuroNet.mqh

类库

用于创建神经网络的类库

4

NeuroNet.cl

代码库

OpenCL 程序代码库