样本内数据和样本外数据(旁观者清晰:基于样本外数据的优化算法)

旁观者清:样本内数据和样本外数据

基于样本外数据的优化算法

本文提出了一种优化算法。基于马科维茨提出的投资组合理论，作者结合平均回归和经验贝叶斯方法，学习样本外误差，建立投资组合，提高预测准确性，减少预期误差，降低风险。由于高尔顿首次提出了平均回归的概念，作者将该方法命名为高尔顿策略。

本文将按以下顺序介绍高尔顿策略：样本内数据和样本外数据

1.简要介绍投资组合理论和平均回归，介绍作者如何使用经验贝叶斯模型，如何纠正参数2.如何构建基于高尔顿战略的投资组合。3.高尔顿战略的优势。4.战略表现出色的原因。

由于高尔顿战略是基于投资组合理论，将理论与平均回归和经验贝叶斯方法相结合，本章将首先总结投资组合理论、平均回归和经验贝叶斯方法，介绍作者对这些理论的应用，并解释参数的修正。

1952年，马科维茨首次提出投资组合理论（PortfolioTheory)，并进行了系统和深入的研究。马科维茨的投资组合理论假设我们知道每种资产的预期收益率（可以通过历史数据估算）、方差和两种资产之间的协差，那么我们可以利用马科维茨投资组合理论计算有效边际，给出最佳风险资产投资组合收益率、方差，以及每个风险资产在总风险投资组合中的比例。

均值-方差(mean-variance)最佳风险投资组合的相对权重向量为：样本内数据和样本外数据

其中为N×1平均收益向量为11×N的1矩阵向量。N资产总数，∑协方差矩阵。

在本文中，作者选择分别使用和表示上述插值替换方法和标准马科维茨方法。t时N资产的收益向量记录为，历史估计值为和。

均值回归是指股票价格、房产价格等社会现象、自然现象（气温、降水），无论高于或低于价值中枢（或均值）都会以很高的概率向价值中枢回归的趋势。根据这个理论，一种上涨或者下跌的趋势不管其延续的时间多长都不能永远持续下去。

因此，作者认为，由于股价也存在平均回报现象，未来的股票收益率可能与过去的股票收益率有负相关，未来的收益率协议矩阵与当前的协议差异不是1：1对应的。仅根据投资组合理论，利用历史数据计算资产预期收益率可能会给未来的预测带来误差。

基于以上观点，作者希望优化马科维茨投资组合理论的输入部分，使其输入部分不会受到平均回报的干扰。

图1：基于标准马科维茨投资组合模型，作者分析了历史数据与样本外数据之间的关系，绘制了历史股票之间的协方差、相关性和样本外股票之间的协方差和相关性。根据作者最初的假设，两者应该是正相关的，斜率应该接近1（因为过去的股票组合表现良好，未来更有可能表现良好）。如图1所示，我们可以发现过去的协方差和相关性基本上与未来的协方差和相关性呈正相关，但在样本外的收入预测中，两者呈负相关性1.2一致的判断。历史表现较好的数据在样本外表现不一定优异。

因此，作者希望根据过去数据集的样本外误差优化输入，提高模型的准确性，使其在样本外表现良好。

高尔顿战略对平均回报的预测如下：基于回归的历史估计，将平均历史回报()乘以斜率系数，并添加常数，以确保样本中的历史平均值与样本外的平均值相匹配：

由于贝叶斯模型介绍过于繁琐，这里我就省略了，感兴趣的读者可以自行查阅。

正如在1.3作者希望优化马科维茨提出的投资组合理论的输入部分，以提高未来资产平均收益率和协议差矩阵预测的准确性，从而达到提高模型准确性的目的。因此，作者不同于标准马科维茨的假设。作者根据平均回报和插入方法构建了经验贝叶斯模型，并优化了替换投资组合理论中的输入部分。

对于经验贝叶斯模型来说，最重要的是经验贝叶斯的后验和收缩估计。

在某些情况下，我们可能不知道投资组合理论中的平均值和协议差矩阵。在贝叶斯模型的设置中，我们可以利用这些输入的后验值作为输入值来解决优化问题，然后构建投资组合。

本文采用共轭先验获得后验的封闭解。同时，作者还提出了一种不通过封闭的分析表达式计算后验的方法，作者直接从数据中估计收缩参数。因为中心极限定理证明了可以使用正态分布作为先验和后验的近似值。作者采用正态分布进行近似平均值、方差、协议差和相关性的后验分布。经过实证测试，结果表明，在优化投资组合时，正态近似的近似误差往往表现良好。

经验贝叶斯模型可以在获得正态近似值后建立。考虑到两步高斯模型可以包括所有矩：平均值、方差、方差和相关性，作者选择在这里使用两步高斯模型。假设这些矩是由两步高斯模型产生的向量：

通过平均向量和协方差矩阵的多正态分布来计算。

如果和已知，可以通过Stein收缩获得预期向量的贝叶斯后验，然后获得历史

其中。经验表明，贝叶斯模型将收缩系数限制在0到1之间，这种收缩可以提高模型的性能。

在给定数据的情况下，结合平均回报，贝叶斯后验可以将历史估计缩小到其整体平均值，然后确定横截面方差。这可以减少估计误差引起的方差。

相比之下，传统的贝叶斯经验方法从数据中估计这些参数（和），然后将参数估计和整体平均值添加到后验中，以获得估计的后验平均值。本文的作者没有通过收缩过度参与来估计，而是使用历史数据来直接收缩，理论上可以更好地优化投资组合的输入。

作者还提出了构建高尔顿投资组合的基本假设：所有资产投资组合的最佳输入相等，所有资产具有相同的平均值、方差、协议差和相关性。由于没有比其他资产更有吸引力的资产，最佳投资组合是构建的，所有资产的比例都是。

如果数据支持这个假设，那么所有的最优输入都会向“”收敛，这样会大幅度降低均方预测误差值。

根据平均值、波动性、协方差或相关性，作者将资产的高尔顿预测分别记录为和G象征高尔顿。高尔顿相关矩阵改写修正后，对角线为1。同样，作者也可以计算N×1高尔顿波动性向量和平均收益向量。修正后的协方差矩阵为：

作者利用这些预测方法重新优化了马科维茨的基本输入。高尔顿均值-方差(MV)投资组合的权重更新为：

类似地，作者将施工方法应用于全球，用全球平均值取代历史平均值，以减少估计误差引起的方差。高尔顿全球最小方差(GMV)投资组合的权重为：

作者提出的方法限制了[文章1.3部分，其中t相关系数的总平均值。因此，高尔顿相关系数矩阵是

对于资产i利润相关的的个体变量（例如方差，相关系数或收益均值），令表示其在时间t,通过H计算观测到的滚动窗口的历史估计。E月窗值。本文的基准是H=60，E=12。构建线性模型的作者：

接下来，作者考虑了整体回归模型：

其中，为t时刻样本中可用的股票对中的股票的数量。

接下来，作者最小化期望平均预测误差，从最小二乘回归线估计：

之后作者使用Fama-MacBeth回归，通过考虑错误横截面的相关性，降低预测风险，然后优化和估计，减少估计值异常。

对于样本中的时间段，作者进行了横截面回归：

其中fm表示Fama-MacBeth回归，通过Fama-MacBeth回归估计和记为和。

这些高尔顿个体变量不断从数据中学习，优化估值，然后构成投资组合优化输入的高尔顿预测策略：

作者用于优化构建投资组合的数据集来自CRSP数据库记录了美国所有相关股票的月收入。作者将1962年1月至2016年12月的标准资产定价样本作为评估期。作者以60个月为窗口，所以1967年1月第一次7年1月。学习期为108个月，下一个窗口为12个月，即H=60,L=120,E=12，起始周期为193个月。

表1显示了基于历史估值的协方差、相关性、方差和平均收入FamaandMacBeth回归的结果。

表1：回归结果表1显示了基于历史估计值对样本以外未来数据的回归结果。从表中我们可以发现，高尔顿战略对微型股的反应并不明显，A表与B表差不大。对于协议差异、相关性和方差，高尔顿战略优化后的输入具有一定的预测能力，一组股票之间未来相关性的最佳估计值在同一组股票之间的过去相关性和所有股票之间的平均相关性之间。对于平均收益，系数为负，表明光使用过去收益进行预测的能力相对较差。

通过高尔顿策略，我们可以得到很多优化的想法，比如在有估计误差的情况下进行优化，了解估计误差对预期样本外表现的影响，然后优化模型，改变投资组合，使未来表现更好，最小化误差。

此外，虽然作者提出的高尔顿策略并不能取代现有的估计师，但高尔顿策略具有其独特的灵活性和特殊性，可以为现有的模型提供新的想法和补充。例如，在贝叶斯模型中常用的特定参数或James-Stein为了获得一些特定的参数，估计量(收缩估计量)。

例如，作者结合各种模型的想法，利用收缩估计来获得平均收益估计

这种收缩估计量由N×1向量样本平均收益的加权平均值

该策略还有其他优管理、交易成本管理等其他优的估计，可用于风险管理、交易成本管理等其他目的

表2显示了美国市场上50只市场规模最大的股票的平均方差投资组合的样本。在10个优化投资组合中，4个投资组合的夏普比率为负。在所有方法中，高尔顿策略表现最好，标准马科维茨方法表现最差。

作者还发现，排除微型股可以更好地降低高尔顿收缩系数中的噪声，提高其准确性。

这也表明，利用高尔顿战略优化输入，然后将优化值替换为投资组合理论，往往可以取得优异的表现。这也反映了高尔顿战略在预测方面的优势。

前一节显示，高尔顿战略的表现明显优于其他方法。在本节中，作者想讨论这种优化的来源，并讨论该方法对平均值、方差、相关性和协议方差的敏感性。

为了更好地讨论不同类型的以便更好地讨论不同类型的性能，讨论了高尔顿模型的出色表现来自哪个参数的收缩优化。

表3显示了各种估计值收缩的结果3（A）行数据的第一部分是保持协方差矩阵不变，收缩平均值。对于所有行数据，四种高尔顿策略都有更好的夏普比率。对于所有协方差矩阵，高尔顿平均收缩优于其他方法。对于列数据，似乎并不能证明高尔顿协方差策略会比其他策略更好。

为了验证协方差矩阵收缩本身，作者绘制了表格3（B），协方差矩阵的重要性在于表3（B）更明显。高尔顿协方差更有可能提供更接近样本以外的方差估计。从表中我们还可以看出，结合高尔顿战略的理念可以提高其他投资组合的表现。