学习型行业：基础知识驱动的行业重新分类项目

观测数据集C=X∪ YLet N=| A |+| X |+| Y |，其中|α|=基数（α）单连杆：dSLINK（A，B）=最小距离（A，B） {a，b:a∈ A、 b类∈ B} 完整悬挂机构：dCLINK（A，B）=最大距离（A，B） {a，b:a∈ A、 b类∈ B} 平均连锁：dALC（A，B）=| A |·| B | Xa∈常闭触头∈Bdist（a，b）Ward（方差最小化）链接：dWARD（C，a）=r | a |+| X | NdWARD（a，X）+a |+| Y | NdWARD（a，Y）-|A | NdWARD（X，Y）6.2无监督学习方法图6.1：样本层次聚类模型结果的树状图。根据RG-1（见第2.2节），我们寻求创建一个完全客观的分类启发式。从逻辑上讲，这意味着我们在设计分类启发式时使用了一种完全非参数的方法。然而，如上所述，HCA算法通过距离度量和链接方法（以及扇区数量的后验选择）进行参数化。为了解决学习方法的半监督性质，我们选择利用HCA来构建潜在候选行业领域的搜索空间。接下来，我们将讨论我们的第二个研究目标RG-2，将这些候选行业大学相互排名，以确定最佳的学习行业分类。请注意，此搜索空间生成会改变HCA模型的扇区计数和链接方法参数，但不会改变距离度量。这是因为我们希望保持我们输入数据的美元价值所隐含的财富大小的单调和几何差异。图6.1是根据模型输入数据子集生成的样本HCA模型的树状图。尽管模型训练的时间复杂度非常高，但HCA模型能够从HCA模型中提取不同算法的行业分类，因而发展迅速。

它以恒定的时间复杂度执行此操作的能力大大增强了我们生成候选学习扇区宇宙的大搜索空间的能力。Sibson 1973 Defays 1977 Seifoddini 1989Ward等人196314 FE 800-特殊研究问题SITWeerawarana，Zhu，他学习了第6章。层次聚类模型6.3学习扇区宇宙搜索空间图6.2：候选学习扇区部分搜索空间可视化。为了构建候选人学习的行业分类的综合搜索空间，我们使用每种链接方法生成参数化的HCAModel，然后为不同数量的行业隔离行业分类。具体而言，我们改变了搜索空间宇宙中的扇区数量，对于四种linkagemethods中的每一种，N={5，6，…，19}，总共有60个候选学习扇区宇宙。我们的搜索空间的子集如图6.2所示。HCA模型是使用第4节中讨论的模型输入数据迭代生成的。我们利用Scikit Learns中内置的层次结构聚类模块生成模型，并将其保存在特殊格式的CSV文件中（可在reIndexer网站上公开），以供稍后由我们开发的排名系统接收，以确定最佳学习行业分类范围。Pedregosa et al.2011Weerawarana 2019SIT FE 800-特殊研究问题15第7章。候选领域排名学习部门Weerawarana，Zhu，HeChapter 7候选领域排名成功推导出客观部门分类启发式（解决RG-1）后，下一步是推导出一种方法，对我们的部门进行相互排名，以隔离最佳部门，而不必对选择施加任何主观标准。

因此，本节开始讨论解决第二个研究目标RG-2（见第2.2节）：RG-2使用完全客观的标准对候选行业进行排名。7.1样本学习的扇区范围图7.1：样本学习的扇区范围-病房链接；2010年数据；10个部门。为了更好地激励我们在比较和排名候选行业时决定使用的方法，值得讨论一个示例。图7.1是一个Sankey图，通过与基准的比较，代表了我们搜索空间中不同公司新学到的行业分配。图的左侧表示原始基准部门及其组成资产，而右侧表示相同资产的新学习部门分配。如图所示，当比较基准部门和学习部门时，跨部门的公司似乎存在显著的暂时性行为。此外，两个扇区之间似乎也存在大量的混合，在扇区宇宙之间似乎保留了非常少的扇区。这意味着基准分类和学习型部门宇宙启发式之间缺乏一致性。在本例中，唯一可以被视为与基准部门极为相似的部门是从部门Alpha到基准部门财务。然而，其他部门在将其基准部门与新的learnedsector宇宙进行比较时，似乎基本上是分散的。这方面特别引人注目的例子包括基准部门医疗保健、信息技术和非必需消费品。由于我们的分类启发式的基本原理驱动性质，该结果并非完全是16 FE 800-特殊研究问题SITWeerawarana，Zhu，他学习了第7章。

候选宇宙令人惊讶；在学术界最分散的基准部门是那些与常规业务越来越不可分割的部门，而不管是哪个部门；尤其是信息技术。如本节中的一个示例所示，基准部门分类和学习部门分类之间几乎没有一致性。这一模式可以在图6.2所示的一组更大的学习领域中观察到，这是学习领域搜索空间的部分可视化。由于这一事实，is很难跨行业进行逐部门分析，作为比较的手段。在没有对比较指标引入显著偏差的情况下，跨宇宙匹配部门存在明显的困难（如图7.1中的示例所示）。此外，OFFACT还提出了另一个问题，即两个给定候选学习领域中的行业数量可能不相同（更不用说给定行业中的组成公司数量），因此完全禁止逐部门分析。为了解决这个问题，我们决定从整体上评估行业领域，然后分析行业级别的指标，以对候选学习行业进行排名。为此，我们开发了reIndexer，这将在下一节中详细讨论。7.2 reIndexer图7.2：reIndexer回溯测试驱动的sectoruniverse评估研究工具。reIndexeris是一种开源研究工具，使用合成ETF（HereafterETF）系统和这些SETF的有效投资组合，对不同行业的宇宙进行回溯测试驱动的评估。

reIndexer的设计和实现是为了解决上一节讨论的问题；也就是说，我们无法进行一个部门一个部门的比较，因此必须在宇宙层次上比较所学的部门。reIndexer基于Quantopian的Zipline-Pythonic算法交易库构建，它与Quantopian的分析工具套件（包括Alphalen和Pyfolio）完全兼容API。虽然这些库没有直接用于本项目，但reIndexer的模块化设计使itan成为一个功能极其强大的平台，在范围和功能上都具有高度的可扩展性。reIndexer的设计假设是，与逐部门分析相比，给定部门化方案的宇宙级统计数据将为跨部门宇宙的比较提供更好的衡量标准。为此，在一个非常高的层次上，它在单一资产交易和构造的SETF（其组成由用户提供）之间提供了一个抽象层次，以模拟和记录这些SETF组合在预先定义的回溯测试窗口中的表现。7.2.1合成ETF公式由于分类启发法规定的资产未在实际市场上交易，因此无法直接从Zipline的引擎获取历史价格。reIndexer通过在portfoliooptimization和资产之间实现一个层来解决这个问题，并维护一个假设的SETF。为了计算有效的投资组合，并从投资组合优化引擎的角度将SETF视为一种独特的资产，所需的只是特定回溯期内给定资产的历史价格链。为此，reIndexer目前实施价格加权合成ETF。

该ETF的pythonic实施基于高度灵活和可复制的tempalte，确保不同类型的ETF（市场加权等）可以轻松实施并与reIndexer一起使用。对于该项目，使用了价格加权SETF，因为Zipliedoes没有其资产范围内某些公司的历史市值数据。价格加权SETF的数学公式概述如下：Weerawarana 2019Quantopian股份有限公司2019cQuantopian股份有限公司2019Quantopian股份有限公司2019bSIT FE 800-特殊研究问题17第7章。候选宇宙排名学习部门Weerawarana，Zhu，HeLet Sα=样本部门中的资产αLet Pα=Sα中的资产价格Let wα=Sα中的资产权重=> wα=PiPPα 圆周率∈ Pα|这种重新计算SETF中组成资产权重的过程称为SETF重组。假设此SETF重构过程在每个时间步骤{rt，rt+1，…，rt+n}发生。此外，在重构过程时间之间还有额外的时间步，{rt+δt，rt+2δt，…，rt+mδt}，例如rt<{rt+δt，…，rt+mδt}≤ rt+1。在每个中间时间步，价格加权SETF的价格将等于在紧接前一个SETF重组时间rt，wα，rt计算的部门资产权重的点积，以及在中间时间步Pα，rt+mδt的组成资产价格。Let∏α，τ=在时间τ时部门SETFα的价格=> πα，τi=wα，rt·Pα，τi τi∈ {rt+δt，rt+2δt，…，rt+mδt}reIndexer提供了一个非常灵活的接口来指定SETF重构触发时间，{rt，rt+1，…，rt+n}。该结构可在当月任何特定周的任何特定日期触发（例如：每月的第三个星期五），或暗示每月的第一个交易日。

此外，如果指定的再平衡日期触发器是与配置的交易日历相关的假日，它还处理智能再平衡滚动。7.2.2有效的投资组合优化在构建SETF之后，reIndexer构建了一个有效的投资组合，将每个SETF视为不同的单一资产。由于我们的项目目标是通过风险分散的角度评估基本面驱动的目标行业分类的好处，reIndexer目前对全球最小方差投资组合进行了回溯测试，不允许卖空。然而，与价格加权SETF类似，该投资组合的pythonic实现在reIndexer源代码中高度通用化，并且可以很容易地重新配置以使用无数不同的投资组合配置。Reindexer提供了检索给定回溯窗口的历史SETF价格矩阵的功能，使用上述公式可以正确计算SETF价格。随后，reIndexer使用特定回溯期内的历史价格计算回报的相关矩阵，然后执行必要的非凸优化，以计算全局最小方差组合中的SETF权重。使用Python库SCIPY中的序列二次规划求解器执行优化。该过程的数学公式概述如下（注意，符号保留在前一节中）：Oliphant 200718 FE 800-特殊研究问题Sitwearawarana，Zhu，他学习了第7章。候选宇宙RankingLetOhm = 候选领域中的一组扇区，Ohm我∈ {Ohm, Ohm, . . .

, Ohmn} Let∏Ohmi=部门SETF的历史对数价格向量OhmiLet∑=SETFsLet历史对数收益协方差矩阵ω=全局最小方差投资组合中SETF权重向量∑=E[（π）Ohm- E[πOhm])] E[（π）Ohm- E[πOhm])(ΠOhm- E[πOhm])] · · · E[（π）Ohm- E[πOhm])(ΠOhmn- E[πOhmn] ）]E[（π）Ohm- E[πOhm])(ΠOhm- E[πOhm])] E[（π）Ohm- E[πOhm])] · · · E[（π）Ohm- E[πOhm])(ΠOhmn- E[πOhmn] ）]。。。。。。。。。。。。E[（π）Ohmn- E[πOhmn] ）（πOhm- E[πOhm])] E[（π）Ohmn- E[πOhmn] ）（πOhm- E[πOhm])] · · · E[（π）Ohmn- E[πOhmn] ）]∴ 全局最小方差投资组合权重通过求解非凸优化来确定：最小化ωω|，∑ω服从1 |·ω=1ωi≥ 0 ωi∈ ω重新计算投资组合中SETF权重的过程称为投资组合再平衡。与SETF重组过程类似，投资组合重新规划过程也在离散的、用户指定的时间间隔内进行。此外，与重组过程一样，前面时间步的投资组合权重用于计算每个中间时间步的投资组合价值。该计算概述如下：Letωτ=时间τLetπ的SETF投资组合权重Ohm,τ=部门范围下的投资组合价值Ohm 时间τ=>  {i，j，τ}：{{i∈ Ohm}; {j∈ Si}；{rt<τ≤ rt+mδt<rt+1}∴ πOhm,τ= ΠOhm· ω=Xi∈OhmΠOhmi、 τ·ωi，τ=Xi∈Ohmwi，τ·Pi，τ·ωi，τ=Xi∈OhmXj公司∈Siwj、τ·Pj、τ·ωi、τ除了投资组合价值外，还记录了每个时间步的其他指标。其中包括未平仓、夏普拉蒂奥、信息比率和无数其他投资组合统计数据。在这个项目中，我们没有利用Zipline提供的全部统计数据（总共超过30个单独的统计数据），但我们保持了生成这些统计数据的能力，以便将来扩展reIndexer，并保持API与Quantopian分析工具套件的兼容性。SIT FE 800-特殊研究问题19第7章。

候选宇宙排名学习部门Weerawarana，Zhu，He7.2.3软件架构概述在本节中，我们描述reIndexer的软件架构。图7.3是系统的架构图，描述了系统的逻辑流程，从左侧的单个资产统计数据到右侧的拉链发动机执行的最终交易。图7.3:reIndexer架构概览图。如图所示，SETF是从左侧的裸资产统计数据构建的，并被视为单一资产。在计算SETF历史价格链（如上所述）后，通过求解非凸优化（如上所述）计算全局最小方差投资组合（无卖空）。这些不同的投资组合价值决定因素的计算时间间隔、SETF中的资产权重和投资组合中的SETF权重都是以离散的、用户可配置的时间间隔计算的，不必同时计算。这种行为允许高度准确地复制真实市场，因为大多数流行的ETF在每个月的第三个星期五重新平衡，而散户投资者的投资组合通常在每个月的第一个交易日重新平衡。此外，Zipline还为每项资产维护完整的历史订单簿，从而在下大订单时提供真实的价格漂移效应。执行两次计算后，单个交易将传递到系统的Zipline层（突出显示inred）。这些交易仅在SETF重组（即w更新）或投资组合再平衡（即ω更新）之日执行。

这为我们提供了显著的性能提升，因为Zipline经过优化，可以在不需要执行交易的情况下极快地记录历史portfolioperformance。由于Zipline看不到单独的SETF（它们由reIndexer内部维护），因此在执行交易时，有必要计算给定资产的单独权重。由于SETF投资组合可以被视为资产权重总和为1的投资组合，因此较大的SETF投资组合中的单个资产的权重只是其在SETF中的权重与全球最小方差投资组合中的SETF权重的乘积。该计算概述如下：LetΘ=模拟中所有资产的集合Let wi（θ）=SETF iLet中资产θ的权重ω（θ，i）=全局最小方差组合中SETF i的权重γθ=较大Zipline组合中资产θ的真实权重∴ γθ=wi（θ）·ω（θ，i） {θ，i}：{{θ∈ Θ}; {i∈ Ohm}}20 FE 800-特殊研究问题SITWeerawarana，Zhu，他学习了第7章。候选领域排名7.3绩效评估指标为了全面解决RG-2（见第2.2节），我们选择了一组客观标准，以记录每个候选领域在每次回溯测试期间的情况。选择这些指标是为了评估learnedsector universe SETF投资组合的特定但不同的属性，并将独立进行评估，以确定每个指标的最佳learned sector universe。7.3.1 SETF重组周转如上所述，SETF事件是对合成ETF中组成资产权重的重新计算，是用户可配置的触发事件。在当今的金融市场中，部门ETF通常由金融机构创建和出售。