利用大模型预测股票的方法 _模型

翻译整理自：arxiv 2306.11025.pdf
概述
本文提出了一项利用大语言模型(LLMs)出色的知识和推理能力进行可解释金融时间序列预测的新研究。将机器学习模型应用于金融时间序列带来了几个挑战，包括跨序列推理和推理的困难，从历史新闻、金融知识图谱等纳入多模态信号的障碍，以及解释和解释模型结果的问题。本文以纳斯达克-100股票为研究对象，利用公开可获取的历史股价数据、公司元数据和历史经济/金融新闻。我们进行了实验，以说明 LLMs在为上述挑战提供统一解决方案方面的潜力。我们的实验包括尝试使用GPT-4进行零射击/少射击推理，以及使用公共LLM模型Open LLaMA进行基于指令的微调。证明了所提出方法的性能优于一些基线，包括广泛应用的经典ARMA-GARCH模型和梯度提升树模型。通过性能比较结果和一些例子，我们发现LLM可以通过对文本新闻和价格时间序列的信息进行推理并提取见解、利用交叉序列信息以及利用嵌入 LLM中的固有知识来做出深思熟虑的决策。此外，我们表明，公开可用的LLM，如Open-LLaMA，经过微调后，可以理解指令，生成可解释的预测并达到合理的性能，尽管与GPT-4相比相对较差。
方法
在本研究中，我们将重点放在-100股票价格时间序列上，辅以有关股票公司的元数据和有关特定股票和更广泛的金融/经济格局的相关金融新闻数据。我们主要关注的是预测每周/每月的股票收益(定义为股票价格从一周/月的开始到结束的百分比变化)，并附带解释。这个重点与大型语言模型(法学硕士)的专业知识非常一致。我们展示了法学硕士的结构化提示设计，并将最先进的GPT4模型[44]应用于零弹和少弹推理任务。为了进行微调，我们使用公开可用的Open LLaMA[18] 。我们还采用了思维链(Chain of , COT)技术[38,64]，在其他研究中发现该技术可以提高法学硕士的有效性。
数据
1.我们从Yahoo 使用包(///)下载每日-100股票价格数据。在本文中，我们首先将数字价格时间序列归一化为百分比变化时间序列，然后将百分比变化分类到不同的区间。例如，对于每周预测，我们将本周与上周之间的价格变化分为12个区间：“D5+”，“D5”，“D4”，“D3”，“D2”，“D1”，“U1”，“U2”，“U3”，“U4”，“U5”，“U5+”，其中“D5+”表示价格下降超过5%，“D i”（i=5,4,3,2,1）表示价格下降在(i-1)%到i%之间，“U5+”表示价格上涨超过5%，“U i”（i=1,2,3,4,5）表示价格上涨在(i-1)%到i%之间。不同粒度的推断可能会有不同数量的区间。例如，对于月度推断，我们允许i最大到10，并有相应的“D10+”和“U10+”类别。
2. 公司简介数据。我们使用GTP-4来生成公司描述，一般可能影响公司股票价格的正面/负面因素。
3. 经新闻数据。我们使用谷歌自定义搜索API来获取每周 -100股票的前5名新闻故事。之后，我们使用GPT-4生成摘要，并从每篇获得的新闻文章中提取关键字。
基于zero-shot和few-shot

文章插图
在zero-shot和few-shot推理中，法学硕士展示了它们在没有任何额外示例(zero-shot)或基于原始训练集之外的最小示例数()的情况下生成响应的能力。在我们的零样本/少样本推理实验中，我们利用了基于指令的提示。
在图4中，包括指令、公司简介、历史时间新闻摘要/关键词序列与分类的股票价格时间序列混合在一起，以及跨序列的少样本学习示例。
为了避免提示文本中不必要的重复，我们有意提供与感兴趣主题相似的股票的少样本学习示例。这个设计也帮助我们证明了LLM可以考虑来自各种股票的跨序列信息。为了识别相似的股票，我们用一个问题来查询GPT-4，如“列出纳斯达克最相似的3只股票” 。一个典型的回答，如“MSFT, GOOGL, AMZN”，展示了LLM对金融实体和概念之间关系的理解。通过聘请LLM，我们隐含地利用了其在金融实体和概念方面的广泛知识。