利用大模型预测股票的方法( 二 ) _模型

提示结构和指示已经根据经验进行了调整。例如，我们将指令分为两部分，将它们定位在提示的开头和结尾，这有助于模型更好地识别其任务:预测下周的摘要和关键词，而不是总结历史数据。预测的摘要和关键词作为相应的股票收益预测的解释。
我们还尝试了思维链的方法[38,64,71]，即“分步思考”的想法，通过在提示的最后附加“你能在最终确定输出之前一步一步推理吗?”令我们惊讶的是，这明显提高了几个点的性能(见第4.2节) 。
图5说明了响应图4的逐步思考过程的结果，其中很明显，当生成明确的推理步骤时，GPT-4确定了以前被忽视的关于“收益报告”的关键点。
基于指令的微调与Open LLaMA
我们使用Open LLaMA 13B模型执行基于指令的微调，以查看与GPT-4相比，公开可用的模型的性能如何，特别是在微调之后。Open LLaMA 13B模型在其零射击推理中，通常倾向于复制提示的部分内容，而不是有效地执行提示中的指令。因此，如果不经历一个微调过程，它就无法正确地处理图4所示的基于指令的提示。因此，本文的重点是利用Open LLaMA模型进行微调。
基于指令的微调最近被证明在用特定指令指导模型的训练过程中是有效的[47,57] 。我们创建了一个30Kplus的数据集7K月度预测，来源于从2017年6月到2022年6月的5年历史数据。不像GPT-4支持最多8K令牌大小，由于模型和硬件的限制，我们需要将提示压缩为1K令牌，以便对Open LLaMA进行微调。
【利用大模型预测股票的方法】对于每个微调示例，我们使用GPT-4将完整的历史元新闻摘要/关键字(例如，从第8周到最后一周，如图4所示)浓缩为单个，甚至更简洁的摘要/关键字对。同时，提示的“公司简介”和“预测示例”部分也分别浓缩为更简洁的摘要段落。
评估
结果显示了法学硕士在金融时间序列预测中的有效性，其中“GPT-4 few-shot with COT”在预测精度和解释质量方面始终表现最佳。研究结果还强调了思想链(chain -, COT)技术持续提高性能，以及利用公开可用的法学硕士 (如Open LLaMA)进行基于指令的微调的潜力，通过COT微调，与 GPT-4相比，可以实现合理的性能。
大模型核心论文三百篇带解读打包好啦！
左图是纯论文打包，右图包括解读文件