【ChatGPT | LangChain的文本切割方法对比】面向对话格式的文本理解很好,但如果要把网络上的文章让直接分析则会有格式的问题 。文本清洗是个大课题,讲起来需要很多篇幅,优化起来前路漫漫 。
本文基于稍微加工后的文本内容,使用的r 和 两个文本切割方法做效果对比,因为文本切割的效果直接影响知识库方向反馈的效果 。
先说结论,CTS比RTCS稍好,利用明确的段落分隔符可以避免一些初级问题发生,一些高级的问题两者都会发生 。
以下文本内容来自大爆发:最后一波上半年能开标的50多个项目,预算超50亿元,标黄的内容是测试关键数据 。
![ChatGPT | LangChain的文本切割方法对比](http://img.gansulong.com/230813/004S93338-0.jpg)
文章插图
直接贴出运行结果,红框是出错的地方都是来自RTCS():
CTS 返回结果是使用r做,它是基于符号做段落切割,本文选择####作为段落的分割符 。
RTCS 返回结果是使用,它是基于固定大小做段落切分 。
再次总结结论,CTS比RTCS稍好,可以避免一些初级问题发生 。
接下来贴出源代码,分为两部分:input.py和.py 。
以下是Input.py的源码,是很关键很关键很关键的地方,用和切割存数据到向量数据库:
import osfrom langchain.embeddings import OpenAIEmbeddingsfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain.vectorstores import Chromafrom langchain.document_loaders import TextLoaderfrom langchain.text_splitter import CharacterTextSplitter# 1 定义embeddingos.environ["OPENAI_API_TYPE"] = "azure"os.environ["OPENAI_API_KEY"] = "xxxxxxxxxxxxx"os.environ["OPENAI_API_BASE"] = "yyyyyyyyyyyyyyyyyyyyyyyyyyyyy"embeddings = OpenAIEmbeddings(model="text-embedding-ada-002", deployment="lk-text-embedding-ada-002", chunk_size=1)# 2 定义文件 loader = TextLoader(".\\单文件\\项目信息.txt", "utf-8")pages = loader.load_and_split()# 3 重要!!!初始化加载器# 按符号切分段落text_splitter_CTS = CharacterTextSplitter(separator = "####",chunk_size = 500, #chunk_size = 1000,chunk_overlap = 0)split_docs_CTS = text_splitter_CTS.split_documents(pages)print(f'CharacterTextSplitter documents:{len(split_docs_CTS)}')#print(split_docs_CTS)#写入向量数据库print(f'写入CTS向量数据库')vectordb = Chroma.from_documents(split_docs_CTS, embedding=embeddings, persist_directory="./CTS/")vectordb.persist()# 按固定尺寸切分段落text_splitter_RCTS = RecursiveCharacterTextSplitter(chunk_size = 500, #chunk_size = 1000,chunk_overlap = 200)split_docs_RCTS = text_splitter_RCTS.split_documents(pages)print(f'RecursiveCharacterTextSplitter documents:{len(split_docs_RCTS)}')#print(split_docs_RCTS)#写入向量数据库print(f'写入RCTS向量数据库')vectordb = Chroma.from_documents(split_docs_RCTS, embedding=embeddings, persist_directory="./RTCS/")vectordb.persist()
以下是.py的源码,调用基于向量数据库搜索出来的文字片段组织文字来回答:
import osfrom langchain.embeddings.openai import OpenAIEmbeddingsfrom langchain.vectorstores import Chromafrom langchain.text_splitter import CharacterTextSplitterfrom langchain import OpenAI,VectorDBQAfrom langchain.chains import RetrievalQAfrom typing import Dict, Anyos.environ["OPENAI_API_TYPE"] = "azure"os.environ["OPENAI_API_KEY"] = "xxxxxxxxxxxxxxxxxxxx"os.environ["OPENAI_API_BASE"] = "yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy"dict: Dict[str, Any] = {"deployment_id": "lk-gpt-35-turbo"}embeddings = OpenAIEmbeddings(model="text-embedding-ada-002", deployment="lk-text-embedding-ada-002", chunk_size=1)openAiLLm = OpenAI(temperature=0.9, model_name="gpt-35-turbo", model_kwargs=dict, max_tokens=100)db_CTS = Chroma(persist_directory="./CTS/", embedding_function=embeddings)db_RTCS = Chroma(persist_directory="./RTCS/", embedding_function=embeddings)print('----------------')question_list=["介绍一下重庆市新型数字交通物联网大数据服务平台的金额、截止时间","介绍一下广州城市职业学院项目的金额、截止时间","介绍一下吴中区智慧教育项目的预算、截止时间","介绍一下之江实验室项目的预算、截止时间"]for i in range(0,len(question_list)):question_text=question_list[i]qa_CTS = RetrievalQA.from_chain_type(llm=openAiLLm, chain_type="stuff", retriever=db_CTS.as_retriever(), return_source_documents=False)# 进行问答result = qa_CTS({"query": question_text}) print("CTS 返回结果:" + str(result))#.split('\n')[0])print('------')qa_RTCS = RetrievalQA.from_chain_type(llm=openAiLLm, chain_type="stuff", retriever=db_RTCS.as_retriever(), return_source_documents=False)# 进行问答result = qa_RTCS({"query": question_text}) print("RTCS 返回结果:" + str(result))#.split('\n')[0])print('***********************************************')
- 盘点历史上10大发明?对社会的进步起到了怎样的影响?改变了什么 改变世界的十大发明
- 中国武打电影史上最强巨星:李连杰VS甄子丹,谁才是真正的王者? 中国十大武打明星
- 21家中国公司入榜!全球最值得关注的传感器及半导体TOP100出炉! 世界十大半导体公司
- 中国不适宜生存的10个城市,有你的吗? 中国十大污染城市
- 古代十大吝啬鬼!一个比一个小气!一起来看看他们是怎么抠门的 世界十大吝啬鬼
- 华语乐坛评选出的十首经典??歌曲会是哪些 中国十大好听歌曲
- 嘉宝米粉国产和进口的区别
- 江西最美的十大风景区 中国之最江西
- 中国公认最好吃的“四大名醋”,色香醇浓,绵香味长,你吃过几种 中国之最相片
- 这才是中国男人最喜欢的女性身高排名 中国之最男人