LangChain解决问题的思路 LangChain解决问题的思路可以把解决问题当做一个过程，我们可以从不同的角度去观察解决问题的方式，主要分成按数据源，按问题复杂度，按问题的解决方式划分，只是概念上的不同，其实最终解决问题的方式是灵活的，统一的。 按数据源:非结构化数据–方式1（向量化)Step1：源文档向量化 Step2: 问答时检索相似向量作为context 其它方式: KNN聚类，Time Weighted Ve 2023-06-15
几种模型回答同一问题的对比 9款模型对比模型vicuna7B,13B, glm6B, Chinese Lamma7B,13B，chatgpt，gpt4,rwkv,基于Bloom的Bellegradio写了一个简单的测试接口 问题: 防晒霜的使用顺序？ 1.清华大学glm6B模型 2.斯坦福大学的vicuna7B模型 3.斯坦福大学的vicuna13B模型 4.哈工大的lamma 7B 5.哈工大的lamm 2023-06-15
langchain-tools-example LangChain使用tools的示例测试代码如下，一个fib函数和一个查看discord的函数封装成工具，方便LLM使用，流程如下: 用户提问,给出所有可用工具，调用LLM 调用合适的工具和输入 返回工具的结果 根据工具的结果调用LLM产生最终答案优缺点： 工具很灵活，适合封装，缺点，LLM对根据描述能正常筛选工具，但是目前langchain的官方只支持1个参数的工具，如果工具需要的参数如果较 2023-06-14
langchain-APIChain 使用LangChain的APIChain调用天气接口的API查询天气的示例思路：使用自己封装的LLM接口，确保最大长度不要太长，设定API的提示模板格式，防止太长时对prompt截断的时候只保留关键信息。一共调用2次LLM模型，第一次根据问题，生成API的请求，然后调用API获取结果，第二次根据API的结果和问题，生成最终的答案。代码: 123456789101112131415161718192 2023-06-13
gpt数据标注小知识 prompt，instruction, input, context, question,output,completion,history的区分instruction： 指令，这里是要求模型做的事情。基本上等价于question。input: 这里等价于context,就是上下文，例如根据下面的段落进行回答问题，这里的段落就是contextprompt: 就是提示，可以认为instruction 2023-06-05
什么是思维链和思维树 思维链和思维树 普通模式：IO，input-output Prompting, 和LM进行交互，单次输入和输出的提示 思维链：CoT，Chain of Thought，指的是一个人思考问题时，从一个思想或概念出发，逐步发展、拓展和衍生出新的思想和概念的过程。这个过程类似于一个链条，每个新的思想都是前一个思想的延伸和扩展，构成了一条连续的思维链。思维链提示，输入被经过多次的中间提示，最终达到输出 2023-05-31
langchain-tools 获取所有的agent支持的tools名称1234567import jsonimport langchainfrom langchain.agents import get_all_tool_namestools = get_all_tool_names()print(f"langchain的版本是{langchain.__version__}")print 2023-05-30 langchain
图片过滤和聚类工具设计 对图片进行批量操作功能设计1.聚类，相似的图片分组，可以重复聚类，对聚类后的图片进行删除操作。 支持动态设定类别数量，支持选择图片进行删除，支持对类别整个删除 2.相似，支持按文字搜索图片，按选中的图片进行搜相似图片，支持图片按序号删除，支持单个图片删除，支持快捷键回车和delete操作 3.搜图，支持按图片url或用上传图片进行相似图片搜索 4.支持缓存向量和更换图库目录 2023-05-26
混合精度训练的细节 精度的前提知识1B(Byte)字节=8bit比特，位 FP32使用32位二进制格式来表示实数。 可以表示的数字范围更广，精度更高。 在大多数应用中被广泛使用，因为它提供了足够的精度和数字范围。 硬件支持程度广泛，几乎所有现代CPU和GPU都支持FP32。 FP16也叫half，半精度 FP16是16位浮点数格式，FP32是32位浮点数格式。 使用16位二进制格式来表示实数。 可以表示 2023-05-25
领域内问答分享 AIGCAIGC在各种方面的应用 领域内问答的是如何实现的数据集来源A. 内部平台使用教程B. 行业报告，白皮书等C. 美妆专业知识D.所有用户（客户，内部人员）常见问题收集 不同数据集不同对待，完全训练，微调和提示工程对于从0开始学习的大模型来说，最好的方式是完全训练。 完全训练：针对大公司有超多数据集和计算资源，可以采用完全训练的方式。 对于基础的专业知识来说，最好的方式是微调训练。 微调 2023-05-24