LangChain知识点梳理 LangChain的作用链式调用工具,整合数据处理,数据调用,提示工程,LLM调用,输出格式化,复杂链式调用等技术 LangChain的Models LangChain的Models部分是该平台的核心之一,提供了大型语言模型(LLM)、聊天模型、文本嵌入模型等多种模型类型。其中LLM是最基础的类型,它能够接受输入文本并返回输出文本。LangChain内置了一些常见的LLM,比如OpenAI和Pro 2023-05-23
聊天机器人问题梳理 使用的技术LangChain: 链式调用工具,整合数据处理,数据调用,提示工程,LLM调用,输出格式化,复杂链式调用等技术LLM:Large Language Model,大型生成式语言模型,根据问题生成答案。 模型开发计划A. 基于已有知识的问答B. 类似NewBing结合搜索引擎问答C. 链接备用数据库查询后问答D. 根据专业知识微调模型,模型更懂专业知识E. 接入各个平台,例如爬虫平台的额外 2023-05-23
安防机器人设计 安防项目方案计划书一、需求分析监控的区域、监控目标和实现的功能说明。1.1 监控区域该安防项目需要监控的区域是一个大楼内部和周围外部的场景,包括大楼的走廊、房间、楼梯、电梯、停车场等区域,以及大楼周围的室外场景,包括道路、人行道、花园、停车场等区域。 1.2 监控目标该安防项目需要监控的目标有三个:防火、防水和防盗。 a. 防火:机器人需要通过摄像头监控大楼内外的场景,及时发现任何可能的火灾状况, 2023-05-23
图像标注系统工具开发 标注系统开发上一个标注系统是单张图片中的目标识别,我们有10万张图片,即使模型准确率较高,也需要10万次确认才能确认所有图片,这不是一个高效的方式。所以开发了这个标注系统。这个标注系统的原理是首先把所有数据进行目标检测,然后按某个商品的一个已标注样本搜索所有相似的项目,然后人为只需要确认哪些是同一商品即可,只需确认2万个商品即可。而且对同一商品的对比更方便观察和确认,效率更高。 界面效果 设计思 2023-05-19
微软的Low-codeLLM解析 微软写了一个简单的低代码的LLM复杂任务控制流程,类似AutoGPT,对大的任务进行分解成多个子任务。一共分成3步: 用户问一个问题,ChatGPT作为规划LLM,出一个SOP的任务规划。 用户对ChatGPT返回的规划LLM进行修改,还可以对简单的逻辑进行修改,即if和else,类似Scratch编程。 用户可以对某个Step进一步扩展成subStep,方便更精细的子任务操作。 2023-05-17
transformers的所有模型名称和配置的映射记录 方便查看transformers的所有模型12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394 2023-05-16
为什么大模型的推理能力差的思考 1.首先思考人的大脑原理:左脑主要负责逻辑思考、语言、数学、分析、推理、顺序性等任务。右脑主要负责空间感知、图像处理、想象力、情感、直觉、创造性思维等任务。 目前大模型在在逻辑思考,推理,数学上都比较差,但是如果加上Chain-of-Thought,链式思考(CoT),例如Let’s think step by step,效果就会提升很高。另一个证据是现在的大模型都会加上github上的代码进行 2023-05-11
Chatgpt分享 ChatGPT运行原理大语言模型进化树: 一共三种方式: 编码器,解码器,编码器-解码器 编码器代表:Bert的训练方式:完形填空: ___________和阿里、腾讯一起并成为中国互联网 BAT 三巨头。随机地扣掉一部分字,形成上面例子的完形填空题型,不断地学习空格处到底该填写什么。所谓语言模型的训练和学习,就是从大量的数据中学习复杂的上下文联系。 解码器代表: GPT的训练方式:根据已有句子 2023-05-11
sentence_transformers联网报错问题 国内由于墙的问题,经常会连接huggingface报错类似报错如下:curl: (28) Failed to connect to huggingface.co port 443: Connection timed out 测试本地网络:curl https://huggingface.co/api/models/GanymedeNil/text2vec-base-chinesecurl: (28 2023-05-08
openai的价格估计 介绍到目前为止,我们利用openai的api做了6个任务,想统计下每个任务的花费情况,现做简单统计和绘图 一、收集缓存json数据,然后收集需要数据,转换成dataframe格式12345678910111213141516171819202122232425262728293031323334353637for json_file in json_files: json_data = js 2023-05-08