分享
  • 首页
  • 归档
  • 分类
  • 标签
  • 关于
  •   
  •   

为什么大模型的推理能力差的思考

1.首先思考人的大脑原理:左脑主要负责逻辑思考、语言、数学、分析、推理、顺序性等任务。右脑主要负责空间感知、图像处理、想象力、情感、直觉、创造性思维等任务。 目前大模型在在逻辑思考,推理,数学上都比较差,但是如果加上Chain-of-Thought,链式思考(CoT),例如Let’s think step by step,效果就会提升很高。另一个证据是现在的大模型都会加上github上的代码进行

2023-05-11

Chatgpt分享

ChatGPT运行原理大语言模型进化树: 一共三种方式: 编码器,解码器,编码器-解码器 编码器代表:Bert的训练方式:完形填空: ___________和阿里、腾讯一起并成为中国互联网 BAT 三巨头。随机地扣掉一部分字,形成上面例子的完形填空题型,不断地学习空格处到底该填写什么。所谓语言模型的训练和学习,就是从大量的数据中学习复杂的上下文联系。 解码器代表: GPT的训练方式:根据已有句子

2023-05-11

sentence_transformers联网报错问题

国内由于墙的问题,经常会连接huggingface报错类似报错如下:curl: (28) Failed to connect to huggingface.co port 443: Connection timed out 测试本地网络:curl https://huggingface.co/api/models/GanymedeNil/text2vec-base-chinesecurl: (28

2023-05-08

openai的价格估计

介绍到目前为止,我们利用openai的api做了6个任务,想统计下每个任务的花费情况,现做简单统计和绘图 一、收集缓存json数据,然后收集需要数据,转换成dataframe格式12345678910111213141516171819202122232425262728293031323334353637for json_file in json_files: json_data = js

2023-05-08

利用chatgpt接口做超细粒度情感分析

本文主要使用chatpt进行细腻的情感分析我们平常做的情感分析主要是积极,消极和中性,其实积极是一个统称,其实有更细的情感,例如喜欢,爱,信任,祝福都表达的是积极,但是都有一些区别,如果客户需要分析哪些积极的因素,那么就需要更细腻的情感分析,因为人的情感是很复杂和微妙的。下面是简要介绍个人总结的情感分析的粒度和强度介绍: 主要步骤 提取数据 根据任务设计chatgpt的prompt提示 对数据进

2023-05-08

openai接口使用和价格

本文主要介绍下Openai的接口api和价格信息接口主要是列出所有模型,查询某个模型信息,句子补全,聊天接口价格是换算成人民币的价格

2023-05-08

生成语言模型temperature_topp_topk解析

在大型生成语言模型中,我们经常用到这些超参数temperature,topk,topp,下面根据源码进行分析在huggingface transformers中,这3个对分数的处理时串联的,先进行temperature,然后topk,最后topp,当然,如果用户自己定义了分数过滤器,用户的过滤器优先。 temperature越大,随机性越高,因为scores越接近 1234567891011121

2023-04-28
#chatgpt

用lavis实现多模态图文共同检索

多模态检索 我们平常常见的多模态检索是,图到文或文到图的检索, 方式如下:文本和图像之间的视觉-语义相似度任务1: 使用句子查询图像任务2:使用图像查询句子搜索关键字: image-text retrieval 图文共同检索,这个不太常见,主要是利用图片和单独的文本的特征没有一起使用的特征进行检索的效果好,所以图文共同检索,思路如下:图文匹配本质就是要对图像和文本这两个模态的样本分别或联合进行编

2023-04-27

开发bbox标注工具

主要功能 支持上一张,下一张图片翻页按钮 支持bbox的框的绘制,支持bbox的框的移动,bbox的框的缩放,bbox的标签 图片来自本地文件夹,bbox的标注信息保存到本地文件夹 如果已有bbox的标注信息,可以直接加载,继续标注 如果没有bbox的标注信息,会通过bbox的检测算法,自动检测bbox的位置,自动给出一个可能的bbox的标注标签 支持查看搜索目标图像,方便对比标注 设计图示

2023-04-25

transformers_datasets报错

使用huggingface的时datasets报错如下:123456789101112131415multiprocess.pool.RemoteTraceback: """Traceback (most recent call last): File "/Users/admin/miniforge3/envs/py39/lib/python3.9/sit

2023-04-24
1…56789…11

搜索

Hexo Fluid
总访问量 次 总访客数 人