flash-attention包的安装 安装flash_attention包https://github.com/Dao-AILab/flash-attention 第1到3步安装比较容易 pip install torch packaging ninja ninja –version # 查看是否安装正常 由于中国下载github的文件太慢，造成了太多阻碍，如果按官方的方式安装，一定会报错, 报错如下 pip install -U f 2023-09-28
向量检索模型大比拼和优化 向量检索模型对比和优化一、测试模型我们此次对比以下几个向量检索模型: 12345678910"BAAI": "BAAI/bge-large-zh","MiniLM": "sentence-transformers/all-MiniLM-L6-v2","m3e": "moka-ai/m3e- 2023-09-25
Llama2迄今最强开源LLM模型是如何训练出来的 Llama2迄今最强开源LLM模型是如何训练出来的1.引言背景资料 虽然大家耳熟能详的大语言模型很多，例如ChatGPT，Newbing，Claude，但他们都是闭源的，而Llama是meta公司开源的大语言模型系列，是可以免费商用，是羊驼模型家族的base模型，国内外众多继续微调模型都是基于Llama系列的改进版本。所以llama2这次更新的对于推广AI的平民化重要性可想而知。 2. 什么是Ll 2023-09-18
chatgpt异常大收集 ChatGPT API异常收集API是调用速度限制 3/min1234Rate limit reached for default-gpt-3.5-turbo in organization org-cprZF6G49pMtSaHBvCOOq4Fd on requests per min. Limit: 3 / min. Please try again in 20s. Contact 2023-09-05
ChatGPT超细粒度情感分析 分析情感的粒度和强度常见的维度是123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687 消极 恐惧 焦虑 悲伤 失望 2023-08-25
deepspeed-ninja报错解决 deepspeed训练模型时ninja报错解决1、报错如下：12345678910111213141516171819202122232425[1/3] /usr/bin/nvcc -DTORCH_EXTENSION_NAME=fused_adam -DTORCH_API_INCLUDE_EXTENSION_H -DPYBIND11_COMPILER_TYPE=\"_gcc\" 2023-08-23
weaviate连接缓慢原因分析 weaviate-client连接本地服务器缓慢原因分析我们使用python的weaviate-client客户端连接本地的weaviate时，经常会很慢，具体的代码如下，使用下面方法，可以使你的weaviate连接时提速99%。 1234import weaviateclient = weaviate.Client( url = "http://127.0.0.0:8080&qu 2023-08-18
transformers的llama2模型的一个bug transformers的4.31.0版本的关于llama2模型的一个bug在使用llama2模型进行lora微调的时候，会报一个类似RuntimeError: expected scalar type Float but found Half这样的错误。本文是针对这个错误的解决。 模型加载加载lora模型的代码，注意我们使用了量化qlora的方式，nf4格式，量化到了4bit 123456789 2023-08-15
提示工程 对检索到的答案进行提示工程设计 需要考虑检索到正确的参考的情况。 需要考虑检索为空的情况。 需要考虑检索为错误参考的情况。 需要考虑返回的格式问题。 商品推荐问题示例简版1：用户问题+检索结果（商品名称，官宣，功效，顾客体验)，检索准确。 Prompt: 持久不脱妆并且能眼部提亮的商品有哪些？从商品库中搜索到的已知信息是，根据搜索到的信息进行推荐：商品名称是:雅诗兰黛舒缓眼膜。官方宣传信息是:· 2023-07-19
使用LLM进行领域问答的第4种思路Gorilla 专业领域问答的几种思路专业领域问答是让LLM回答专业的知识，这些知识一般企业私有的知识。现提供如下思路，总体方案就是：方案1就是让LLM学会这些知识，方案2就是LLM根据用户提供的参考知识回答。 1.训练领域内大语言模型这个需要自己准备通用数据，领域内数据，指令数据，自己先预训练大语言模型或者直接根据领域内指令数据微调。 优点是：利用LLM学到的知识回答，回答更流畅，方案简洁。 缺点：自己准备好领 2023-07-05