使用gradio开图像分类标注工具 利用gradio做一个图像的分类的标注工具 首先使用少量数据训练一个不太准的分类模型（我们测试的是一个检索模型,先训练模型嵌入，然后得到候选向量，查询数据和候选向量进行相似度对比，返回预测结果）,写好接口，传入图片后能预测图片的类别 然后自制一个gradio的标注工具，能够读取未标注数据，调用模型接口，预测结果，经过人工判断，是否正确，如果正确，直接点提交按钮，如果不正确，修改成正确的标签左边是方 2023-04-21
对huggingface的训练完成的结果的目录结构进行说明 目录结构├── all_results.json├── config.json├── eval_results.json├── preprocessor_config.json├── pytorch_model.bin├── runs│ └── Apr20_11-09-24_wac209│ ├── 1681960165.2226455│ │ └── events.out.tfeve 2023-04-20
export_ONNX报错 当使用torch导出ONNX模型的时候报错如下for idx, r_split in enumerate(r_splits): TypeError: ‘torch._C.Value’ object is not iterable(Occurred when translating repeat_interleave). 解决方法：更新torch到2.0即可 2023-04-19
peft微调Bloom时报错 报错如下:peft报错RuntimeError: self and mat2 must have the same dtype 明确禁用下8bit训练即可model = AutoModelForCausalLM.from_pretrained( base_model, load_in_8bit=False, torch_dtype=torch.flo 2023-04-18
mtdnn多任务模型结果 多任务模型每个任务的详细配置 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697 2023-04-15
pinecone向量检索工具 关于Pinecone向量检索工具Pinecone：Pinecone是一个托管的向量数据库服务，支持高性能的向量检索和近似最近邻搜索。它提供了Python和REST API，并且可以轻松扩展到数百万个向量。 是否可以增加向量降维后根据不同距离进行展示的效果，例如PCA二维或3维图，方便对向量进行检查？ 其它类似的向量检索数据库Annoy：Annoy是一个C++库，用于高效地进行向量检索。它支持多 2023-04-13
多模态检索模型的设计 设计了2种模型分支进行对比,基于VILT和BLIP2的商品相似度模型对比与分析本文将对比分析两种基于深度学习的商品相似度模型：基于VILT的模型和基于BLIP2的模型。这两种方法在商品相似度检测任务中具有不同的优缺点，我们将从训练、推理和实际应用等方面进行详细分析。 基于VILT的模型VILT模型通过结合图像和文本信息来学习商品特征。在训练过程中，模型使用了多个分类损失和正负样本的相似度损失。通过 2023-04-12
安装cuda驱动报错 当安装cuda时报错如下sudo sh ./cuda_11.7.1_515.65.01_linux.run 12345cat /var/log/nvidia-installer.logUsing built-in stream user interface-> Detected 12 CPUs online; setting concurrency level to 12.ERRO 2023-04-11
java版本恢复 java 版本问题前提: 突然发现一台服务器因为java版本问题导致大数据服务的挂掉,恢复java版本 查看现有java版本java -versionjava version “17.0.6” 2023-01-17 LTSJava(TM) SE Runtime Environment (build 17.0.6+9-LTS-190)Java HotSpot(TM) 64-Bit Server VM 2023-04-06
mongo数据迁移 Mongo占用内存过大，迁移部分collection到其它机器背景mongo和大数据共用一个机器，当mongo中数据较多时，占用内存加到，影响到了大数据机器的稳定性，需要迁移到其它机器 Mongo和内存之间的关系MongoDB数据库占用内存的大小主要依赖于以下几个因素: 数据量:显然,存储的文档数量越多,占用内存就越大。每个 MongoDB 文档通常占用约为 JSON 对象大小,这通常在 1KB 2023-04-06