Administrator
KTransformers部署DeepSeek-R1
1.项目定位 这是一项由清华大学团队提出的，可以在模型运行过程中灵活的将专家模型加载到CPU上、同时将MLA/KVCache卸载到GPU上，从而深度挖掘硬件性能，实现更低的显存运行更大尺寸的模型。
LLaMAFactory微调DeepSeek-R1-Distill-Qwen-7B蒸馏模型
1. 安装LLaMA Factory 首先，拉取LLaMA-Factory项目到DSW实例。 sudo git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git 接着，我们安装LLaMA-Factory依赖环境。 %cd LL
ES影响检索结果的关键因素
在 Elasticsearch（ES）中，倒排索引是搜索引擎的核心数据结构，它通过存储词项（Term）到文档的映射关系，实现了高效的全文检索。除了基本的词项-文档映射外，倒排索引还可以附加多种统计信息（如词频 TF、文档频率 DF 等），这些信息在计算文档相关性评分（如 TF-IDF、BM25）时至
Heygem的win客户端工具配置远程linux的docker18180
由于目前的win客户端不支持配置远程访问地址，可以使用ssh代理到本地端口。 由于win客户端默认处理视频位置为D:\heygem_data，远程的docker需要能访问到，需要在linux搭建nfs服务端，文件夹代理到windows的D:\heygem_data，这样win客户端处理的视频位置，l
ubuntu安装docker
卸载旧版本：首先，卸载可能已安装的旧版本Docker。旧版本的Docker可能被称为docker、docker-engine或docker.io。使用以下命令卸载它们： sudo apt-get remove docker docker-engine docker.io containerd run
ubuntu安装RAGFlow
1、前提条件 安装了docker及docker compose，参考ubuntu安装docker篇 2、克隆项目 git clone https://github.com/infiniflow/ragflow.git 3、启动项目 cd ragflow/docker docker compose -
ubuntu安装dify
在 Ubuntu 上安装 Dify（一个开源的 AI 服务开发平台）可以通过 Docker 快速部署。以下是简要步骤： 1. 安装 Docker 和 Docker Compose 卸载旧版本：首先，卸载可能已安装的旧版本Docker。旧版本的Docker可能被称为docker、docker-engi
国内网络docker安装
要在Ubuntu上安装Docker，您可以按照以下步骤进行： 卸载旧版本：首先，卸载可能已安装的旧版本Docker。旧版本的Docker可能被称为docker、docker-engine或docker.io。使用以下命令卸载它们： sudo apt-get remove docker docker-
轻量级向量数据库Chroma
轻量级，适合学习及测试使用，目前不建议生产环境上使用。 Chroma 是一个开源的向量数据库（Vector Database），专为存储、检索和管理高维向量数据而设计。它主要用于支持机器学习和人工智能应用中的相似性搜索（Similarity Search）任务，例如推荐系统、语义搜索、图像检索、自然
LLaMA Factory 框架中梯度累积步数的配置和使用
1. 官方文档参考 训练参数配置：在 LLaMA Factory 中，梯度累积步数通常通过 --gradient_accumulation_steps 参数设置。你可以在官方文档的训练配置部分找到相关说明。该参数用于指定累积多少个小批次（mini-batch）的梯度后再执行一次参数更新，有助于在显存
LLaMA Factory 中配置学习率与 Adam 优化器的完整指南
LLaMA Factory 是针对大语言模型（如 LLaMA、Mistral 等）进行高效微调和训练的开源框架。学习率（Learning Rate）和优化器（如 Adam）的设置直接决定了模型的训练效率和最终性能。本文将通过 理论解析 + 实际配置示例，帮助用户深入理解 LLaMA Factory
DDP 、DeepSpeed、FSDP
在分布式训练中，选择合适的框架取决于具体的需求、硬件配置和模型规模。以下是 DDP（Distributed Data Parallel）、DeepSpeed 和 FSDP（Fully Sharded Data Parallel） 的对比分析，帮助你做出选择： 1. DDP（Distributed D
Top-p 采样和温度系数（Temperature）
Top-p 采样和温度系数（Temperature）是两种不同的文本生成控制方法，虽然它们都用于调节生成文本的多样性，但作用机制和效果有所不同。以下是它们的区别： 1. 作用机制 Top-p 采样（核采样）： 根据概率分布动态选择候选词，只保留累积概率超过阈值 pp 的词。 例如，Top-p=0.9
Linux多Python环境Conda安装
1. 下载 Miniconda 安装脚本 Miniconda 是 Anaconda 的轻量版，仅包含 Conda 和 Python。你可以从 Miniconda 官方网站 下载适合你系统的安装脚本。 wget https://repo.anaconda.com/miniconda/Miniconda
Linx多窗口会话Tmux
什么是 Tmux？ tmux 是一个终端复用工具，允许用户在一个终端窗口中运行多个终端会话。它可以帮助你在一个窗口中管理多个终端任务，支持窗口分割、会话管理、后台运行等功能，非常适合远程开发和服务器管理。 安装 Tmux 在 Ubuntu 上安装 tmux： sudo apt update sudo