BitNet项目安装与配置指南

BitNet Official inference framework for 1-bit LLMs 项目地址: https://gitcode.com/gh_mirrors/bitne/BitNet

1. 项目基础介绍

BitNet是一个为1-bit LLMs（例如BitNet b1.58）设计的官方推理框架。它提供了一套优化后的内核，支持在CPU上快速且无损地推理1.58-bit模型（接下来将支持NPU和GPU）。BitNet的第一个版本专注于在CPU上的推理，并在ARM和x86 CPU上实现了显著的性能提升和能耗降低。

主要编程语言：C++、Python

2. 项目使用的关键技术和框架

• 1-bit LLMs：1-bit语言模型，通过将模型参数和激活压缩到1-bit来减少模型大小和计算需求。
• 优化内核：针对1-bit模型的特殊设计，以实现更快的推理速度和更低的能耗。
• Lookup Table方法：BitNet的内核建立在T-MAC项目中开创的查找表方法之上。
• CMake：用于构建项目的跨平台构建系统。
• conda：用于管理Python环境和依赖项。

3. 项目安装和配置的准备工作与详细步骤

准备工作

• 确保Python版本为3.9或更高版本。
• 安装CMake版本3.22或更高版本。
• 安装Clang编译器版本18或更高版本。
• 对于Windows用户，安装Visual Studio 2022并确保以下选项被选中：
  • 桌面开发与C++
  • C++-CMake工具
  • Git for Windows
  • C++-Clang编译器
  • MS-Build支持LLVM工具集（clang）
• 对于Debian/Ubuntu用户，可以使用以下脚本自动安装：

  bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"
  

• 推荐使用conda来管理Python环境和依赖。

安装步骤

1. 克隆项目仓库：

   git clone --recursive https://github.com/microsoft/BitNet.git
   cd BitNet
   

2. 创建并激活conda环境（推荐）：

   conda create -n bitnet-cpp python=3.9
   conda activate bitnet-cpp
   

3. 安装项目依赖：

   pip install -r requirements.txt
   

4. 下载模型并转换为量化gguf格式，然后构建项目。以下命令以Falcon3-7B-Instruct-1.58bit模型为例：

   python setup_env.py --hf-repo tiiuae/Falcon3-7B-Instruct-1.58bit -q i2_s
   

   或者，您可以手动下载模型并使用本地路径：

   huggingface-cli download tiiuae/Falcon3-7B-Instruct-1.58bit --local-dir models/Falcon3-7B-Instruct-1.58bit
   python setup_env.py -md models/Falcon3-7B-Instruct-1.58bit -q i2_s
   

完成以上步骤后，您就可以开始使用BitNet项目进行推理了。如果您需要运行推理，请参考项目的“Usage”部分以获取更多信息。

BitNet Official inference framework for 1-bit LLMs 项目地址: https://gitcode.com/gh_mirrors/bitne/BitNet