2233
還記得我剛接觸 Hugging Face 時，面對各種模型格式和一堆陌生的文件名，我的腦袋瞬間宕機。
每次下載模型時，我都在想：“這堆 .bin、.json、.txt 究竟是干啥的？”后來，隨著我不斷摸索，終于搞清楚了這些文件的門道。
今天，我就來幫大家捋清楚 Hugging Face 上模型的常見格式，以及每種格式里到底都裝了些什么。
常見模型格式概覽
在 Hugging Face 上，模型主要有以下幾種格式：
-
- PyTorch 格式
- TensorFlow 格式
- Flax（JAX）格式
- SafeTensors 格式
- ONNX 格式
- GGUF 格式
接下來，我們逐一拆解每種格式及其包含的關(guān)鍵文件。
PyTorch 格式
PyTorch 格式是 Hugging Face 上最常見的模型格式，適用于使用 PyTorch 框架的開發(fā)者。它的核心文件包括：
pytorch_model.bin
模型的權(quán)重文件，包含了訓練過程中學到的參數(shù)，類似于模型的大腦。
config.json
模型配置文件，記錄了網(wǎng)絡(luò)結(jié)構(gòu)、層數(shù)、隱藏維度等關(guān)鍵信息，相當于模型的“身份證”。
tokenizer_config.json
分詞器的配置信息，告訴模型如何處理輸入文本。
vocab.txt或vocab.json
模型使用的詞匯表，記錄了每個詞及其對應的編號。
special_tokens_map.json
定義特殊標記（如 [CLS]、[SEP]、[PAD] 等）的映射規(guī)則。
merges.txt
僅限 BPE 分詞器，描述詞匯合并規(guī)則，是 BPE 分詞算法的關(guān)鍵文件。
TensorFlow 格式
TensorFlow 模型在 Hugging Face 上也很常見，特別是那些使用 Keras 的開發(fā)者更喜歡這種格式。它的主要文件包括：
tf_model.h5或saved_model.pb等
模型的權(quán)重文件，包含了訓練過程中學到的參數(shù)，類似于模型的大腦。
config.json
模型配置文件，記錄了網(wǎng)絡(luò)結(jié)構(gòu)、層數(shù)、隱藏維度等關(guān)鍵信息，相當于模型的“身份證”。
注：其他文件作用與 PyTorch 版本相同。
Flax（JAX）格式
Flax 是基于 JAX 的神經(jīng)網(wǎng)絡(luò)庫，專為高性能、加速計算而生。Flax 格式的 Hugging Face 模型通常包含以下文件：
flax_model.msgpack
模型的權(quán)重文件，使用 MessagePack 格式，兼顧高效與緊湊。
config.json
模型配置文件，記錄了網(wǎng)絡(luò)結(jié)構(gòu)、層數(shù)、隱藏維度等關(guān)鍵信息，相當于模型的“身份證”。
tokenizer_config.json
分詞器的配置信息，告訴模型如何處理輸入文本。
注：其他配置文件與 PyTorch、TensorFlow 格式類似。
SafeTensors 格式
SafeTensors 是 Hugging Face 推出的新一代安全格式，主打“安全、快速、內(nèi)存友好”。
model.safetensors
模型的核心權(quán)重文件，避免了 .bin 文件在加載時的潛在安全風險。
config.json
模型配置文件，記錄了網(wǎng)絡(luò)結(jié)構(gòu)、層數(shù)、隱藏維度等關(guān)鍵信息，相當于模型的“身份證”。
tokenizer_config.json
分詞器的配置信息，告訴模型如何處理輸入文本。
vocab.txt或vocab.json
模型使用的詞匯表，記錄了每個詞及其對應的編號。
special_tokens_map.json
定義特殊標記（如 [CLS]、[SEP]、[PAD] 等）的映射規(guī)則。
merges.txt
僅限 BPE 分詞器，描述詞匯合并規(guī)則，是 BPE 分詞算法的關(guān)鍵文件。
注：配置、詞匯表和特殊標記映射等文件仍與 PyTorch 格式類似。
SafeTensors 格式以其更高效的加載速度和更安全的數(shù)據(jù)結(jié)構(gòu)，逐漸成為 Hugging Face 上的新寵。
ONNX 格式
ONNX是一種開放的模型交換格式，旨在幫助不同框架之間的模型互操作。ONNX 格式的 Hugging Face 模型通常包含：
model.onnx
核心模型權(quán)重文件，支持多平臺部署（如 TensorRT、ONNX Runtime 等）。
config.json
模型配置文件，記錄了網(wǎng)絡(luò)結(jié)構(gòu)、層數(shù)、隱藏維度等關(guān)鍵信息，相當于模型的“身份證”。
tokenizer_config.json
分詞器的配置信息，告訴模型如何處理輸入文本。
注：配置、詞匯表和特殊標記映射等文件仍與 PyTorch 格式類似。
GGUF 格式
GGUF是一種專為 GPT 類模型設(shè)計的新型格式，強調(diào)易用性和高效部署。它的主要包括：
model.gguf
核心模型權(quán)重文件，優(yōu)化了 GPT 系列模型的參數(shù)存儲，適合高效推理和快速加載。自包含所有數(shù)據(jù)，包括配置和分詞器信息。
注：GGUF 格式特別適合 GPT 模型在輕量化環(huán)境下的部署，性能優(yōu)異且便于遷移。
模型格式對比表
通過這篇文章，我們一起了解了 Hugging Face 上常見的模型格式，從 PyTorch 的靈活易用到 SafeTensors 的安全高效，再到 ONNX 和 GGUF 在跨平臺與輕量化部署上的獨特優(yōu)勢，每種格式都有其獨到之處。
希望這篇指南能讓你在面對琳瑯滿目的 `.bin`、`.h5`、`.onnx` 和 `.gguf` 文件時不再迷茫，輕松選出最適合你的“武器”。祝你在模型的世界里探索愉快，跑得又快又穩(wěn)！
