百宝箱
Treasure Chest
百宝箱
Learning

如何为栗僳语扩展 NLLB-200

来自 |已发表

📘 1. 如何收集和整理栗僳语的平行语料

 

 

✅ 栗僳语资源可能来源

 

来源类型 推荐操作 说明
📖 圣经翻译 使用「YouVersion」、「Joshua Project」、「SIL」、「Bible.com」 多数已提供栗僳语译本，可对应英文/中文
📚 民族语言学研究论文 查阅《Ethnologue》《Glottolog》及高校论文库 有时附录有栗僳语句子对
🗂 开源语料库 探索 OPUS 或 AI4Bharat 少量支持，需手动清洗
👥 田野调查 与当地语者、教会、语言组织合作收集 可录音+手工转录形成语料
📝 手动对齐文本 将中文/英文栗僳语资料手动一行一行对齐 如圣经（逐节对齐）是良好起点

 

 

 

✅ 平行语料整理建议格式（适用于NLLB）

 

// 文件名: train.src（如中文）
你好吗？
我是老师。

// 文件名: train.tgt（如栗僳语）
Na na ai?
Nga ai a put.

 

  • 使用 UTF-8 编码
  • 保持源语言与目标语言严格一对一对齐
  • 每行一条句子
  • 分为 train, valid, test 三份

 

 

 

 

🛠️ 2. 微调 NLLB-200：步骤与代码示例

 

 

✅ 工具准备

 

 

 

 

 

 

✅ 微调流程简要步骤

 

 

📦 步骤 1：准备 Tokenizer

 

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-200-distilled-600M")
# 添加栗僳语语言代码（例如 lis_Latn）
tokenizer.lang_code_to_id["lis_Latn"] = len(tokenizer.lang_code_to_id)
tokenizer.add_tokens(["<lis_Latn>"])
tokenizer.save_pretrained("./tokenizer-lisu")

 

📦 步骤 2：处理数据集

 

from datasets import load_dataset

dataset = load_dataset("text", data_files={
    "train": ["train.src", "train.tgt"],
    "validation": ["valid.src", "valid.tgt"]
})

 

📦 步骤 3：准备模型与 Trainer

 

from transformers import AutoModelForSeq2SeqLM, Seq2SeqTrainer, TrainingArguments

model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-200-distilled-600M")
model.resize_token_embeddings(len(tokenizer))

training_args = TrainingArguments(
    output_dir="./nllb-lisu",
    evaluation_strategy="epoch",
    per_device_train_batch_size=4,
    per_device_eval_batch_size=4,
    save_total_limit=2,
    num_train_epochs=5,
    logging_dir="./logs",
    logging_steps=100,
    save_steps=500,
    fp16=True,
)

trainer = Seq2SeqTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
    tokenizer=tokenizer,
)
trainer.train()

 

 

 

📦 3. 构建支持栗僳语翻译系统的完整项目模板

 

 

📁 项目结构建议

 

nllb-lisu-project/
│
├── data/
│   ├── train.src
│   ├── train.tgt
│   ├── valid.src
│   └── valid.tgt
│
├── tokenizer-lisu/
│   └── (扩展后的 tokenizer)
│
├── training/
│   ├── fine_tune.py
│   └── utils.py
│
├── inference/
│   ├── translate.py
│   └── gradio_app.py   ← （可选：构建在线翻译界面）
│
└── README.md

 

 

 

✅ 示例：translate.py

 

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("./tokenizer-lisu")
model = AutoModelForSeq2SeqLM.from_pretrained("./nllb-lisu")

def translate(text, src_lang="zho_Hans", tgt_lang="lis_Latn"):
    tokenizer.src_lang = src_lang
    encoded = tokenizer(text, return_tensors="pt")
    generated_tokens = model.generate(**encoded, forced_bos_token_id=tokenizer.lang_code_to_id[tgt_lang])
    return tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)[0]

# 示例调用
print(translate("你好！", src_lang="zho_Hans", tgt_lang="lis_Latn"))

 

 

 

✅ 可选：部署为 Gradio 翻译界面

 

import gradio as gr

iface = gr.Interface(fn=translate, inputs="text", outputs="text", title="Lisu Translation")
iface.launch()

 

 

 

✅ 下一步建议

 

你可以：

 

  • 📩 提供你已有的栗僳语文本或数据，我可帮你清洗/对齐
  • 🧪 让我生成一个完整的 Jupyter Notebook 包含所有步骤
  • 🚀 需要部署在 Hugging Face Spaces 或本地 Web 服务上，也可以帮你打包

你可能也喜欢