Nemo Curator

Summary message ….

Context messafe ….

NeMo Curator:

conda create -n nemo-curator-clean python=3.11 -y
conda activate nemo-curator-clean

python -m pip install --upgrade pip
python -m pip install --index-url https://pypi.org/simple "nemo-curator[audio_cuda12]"

python make_manifest.py
/data/voice_ref/audio
/data/voice_ref/audio_manifest.jsonl

python score_audio.py

Executor 可以理解為 NeMo Curator 的「流水線調度器」。目前主要有三種：

Executor	主要特點	適合情境
`XennaExecutor`	官方推薦，支援 `streaming` 與 `batch`，會管理 CPU/GPU、worker 與資料流	一般音訊、影像、影片與正式的大型流程
`RayActorPoolExecutor`	每個階段建立 Ray Actor pool，支援負載平衡與進度顯示	需要較細緻控制 worker，或大量平行處理
`RayDataExecutor`	使用 Ray Data 的批次資料處理機制，支援 map/batch 類型操作	大型表格、文字或批次資料轉換

官方目前把 XennaExecutor 列為一般流程的推薦後端；RayActorPoolExecutor 偏向 Actor pool 平行處理，RayDataExecutor 偏向 Ray Data 批次資料處理。官方 Execution Backends 說明

GPU 資源足夠，問題在於 Xenna 預設使用 streaming 模式，會同時啟動多個階段，因此需要 8.5 個 CPU。把最後一行：

pipeline.run(XennaExecutor())

改成：

executor = XennaExecutor(
    config={
        "execution_mode": "batch",
        "logging_interval": 30,
    }
)

pipeline.run(executor)

pip install soundfile scipy python extract_segments.py
–manifest /root/data/ziyu/NeMo_Curator/curated_audio_scores
–output-dir /root/data/ziyu/NeMo_Curator/extracted_segments

Reference #

Reference
#