NeMo 큐레이터 - GPU 가속 데이터 큐레이션

LLM 교육을 위한 GPU 가속 데이터 큐레이션. 텍스트/이미지/비디오/오디오를 지원합니다. 퍼지 중복 제거(16배 더 빠름), 품질 필터링(30개 이상의 휴리스틱), 의미 중복 제거, PII 수정, NSFW 감지 기능을 제공합니다. RAPIDS를 통해 GPU 전반에 걸쳐 확장됩니다. 고품질 교육 데이터 세트 준비, 웹 데이터 정리 또는 대규모 말뭉치 중복 제거에 사용합니다.