- NVIDIA a annoncé la famille de modèles Nemotron-4 340B
- Elle peut être utilisée pour générer des données synthétiques destinées à l’entraînement de LLM commerciaux dans divers secteurs comme la santé, la finance, l’industrie manufacturière et le retail
- Des données d’entraînement de haute qualité jouent un rôle crucial dans les performances, la précision et la qualité des réponses des LLM personnalisés. Mais des jeux de données robustes sont coûteux et difficiles d’accès
- Nemotron-4 340B offre aux développeurs une méthode scalable pour générer gratuitement des données synthétiques aidant à construire des LLM puissants
- Comprend des modèles Base, Instruct et Reward
- Forme un pipeline pour générer des données synthétiques utilisées afin d’entraîner et d’améliorer les LLM
- Optimisé pour NVIDIA NeMo, le framework open source, et compatible aussi avec la bibliothèque NVIDIA TensorRT-LLM
- Disponible dès maintenant en téléchargement sur Hugging Face, et bientôt proposé également comme microservice NVIDIA NIM sur ai.nvidia.com
Génération de données synthétiques avec Nemotron
- Les LLM peuvent être utilisés pour générer des données d’entraînement synthétiques lorsqu’il est difficile d’accéder à de grands jeux de données variés et annotés
- Le modèle Nemotron-4 340B Instruct peut produire diverses données synthétiques imitant les caractéristiques de données réelles, afin d’améliorer les performances et la robustesse des LLM personnalisés
- Le modèle Nemotron-4 340B Reward filtre les réponses de haute qualité afin d’améliorer la qualité des données générées par l’IA. Il évalue les réponses selon cinq attributs : utilité, précision, cohérence, complexité et verbosité
- Les chercheurs peuvent utiliser le modèle Nemotron-4 340B Base avec leurs propres données pour créer leurs propres modèles Instruct ou Reward
Fine-tuning avec NeMo et optimisation de l’inférence avec TensorRT-LLM
- NVIDIA NeMo et NVIDIA TensorRT-LLM permettent d’optimiser l’efficacité des modèles Instruct et Reward pour générer des données synthétiques et évaluer les réponses
- Les modèles Nemotron-4 340B exploitent le parallélisme tensoriel, qui répartit les matrices de poids individuelles sur plusieurs GPU et serveurs, afin de permettre une inférence efficace à grande échelle
- Entraîné sur 9 billions de tokens, le modèle Nemotron-4 340B Base peut être adapté à des usages ou domaines spécifiques à l’aide du framework NeMo
- Le framework NeMo propose différentes méthodes de personnalisation, permettant d’améliorer la précision et les sorties pour des sous-tâches spécifiques
- Pour améliorer la qualité du modèle, NeMo Aligner et le modèle Nemotron-4 340B Reward peuvent aligner le modèle à l’aide de jeux de données annotés
1 commentaires
Générer des données synthétiques avec Nemotron et les utiliser pour l’entraînement des LLM