Senior GenAI Research Engineer - Optimization and Kernels
Databricks
Ce poste de recherche en ingénierie senior est axé sur l'optimisation et les noyaux (kernels) pour les modèles d'intelligence artificielle générative (GenAI). Le rôle consiste à développer des techniques avancées en deep learning pour améliorer les performances des modèles, notamment via l'optimisation des noyaux GPU, la fusion de noyaux, la précision mixte, l'optimisation de la mémoire et les stratégies de parallélisme pour l'entraînement distribué. Le candidat travaillera au sein d'une équipe collaborative de chercheurs et d'ingénieurs pour intégrer ces innovations dans les produits de Databricks, visant à faciliter l'application des modèles d'IA de pointe par les clients. Les responsabilités incluent également le débogage, le profilage et l'optimisation des flux de travail d'entraînement, ainsi que la conception de frameworks distribués pour les grands modèles de langage.
Conditions d'éligibilité
Diplôme de BS/MS/PhD en informatique ou domaine connexe avec expérience pratique en écriture et optimisation de noyaux CUDA pour les applications d'entraînement en ML.
Expérience pratique avec les frameworks d'entraînement distribué (PyTorch DDP, DeepSpeed, Megatron-LM, FSDP).
Bonne compréhension de l'architecture des GPU NVIDIA (hiérarchie mémoire, cœurs tensoriels, ordonnancement des warps, occupation des SM).
Maîtrise des outils de débogage/profilage CUDA (Nsight, NVProf).
Connaissance approfondie des techniques de parallélisme et des stratégies d'optimisation mémoire pour l'entraînement de modèles à grande échelle.
Compétences solides en ingénierie logicielle avec Python et PyTorch, ainsi qu'une expérience des flux de travail d'entraînement en production.
Connaissance des dynamiques d'entraînement des LLM, y compris le réglage des hyperparamètres et les stratégies d'optimisation.
Pièces à fournir
- CV
- Lettre de motivation
Candidatez à cette offre avec un dossier généré par l'IA
Matchwork rédige votre CV et votre lettre de motivation personnalisés pour cette offre en quelques minutes.
Créer mon dossier gratuitement