Software Engineer - GenAI inference

Ce poste d'ingénieur logiciel spécialisé en inférence GenAI consiste à concevoir, développer et optimiser le moteur d'inférence qui alimente l'API des modèles de fondation de Databricks. Le rôle implique de travailler à l'intersection de la recherche et de la production pour garantir que les systèmes de service des grands modèles de langage (LLM) soient rapides, évolutifs et efficaces. Les responsabilités couvrent l'ensemble de la pile d'inférence GenAI, incluant les noyaux, les environnements d'exécution, l'orchestration et la gestion de la mémoire. Le candidat contribuera à l'optimisation des performances en termes de latence, débit, efficacité mémoire et utilisation du matériel sur les GPU et accélérateurs. Il collaborera avec des chercheurs pour intégrer de nouvelles architectures de modèles ou fonctionnalités, développera des outils de profilage et de traçage, et participera à la conception de mécanismes évolutifs pour le routage, le traitement par lots, la planification et la gestion dynamique de la mémoire. Le poste exige une collaboration transversale avec les équipes d'ingénierie plateforme, d'infrastructure cloud et de sécurité.