Le poste : 

Yousign recherche, à partir de janvier 2026, un(e) AI Productivity Engineer Intern, pour rejoindre son équipe AI Productivity, directement sous la supervision du AI Productivity Lead Engineer.

Durant ce stage de 6 mois, tu participeras à la mise en œuvre d’un processus d’évaluation robuste et industrialisé pour nos agents/assistants d’IA de productivité (Dust). Ton périmètre couvrira :

• la définition des critères de qualité,
• la constitution de jeux de tests,
• l’architecture, le développement, le déploiement et l’exploitation continue d’un pipeline d’évaluation.

L’objectif est d’améliorer la qualité, la fiabilité et la mesurabilité des agents utilisés par les équipes, grâce à des indicateurs de performance suivis.

Missions principales :

• Benchmark & étude : Revue des approches d’évaluation (LLM-as-Judge, golden sets, pairwise, human-in-the-loop) ; benchmark d’outils (Dust, LangSmith, OpenAI Evals, plateforme custom) ; définition des critères qualité par type d’agent (exactitude, robustesse, sécurité, coût, latence).
• Conception : Design d’un pipeline d’évaluation reproductible (datasets, orchestration, stockage des runs, traçabilité) ; spécification de l’intégration aux agents Dust et au CI/CD ; schéma des tableaux de bord et alertes (adoption, régressions, SLO qualité).
• Développement : Implémentation d’une plateforme d’évaluation (Python/TypeScript) et des premiers jeux de tests ; intégration LLM-as-Judge et métriques (accuracy, relevance, safety, cost, latency) ; automatisation des campagnes hebdomadaires et versioning des résultats.
• Déploiement : Déploiement du pipeline, des tableaux de bord et des alertes en environnement de production interne ; intégration au workflow des équipes (documentation, formation, runbooks) ; passage de relais pour l’exploitation continue.

Profil recherché :

• Étudiant(e) en dernier année au sein d'une école d'ingénieur en France, en recherche d’un stage de fin d’études.

Compétences techniques (Hard skills) :

Must-have :

• Bases solides en développement (Python ou TypeScript) et en métriques.
• Rigueur dans la gestion des données (datasets, annotation, reproductibilité, versioning).
• Intérêt marqué pour l’IA générative et l’évaluation de la qualité.
• Anglais courant (documentation technique, outils).

Nice-to-have :

• Expérience avec des LLMs (Claude, GPT, etc.) et évaluation automatisée.
• Connaissance d’outils d’évaluation (LangSmith, OpenAI Evals, Langfuse) ou d’observabilité.
• Pratique du CI/CD, des tableaux de bord et de l’alerting.

Qualités personnelles (Soft skills) :

• Curiosité et veille technologique – Intérêt pour l’innovation en IA.
• Pédagogie – Capacité à vulgariser et à former.
• Adaptabilité – Environnement en évolution rapide.
• Esprit d’initiative – Proactivité dans l’identification d’opportunités.

Ce que trouveras chez Yousign :

• Une scale-up dynamique qui place les personnes avant tout
• Un style de management qui favorise l’autonomie et la cohésion, au travers d’objectifs communs (OKR)
• Le meilleur de la culture et des méthodes de travail
• Un environnement de travail bienveillant et stimulant
• Des évènements d’équipes réguliers
• La possibilité de travailler depuis nos très jolis bureaux à Paris juste à côté de la place de Clichy
  
• Télétravail occasionnel (rythme à adapter avec ton équipe)

Equal Opportunity at Yousign

Chez Yousign, nous célébrons l’unicité et veillons à ce que chaque membre de l’équipe ait les mêmes opportunités de contribuer. Nous offrons des chances égales à tous et maintenons des processus transparents et équitables.

Rejoignez-nous chez Yousign, où nos différences nourrissent la créativité et la force — embarquons ensemble dans cette aventure incroyable ! 🌈✨