Stage - Évaluation des systèmes de génération augmentée par récupération (Zurich)

À propos de cette offre

Contrat à durée déterminée (généralement 3 mois) · 80–100% · Zurich · Étudiants (niveau Licence, Master ou Doctorat)

« Comprendre les données est la compétence gagnante dans toutes les industries. »

Nous construisons D ONE avec la conviction que chaque entreprise sera une entreprise de données. Depuis nos débuts, nous aidons nos clients à comprendre leurs données et à générer de la valeur.

Dans ce stage, vous travaillerez de manière autonome sur un sujet dans le domaine de l’évaluation des systèmes d’IA générative. Vous transformerez des questions floues sur la qualité en mesures fiables, et rendrez ces mesures reproductibles.

Vos tâches incluront :

• Revue de la méthodologie d’évaluation pour les systèmes augmentés par récupération et génératifs.
• Conception et mise en œuvre d’une logique d’évaluation automatisée en Python.
• Construction et curation de jeux de données de test, y compris des standards de référence et des cas synthétiques.
• Analyse statistique des résultats et formulation de conclusions claires et défendables.
• Documentation de votre travail et présentation à un public technique et non technique.

Ce que vous apportez :

• Inscription actuelle dans un programme de Licence, Master ou Doctorat en Informatique, Science des données, Linguistique informatique, Ingénierie, Mathématiques ou domaine comparable.
• Intérêt pour au moins un domaine industriel et curiosité sur la manière dont les données créent de la valeur dans ce domaine.
• Attitude pragmatique, terre-à-terre et orientée résultats.
• Expérience de travail avec de grands ensembles de données et bases de données.
• Connaissances des technologies et langages de programmation pertinents (par ex. Python, SQL, Git, Spark, plateformes cloud).
• Excellentes compétences en communication en anglais ; l’allemand est un atout important.

Qualifications préférées :

• Compréhension pratique des grands modèles de langage et de la génération augmentée par récupération, ainsi que des points faibles typiques de ces systèmes.
• Familiarité avec les concepts d’évaluation tels que la fidélité, la fondation, la pertinence des réponses, la précision et le rappel du contexte, et la détection d’hallucinations.
• Expérience des outils d’évaluation tels que RAGAS, DeepEval, promptfoo, TruLens ou LangSmith, ou volonté de développer une logique équivalente vous-même.
• Expérience des techniques LLM-as-a-judge, avec un scepticisme sain quant à leur fiabilité.
• Solides bases statistiques : échantillonnage, tests de signification, intervalles de confiance, accord inter-annotateurs.
• Compétences pratiques en construction de jeux de test, directives d’annotation et génération de données synthétiques.
• Discipline en ingénierie logicielle : paquets Python réutilisables, suites de tests automatisés, CI, pipelines d’expériences reproductibles.
• Capacité à communiquer des résultats quantitatifs de manière visuelle et concise (par ex. pandas, plotly, matplotlib, tableaux de bord).

Ce que nous offrons :

• Un environnement simple et calme qui permet de se concentrer sur l’essentiel.
• Une équipe internationale de personnes talentueuses issues de divers horizons, ambitieuses, appréciant toujours un défi supplémentaire et sachant s’amuser au travail.
• Un mentorat direct par des consultants seniors de D ONE, ainsi qu’un accès à notre D ONE Academy incluant des sessions de partage de connaissances, des groupes d’experts et de travail.
• Un sujet clairement défini qui vous appartient, avec la liberté de choisir votre approche.
• Des événements sociaux hors site fréquents.
• Une voie réaliste pour rejoindre D ONE en tant que consultant après un stage réussi.

Pour réussir dans ce rôle, vous devrez :

• Vous efforcer de comprendre les besoins de vos clients.
• Fournir des résultats exceptionnels à forte valeur commerciale sous une forme compréhensible.
• Avoir l’agilité intellectuelle nécessaire pour accomplir le travail de manière simple et efficace.
• Valoriser un jeu d’équipe intelligent et créatif.
• Travailler de manière autonome et structurer votre propre progression, tout en sachant quand faire appel à un collègue senior.

Êtes-vous intéressé à rejoindre une excellente équipe avec un parcours éprouvé et à travailler sur un sujet qui vous mettra constamment au défi ?

Nous serons heureux de recevoir votre candidature en référence à :

D ONE Value Creation AG

Sihlfeldstrasse 58

8003 Zurich