A l'aide, mon IA est débile! Comment évaluer et améliorer son IA générative
Conference (INTERMEDIATE level)
Mimosa 2
Avec toute l'effervescence autour de l'IA, beaucoup d'entre nous ont commencé à intégrer des IA génératives dans nos applications. Parfois, on a des résultats incroyables, parfois... c'est juste naze 😞. Comment savoir si on choisi le meilleur modèle/fine-tuning pour son scénario ?
Les IA génératives n'étant pas prévisibles par nature, comment on s'assure qu'elles fonctionnent tout le temps pour votre cas d'utilisation ? Comment comparer les performances de différents modèles pour des cas d'utilisation spécifiques, et s'assurer de la qualité de votre application IA avant de mettre en prod ?
On va faire un plongeon dans le monde de l'évaluation des LLMs, et voir que les benchmarks ne reflètent pas toujours les résultats réels. On va explorer différents outils d'évaluation et de test de modèles, afin de créer sa propre suite d'évaluation pour ensuite l'intégrer dans votre workflow.
Les IA génératives n'étant pas prévisibles par nature, comment on s'assure qu'elles fonctionnent tout le temps pour votre cas d'utilisation ? Comment comparer les performances de différents modèles pour des cas d'utilisation spécifiques, et s'assurer de la qualité de votre application IA avant de mettre en prod ?
On va faire un plongeon dans le monde de l'évaluation des LLMs, et voir que les benchmarks ne reflètent pas toujours les résultats réels. On va explorer différents outils d'évaluation et de test de modèles, afin de créer sa propre suite d'évaluation pour ensuite l'intégrer dans votre workflow.
Yohan Lasorsa
Microsoft
Passionné d'Open Source et d'artisanat logiciel, le web est le terrain de jeu ultime pour Yohan. Avec plus de 15 ans d'expérience dans divers domaines tels que la recherche appliquée sur le mobile et l'IoT, en passant par le développement et l'architecture d'applications cloud, il a commencé avec des stacks de bas niveau avant de plonger dans le développement web. En tant qu'ingénieur fullstack et bricoleur du dimanche, il aime maintenant pousser des morceaux de JavaScript partout où il peut, en partageant sa passion avec les autres.