Création d’un instrument d’évaluation des outils de recherche reposant sur l’intelligence artificielle pour la synthèse de données probantes

Messages clés

Quelle était la question?

Les producteurs de synthèses de données probantes sont soumis à des appels contradictoires : certains les enjoignent à adopter et d’autres à éviter les technologies récentes reposant sur l’intelligence artificielle (IA). Notre question était : comment évaluer les outils d’IA, qui évoluent à vitesse grand V, afin d’améliorer la production de synthèses de données probantes tout en maintenant des normes de qualité élevées?

Qu’avons-nous fait?

Afin de faire progresser la science de la recherche documentaire menant à la production de synthèses des données probantes à l’Agence des médicaments du Canada (CDA-AMC), l’équipe du Service d’information sur la recherche a mis sur pied un processus pour évaluer les outils de recherche prometteurs reposant sur l’IA. Nous avons répertorié 51 outils à l’automne 2023, et avons établi des critères de sélection, évalué des caractéristiques particulières et créé un instrument indépendant destiné à appuyer la surveillance et l’évaluation continues des nouveaux outils.

Qu’avons-nous trouvé?

Comme on assiste à un développement rapide des outils de recherche reposant sur l’IA, il faut un instrument d’évaluation flexible pour guider les décisions sur l’adoption et permettre la comparaison des outils. Nous avons dressé une liste de caractéristiques essentielles et souhaitables pour des outils destinés à appuyer les tâches de recherche documentaire menées par CDA-AMC. Nous avons ensuite pu créer un instrument flexible destiné à évaluer les nouveaux outils de recherche reposant sur l’IA dans une optique de synthèse des données probantes.

Qu’est-ce que ça signifie?

CDA-AMC a opérationnalisé un processus reproductible visant à surveiller et à évaluer les outils de recherche reposant sur l’IA. Notre approche à l’égard de l’évaluation des technologies d’IA fera progresser les méthodes de recherche documentaire utilisées par CDA-AMC, et notre instrument d’évaluation sera utile à tout producteur de synthèses de données probantes souhaitant adopter des outils de recherche reposant sur l’IA.