Notre projet de recherche adopte une démarche interdisciplinaire alliant le droit et les sciences de l’information. Chaque étape du projet reflète des choix méthodologiques qui empruntent à ces deux disciplines.

L’équipe de recherche a conçu des documents internes détaillant les méthodes adoptées. Certains de ces documents sont disponibles à partir de cette page.

Définition des facettes

Nos facettes décrivent le sujet ou contenu des décisions de justice (facettes-contenu) plutôt que leurs métadonnées (facettes-forme). Le questionnement est alors le suivant : Quelles facettes retenir pour l’indexation des décisions de justice? Comment représenter la situation factuelle à l’origine du litige? Comment représenter le droit appliqué par le tribunal?

L’analyse d’échantillons de logs d’utilisateurs de SOQUIJ et la répartition des mots-clés figurant dans ces logs au sein des facettes de Ranganathan ou de Gaius nous ont permis d’identifier les facettes les plus peuplées. Puis, nous avons nous-mêmes indexé par facettes, en vocabulaire libre, plusieurs décisions. Ces essais ont montré que les facettes de Ranganathan et de Gaius trouvent leur utilité première dans la description de la situation factuelle à l’origine du litige et non du droit mobilisé pour y répondre. Notre projet se démarque ainsi d’autres tentatives de développer une classification à facettes dans le domaine juridique, où ce sont principalement des concepts juridiques qui sont organisés en facettes.

Ainsi, les concepts qui décrivent la situation factuelle à l’origine du litige appartiennent à l’une des facettes retenues au terme de notre analyse : Personne, Action, Chose ou Contexte.

Pour représenter le droit appliqué par le tribunal, nous avons recours aux catégories juridiques que nous scindons en deux classes : Régime juridique et Sanction. La première désigne les catégories du droit substantiel, tandis que la deuxième vise les sanctions ou recours retenus ou envisagés par le tribunal.

Choix des domaines et échantillon

La banque de données Gaius ne couvre pas tout le droit, car nous souhaitions y retrouver une densité suffisante de décisions semblables. Nous avons choisi d’y représenter le droit des obligations, le droit administratif et le droit du travail. Ces domaines reflètent la composition de l’ordre juridique québécois puisqu’on y retrouve du droit privé et du droit public, du droit civil et de la common law, du droit d’origine législative et d’origine jurisprudentielle, du droit provincial et du droit fédéral ainsi que du droit commun et du droit spécial. Nous avons sélectionné de manière aléatoire un échantillon de décisions des tribunaux se rapportant à ces domaines.

Consultez notre procédure d’échantillonnage.

Développement des vocabulaires contrôlés

Les vocabulaires contrôlés relevant des classes Régime juridique et Sanction, respectivement, ont été établis grâce à une analyse des domaines du droit que nous avons retenus. Nous avons étudié la structure et les principaux concepts décrivant des lois ou parties de loi de même que des ensembles jurisprudentiels. Pour chaque catégorie juridique, nous avons précisé les articles de loi ou les arrêts de principe qui la composent. Nous avons établi une hiérarchie à deux niveaux en privilégiant des catégories ni trop générales, ni trop spécifiques.

Nous avons procédé différemment pour développer le vocabulaire contrôlé permettant de renseigner les facettes Personne, Action, Chose et Contexte. Ce vocabulaire constitué de termes issus de la langue naturelle et de la terminologique juridique a été développé au fur et à mesure de l’indexation. Les termes d’indexation proposés par les indexeurs ont été approuvés et intégrés aux vocabulaires sous le contrôle d’Alexandre Fortier travaillant de concert avec Michelle Cumyn.

Nous avons construit nos vocabulaires à l’aide de TemaTres, un logiciel libre de gestion et d’exploitation des vocabulaires contrôlés.

Consultez le vocabulaire de la classe Régime juridique dans TemaTres.

Consultez le vocabulaire de la classe Sanction dans TemaTres.

Consultez le vocabulaire employé pour les facettes Personne, Action, Chose et Contexte dans TemaTres.

Programmation de Gaius : interface pour les indexeurs

[Cette section est à venir]

Indexation

Notre modèle repose sur l’indexation par assignation à partir des vocabulaires contrôlés que nous avons constitués. L’indexation a été réalisée par les auxiliaires de recherche étudiants en droit sous la direction de Michelle Cumyn et de Charles Tremblay-Potvin. Tous ont reçu une formation en indexation dispensée par Michèle Hudon. Dans l’interface d’indexation de Gaius, l’indexeur sélectionnait les termes d’indexation à même les vocabulaires existants ou suggérait l’ajout de nouveaux termes. Il appartenait à l’indexeur de renseigner chacune des facettes à l’aide du vocabulaire approprié.

L’assignation des termes d’indexation aux facettes Personne, Action, Chose et Contexte, qui représentent la situation factuelle à l’origine du litige, a donné lieu à des problèmes de cohérence dans l’indexation. Il a été nécessaire d’arrêter certains choix par convention. Ces choix ont été représentés au moyen de patrons.

Consultez notre politique d’indexation.

Voir des exemples de patrons. [à venir]

Étude d’utilisabilité

L’étude d’utilisabilité avait pour but de vérifier si l’interface à facettes principale, qui représente notre modèle, est plus performante qu’une interface de recherche usuelle. Les paramètres de cette étude ont été établis par Michelle Cumyn, David Lesieur et Sabine Mas.

D’autres recherches ont démontré la supériorité de l’indexation en vocabulaire contrôlé sur l’indexation en vocabulaire libre. Nous voulions mesurer le seul apport de l’interface à facettes, par opposition à une interface qui ne comporterait pas de facettes ou qui en comporterait un nombre réduit. Nous avons donc conçu deux interfaces simplifiées à partir de l’interface principale. Les fonctions de recherche, l’indexation des décisions et la présentation des résultats de recherche sont identiques, sauf que certaines facettes sont fusionnées dans les interfaces simplifiées.

Explorez les trois interfaces de l’étude d’utilisabilité.

Sous la direction de Michelle Cumyn, des auxiliaires de recherche qui n’étaient pas familiers avec Gaius ont conçu dix tâches qui représentent trois types de recherche différents et de complexité croissante. Les tâches du premier type consistent à retrouver une décision en particulier, à partir d’un bref résumé de celle-ci. Les tâches du deuxième type consistent à repérer un ensemble de décisions répondant à des critères de recherche précis. Les tâches du troisième type exigent que l’utilisateur qualifie les faits du problème ou y réponde au moyen d’une analogie.

Nous avons mené l’étude d’utilisabilité auprès de deux groupes de 36 participants: des étudiants du baccalauréat en droit (novices) et des chercheurs avec plus d’une année d’expérience d’utilisation régulière des banques de données juridiques au Québec (experts). Des appels à participation ont été lancés par courriel et par l’entremise des réseaux sociaux aux étudiants de l’Université Laval, de l’Université de Sherbrooke et de l’Université de Montréal; ils ont aussi été relayés par des réseaux professionnels de bibliothécaires et de recherchistes en droit.

Les participants ont réalisé les 10 tâches de recherche dans la banque de données Gaius. Tous ont complété les tâches de recherche dans le même ordre, en essayant successivement les trois interfaces de recherche. L’ordre des interfaces variait selon le groupe auquel ont été aléatoirement associés les participants, ce qui a permis de contrebalancer l’effet d’apprentissage ou l’effet de fatigue qui pourraient affecter les résultats.

Voyez les tâches demandées aux participants à l’étude d’utilisabilité.

Pour comparer la performance des trois interfaces de recherche, nous avons retenu les indicateurs de performance suivants (variable dépendante): 1) Succès ou échec dans la réalisation de la tâche (pour toutes les tâches); 2) Précision, rappel et mesure F (pour les tâches du deuxième type); 3) Temps requis pour compléter la tâche, mesuré en secondes (pour toutes les tâches). Nous avons tenté d’expliquer les résultats obtenus par une analyse du comportement des utilisateurs grâce à la journalisation des opérations réalisées dans Gaius. Enfin, nous avons tenu compte de la satisfaction des utilisateurs à partir de leurs réponses à un bref questionnaire.

La collecte de données a été réalisée par les auxiliaires de l’EBSI sous la direction de Sabine Mas et les analyses statistiques par Anne-Sophie Julien du service de statistique de l’Université Laval.

Pour connaître les résultats de l’étude d’utilisabilité, voyez la rubrique « Publications de l’équipe » de la bibliographie du projet.

Programmation de Gaius : interfaces pour les utilisateurs, test et journalisation

Des outils d’enregistrement, de gestion, d’enrichissement et d’exportation des transactions des participants (ou logs d’utilisateur) ont été intégrés à Gaius pour la durée de l’étude d’utilisabilité. Ils nous ont permis d’automatiser le prélèvement des données nécessaires aux analyses. Ils nous ont fournis également des informations sur le comportement de recherche des participants au test, notamment quant à l’utilisation des fonctions de recherche et des facettes. Ces travaux ont été réalisés par David Lesieur sous la supervision de Sabine Mas.

Données brutes

L’équipe de recherche n’a exploité qu’une petite partie des données brutes résultant de l’étude d’utilisabilité. Ces données pourraient éclairer d’autres recherches sur le comportement des utilisateurs de banques de données juridiques.

Obtenir les données de la recherche.