Audit des rapports sur le rendement mesuré en fonction des normes de service

3. Conclusions et recommandations

Objectif 1 : Évaluer l’utilité des données recueillies pour les rapports sur le rendement mesuré en fonction des normes de service applicables tant aux frais réglementaires qu’aux autres frais

Interprétation des normes aux fins de mesure

Les normes de service, pour les frais réglementaires comme pour les autres frais, ne précisent pas toutes aussi clairement les attentes en matière de rendement. Certaines précisent le début et la fin de la période de rapport (p. ex. « Les résultats sont communiqués au client dans les deux jours ouvrables suivant la réception de l’échantillon au laboratoire régional ») alors que d’autres normes sont moins précises et prêtent à interprétation. Par exemple, selon certaines normes, les résultats doivent être communiqués « dans X nombre de jours ouvrables suivant la réception de l’échantillon ». Il se peut que le client s’attende à ce que l’échantillon soit « reçu » s’il le laisse à un bureau régional ou à un centre de service, mais il arrive souvent que les échantillons doivent être transportés au Laboratoire de recherches sur les grains à Winnipeg avant que la vérification puisse commencer. De plus, les résultats doivent être communiqués au bureau régional avant de l’être au client. À cause de tout cela, le nombre de jours ouvrables requis pour le traitement des demandes peut être plus élevé que ce à quoi s’attend le client (c.-à-d. dans les limites de la norme de service).

Outre l’interprétation des dates de début et de fin pour le suivi des services, certaines normes de service nécessitent une interprétation de ce qu’il convient de mesurer (p. ex. l’affirmation « les grades sont exacts » n’explique pas comment la Commission canadienne des grains s’y prendra pour conclure que les grades sont exacts ou non). Bien que certaines unités, comme l’Unité de l’agrément, aient défini et documenté leur interprétation des normes de service, la plupart ne l’ont pas fait. Les Services d’audit et d’évaluation ont vérifié les résultats du rendement mesuré en fonction des normes de service applicables aux frais réglementaires. Pour la même norme de service, la région de l’Ouest et la région de l’Est ont parfois interprété différemment le type de suivi devant être effectué à l’égard du service en question. Des documents complets favoriseraient la cohérence en montrant que la Commission canadienne des grains suit une approche systématique pour recueillir des données exactes et appuie les réponses aux demandes de renseignements provenant du public ou d’organismes centraux.

Nous avons constaté que, dans bien des cas, il fallait interpréter les normes de service ou formuler des hypothèses en raison d’un manque de concordance entre les attentes fixées dans les normes de service et les procédures d’exploitation de la Commission canadienne des grains. Depuis que les normes de service ont été élaborées, les opérations de la Commission canadienne des grains ont été modifiées ou encore la technologie a évolué, d’où l’écart existant. Comme la direction n’a pas l’intention de mettre en œuvre de nouvelles normes ou de mettre à jour les normes existantes avant la prochaine révision des frais d’utilisation en 2018, les normes de service débordent le cadre du présent audit (voir la rubrique « Étendue »). Les Services d’audit et d’évaluation ont transmis à la direction nos observations et nos suggestions concernant les normes de service afin d’en faciliter l’examen à venir.

Recommandations :

1) Préciser les dates de début et de fin du suivi du rendement

Pour faciliter l’établissement de rapports sur le rendement par la Commission canadienne des grains, nous recommandons que, pour chacune des normes de service (frais réglementaires et autres), la direction consigne sur papier les dates de début et de fin des périodes de rapport et qu’elle justifie le choix de ces dates. Il se peut que l’interprétation de la période de rapport pour une norme diffère selon le code de droits, mais, dans la mesure du possible, elle devrait être la même pour l’ensemble des services.

(Incidence : moyenne)

2) Consigner les hypothèses

En ce qui concerne les normes de service qui exigeraient de plus amples explications quant à la mesure du rendement, nous recommandons que la direction indique :

  • la base de calcul des chiffres (numérateur et dénominateur pour le calcul du pourcentage s’il y a lieu),
  • le calcul des chiffres,
  • la justification des valeurs retenues.

Dans le cas où les deux régions fournissent des données pour la même mesure, la direction devait s’assurer que les valeurs sont établies d’après les mêmes méthodes, afin d’améliorer l’uniformité des résultats.

(Incidence : moyenne)

Objectif 2 : Évaluer l’exactitude, l’intégrité et la fiabilité des rapports sur les normes de service applicables aux frais réglementaires

Capacité de vérifier les résultats par rapport au rendement réel

Comme le rendement de la Commission canadienne des grains par rapport aux normes de service fait l’objet de rapports externes, il importe que les résultats soient exacts et fiables. À cet effet, le personnel des Services d’audit et d’évaluation a analysé les résultats communiqués et les méthodes utilisées pour l’obtention des résultats, et ce, pour l’ensemble des frais réglementaires. Pour certains frais, on a vérifié un échantillon de résultats. Nous n’avons pas pu vérifier de manière acceptable l’exactitude des résultats en ce qui a trait aux normes de service suivantes :

Frais Norme de service Explication
Inspection officielle à la sortie – navires « Lorsque le grain chargé est d'un grade autre que celui commandé, la Commission canadienne des grains en informe le personnel du silo par écrit à l’aide du formulaire IW-7. » En raison du volume élevé, des limites du système d’inspection sur le plan des rapports, d’un élément de subjectivité lié à la production de formulaires IW-7 (rapport de non-conformité présenté à un silo terminal par un inspecteur de la Commission canadienne des grains) et des connaissances spécialisées en matière d’inspection requises pour interpréter chacune des situations, il n’a pas été possible de recréer les résultats liés au rendement ou de les vérifier au moyen d’un échantillon. De plus, comme les deux régions utilisaient des méthodes de calcul différentes pour les résultats, les Services d’audit et d’évaluation n’ont pas pu déterminer si les résultats étaient censés.
Licence de pleine durée, licence à court terme « Les titulaires de licence qui demandent des renseignements recevront une réponse dans un délai d’un jour ouvrable. » Puisque la Commission canadienne des grains ne tient pas un registre des appels téléphoniques ni ne conserve les courriels portant sur des demandes de renseignements, les Services d’audit et d’évaluation n’ont pas pu vérifier si les demandes étaient toutes incluses dans les résultats. Nous avons constaté que les employés d’Autorisation et conformité n’utilisaient pas tous la feuille de suivi pour tenir des résultats exacts liés au rendement.

Les résultats liés au rendement obtenus par rapport aux normes de service qui ont trait aux échantillons présentés et aux demandes de wagons de producteur sont inscrits dans des rapports informatisés établissant le laps de temps entre l’entrée des données et la production d’un certificat ou d’une lettre issue du système. On peut donc vérifier ces résultats. Cependant, leur exactitude dépend de la rapidité avec laquelle le personnel de la Commission canadienne des grains entre les données de référence dans le système, ce qu’on ne pouvait vérifier. Lors de discussions, des employés et des gestionnaires ont confirmé chacun, auprès des Services d’audit et d’évaluation, que les procédures établies facilitent l’entrée et le traitement de données en temps voulu pour les activités indiquées. Pour les normes de service en question, l’avantage d’un rapport informatisé pour la production de rapports trimestriels l’emporte probablement sur le risque d’inexactitudes mineures dans les résultats. La direction devrait cependant être au fait des retards possibles dans la saisie de données, lesquelles ne feraient donc pas partie des données sur le rendement.

À l’exception des rapports informatisés concernant les normes de service susmentionnées, la plupart des résultats liés au rendement doivent faire l’objet d’un suivi manuel. En raison du volume relativement peu élevé, il n’existe pas de mécanisme de suivi officiel pour certaines normes de service, par exemple celles qui touchent la réinspection des échantillons soumis et la publication de documents sur le site Web de la Commission canadienne des grains (sept normes en tout). Par ailleurs, la mesure du rendement concernant la délivrance de documents relatifs à l’inspection de sortie et à la pesée dans les délais prévus est consignée pour chacun des navires, mais ne fait l’objet d’aucun suivi global. Grâce à des données de référence fiables, il a été possible de recréer les résultats liés au rendement pour les trois groupes de normes en question; cependant, vu le faible volume et le peu d’informations disponibles, des omissions ont été relevées dans les résultats communiqués au cours de l’audit. Les résultats auraient été plus précis s’ils avaient fait l’objet d’un suivi permanent tout au long de la période pendant laquelle le service était offert plutôt qu’à la fin du trimestre.

En ce qui concerne globalement les frais réglementaires, prenant en considération les interprétations des normes de service et les diverses hypothèses, conformément à l’objectif 1, les Services d’audit et d’évaluation ont conclu que la Commission canadienne des grains avait établi des méthodes appropriées de collecte de données sur le rendement et qu’il était possible de vérifier la majorité des données par rapport au rendement réel. Les conclusions et les observations concernant chacune des normes de service applicables aux frais réglementaires ont été transmises au Comité de direction de la Commission canadienne des grains de même qu’au Groupe de la planification et des rapports pour consultation.

Recommandations :

3) Revoir la méthode de mesure

Nous recommandons que la direction revoie la méthode utilisée pour mesurer les résultats par rapport aux normes de service étant donné l’impossibilité de vérifier ces résultats et qu’elle améliore les méthodes de suivi du rendement de manière à accroître la fiabilité et la vérifiabilité des données.

La direction devrait également faire le suivi des normes de service qui reposent sur des rapports informatisés pour s’assurer que les procédures d’exploitation continuent de favoriser l’établissement de rapports exacts sur le rendement.

(Incidence : moyenne)

4) Officialiser les méthodes de suivi

Nous recommandons d’adopter des méthodes de suivi officielles pour les normes de service applicables aux réinspections, à la publication de documents sur le site Web de la Commission canadienne des grains et à la délivrance de documents pour l’inspection et la pesée de sortie. Le suivi peut se faire au moyen d’un simple tableau ou feuille de calcul indiquant les transactions effectuées au cours du trimestre, ce qui faciliterait l’établissement de rapports exacts.

(Incidence : faible)

Examen et surveillance continus du rendement

Comme les données sur les frais réglementaires sont produites à l’intérieur de la Division des Services à l’industrie, celle-ci est responsable des résultats mesurés par rapport aux normes de service, à l’exception de quatre normes. Un adjoint administratif a été désigné au sein des Services à l’industrie pour recevoir et consigner les résultats trimestriels de la Division, qui sont ensuite revus par la direction avant d’être communiqués au Groupe de la planification et des rapports pour être regroupés et présentés au Comité de direction au fins d’approbation.

Au cours de l’audit, les Services d’audit et d’évaluation ont vérifié un échantillon de normes de service pour certains trimestres de 2014-2015 afin de confirmer les résultats liés au rendement. Malgré les niveaux d’examen, les vérifications ont permis aux Services d’audit et d’évaluation de déceler, ou d’aider l’unité de travail à déceler, des erreurs dans le rapport sur le rendement en fonction des normes de service du troisième trimestre qui avait déjà été examiné et approuvé. En tout, neuf normes de service étaient visées par les erreurs qui n’auraient autrement pu être décelées. Il est vrai que certaines erreurs auraient difficilement pu être décelées n’eut été les calculs effectués à nouveau par une autre personne à partir de données de référence, mais d’autres erreurs étaient plus apparentes. Par exemple :

  • Des données sur le rendement ont été produites pour deux frais d’inspection et de pesée pour le premier trimestre de l’année, tandis que pour les deuxième et troisième trimestres, aucune transaction n’a été consignée. Comme la direction avait renoncé à offrir le service durant l’exercice précédent, il était fort peu probable que des transactions eussent été enregistrées pour les codes de frais en question, ce qui a été confirmé au moyen d’un examen des résultats financiers indiquant qu’aucun revenu ne provenait de ces frais durant le trimestre. Les chiffres ont donc été entrés dans le rapport par erreur.
  • Pour deux frais distincts, les méthodes de rapport utilisées au premier trimestre ont été jugées inadéquates par la suite et des modifications y ont été apportées pour améliorer les données des trimestres suivants. Les données du premier trimestre n’ont pas été corrigées malgré l’information disponible.

Il est évident qu’une meilleure fonction de contrôle s’impose pour la surveillance, l’examen et la vérification des résultats.

Recommandation :

5) Examen des résultats par la direction

Nous recommandons de renforcer l’examen des résultats liés au rendement en fonction des normes de service pour en améliorer l’exactitude et le caractère raisonnable, en commençant par le niveau de gestion de l’unité de travail. À cet effet, il conviendrait de tenir des discussions avec les principaux fournisseurs de données au sujet des résultats trimestriels et de vérifier régulièrement ceux-ci à la lumière de données justificatives pour la norme de service en particulier s’il y a lieu. La direction devrait confirmer qu’elle a bel et bien mené un examen minutieux des résultats et se porter garante du rapport sur le rendement en fonction des normes de service.

(Incidence : moyenne )

Administration des rapports sur le rendement mesuré en fonction des normes

En tant qu’unité responsable pour les organismes centraux et les rapports externes de la Commission canadienne des grains, le Groupe de la planification et des rapports recueille des données et rend compte des résultats de l’organisme mesurés en fonction des normes de service. Ce groupe jouit d’une perspective unique et indépendante, car il ne produit pas de résultats liés aux normes de service, mais il est en contact avec tous les auteurs de normes de service et a rapidement accès aux résultats consolidés. Les normes de service couvrent tout un éventail de services au sein de la Commission canadienne des grains, des régions à l’administration centrale, des laboratoires d’analyse des Services à l’industrie au Laboratoire de recherches sur les grains. Comme les contributions au rendement mesuré en fonction des normes de service proviennent de maints intervenants et que nombreux sont les auteurs de normes, il est difficile pour une unité de travail d’avoir une bonne compréhension des répercussions de chaque résultat et de sa relation avec les autres normes de service. Les résultats de l’audit montrent qu’il est nécessaire d’établir un point de contrôle central, incluant les erreurs et les hypothèses non documentées (et parfois inconnues auparavant) et toutes incohérences dans le suivi des normes de service et les rapports.

Avant l’audit, le Groupe de la planification et des rapports se concentrait principalement sur la collecte de résultats et n’exerçait pas une fonction de contrôle importante. Au nombre des activités de contrôle, on s’interrogeait sur les résultats inhabituels ou inattendus ou encore sur les cas où « aucun service n’est requis », on évaluait le caractère raisonnable des résultats en se fondant sur les événements opérationnels survenus au cours du trimestre et l’on vérifiait régulièrement (entretiens ou vérification d’échantillons) l’exactitude des résultats liés au rendement et des données justificatives. Au quatrième trimestre de 2014 2015, le Groupe de la planification et des rapports a entrepris une comparaison de haut niveau entre les résultats obtenus en fonction des normes de service et les recettes provenant des frais d’utilisation, et il a fait part à la direction d’un résultat inattendu. Voilà des mesures positives qui déboucheront sur la création d’une fonction de contrôle efficace dans le processus d’établissement de rapports sur le rendement par rapport aux normes de service.

Recommandation :

6) Améliorer la fonction de contrôle

Nous recommandons d’attribuer clairement un rôle de contrôle des normes de service au Groupe de la planification et des rapports. Nous recommandons également que le Groupe détermine les mesures à prendre, chaque trimestre, pour confirmer les résultats liés au rendement par rapport aux normes de service et qu’il tienne un registre central dans lequel sont consignées les interprétations et les hypothèses comme il en a été question dans les recommandations 1 et 2.

(Incidence : moyenne)

Objectif 3 : Examiner les données préliminaires sur le rendement pour les frais non visés par des dispositions réglementaires et fournir des avis sur l’efficacité des méthodes de rapport proposées.

Normes de service applicables aux frais non visés par des dispositions réglementaires

Bien que certaines tâches aient été accomplies relativement au troisième objectif de l’audit, celui-ci portait principalement sur les frais réglementaires en raison des recettes s’y rattachant et des conséquences possibles du non-respect des normes de service. La Commission canadienne des grains s’efforce de respecter toutes les normes de service, mais l’inobservation des normes non visées par des dispositions réglementaires n’entraîne aucune conséquence financière.

À la fin du troisième trimestre (période visée par l’étendue de l’audit), les auteurs des normes de service en étaient encore à déterminer les méthodes les plus appropriées pour recueillir et communiquer les données relatives au rendement dans le cas des normes non visées par des dispositions réglementaires. Les Services d’audit et d’évaluation ont pris part à des discussions avec les différentes unités de travail ainsi qu’avec le Groupe de la planification et des rapports et ils ont fourni au besoin des avis sur les méthodes. Des données complètes sur le rendement pour les frais non visés par des dispositions réglementaires ont fait l’objet de rapports internes pour la première fois à la fin du quatrième trimestre. Les Services d’audit et d’évaluation n’ont pas revu en détail ces résultats, mais nous avons constaté que les mêmes recommandations globales peuvent s’appliquer aux normes de service non visées par des dispositions réglementaires.

Recommandation :

Aucune.