Évaluation du Programme d’échantillons de récolte - Méthodologie

Méthodologie

Approche d'évaluation

L'évaluation s'est appuyée sur de nombreux éléments de preuve dont un examen des documents, un examen des données du programme, des entrevues avec des informateurs clés, des enquêtes auprès des producteurs et une recension des écrits. Grâce à l'emploi de nombreux éléments de preuve et à la triangulation des constatations, la méthodologie de recherche a permis de réaliser une évaluation exhaustive du Programme d'échantillons de récolte.

Examen des documents

L'examen des documents a abordé des enjeux d'évaluation concernant la pertinence et le rendement du Programme d'échantillons de récolte. Au total, 47 documents ont été examinés aux fins de l'évaluation (Annexe 5), notamment les suivants :

  • les lois, notamment la Loi sur les grains du Canada;
  • le modèle logique du programme;
  • les rapports annuels sur la qualité des récoltes;
  • les discours du Trône;
  • les rapports ministériels sur le rendement;
  • les rapports sur les plans et les priorités;
  • les rapports de dépenses relatives au programme;
  • des évaluations et examens antérieurs du Programme d'échantillons de récolte.

Examen des données du programme

Les données du programme ont été examinées dans le but d'obtenir de l'information sur la pertinence et le rendement du Programme d'échantillons de récolte. Parmi les données analysées dans le cadre de l'évaluation, mentionnons le nombre de producteurs inscrits à la base de données du programme, les données d'anciens sondages sur la satisfaction de la clientèle, les rapports sommaires annuels du programme (qui incluent les taux de participation des producteurs), et les données sur le rendement relatives aux visites à la page Web du programme ainsi qu'aux pages Web des rapports annuels sur la qualité des récoltes de la Commission canadienne des grains.

Entrevues avec des informateurs clé

Au total, 83 entrevues ont été menées avec des informateurs clés entre octobre 2015 et février 2016 afin d'aborder les enjeux d'évaluation ayant trait à la pertinence et au rendement du programme. Les répondants ont été désignés de concert avec le Comité directeur du projet. Ils ont reçu un courriel leur expliquant le but et le calendrier des entrevues, une lettre d'introduction de la Commission canadienne des grains, ainsi qu'une copie du questionnaire d'entrevue. Les entrevues se sont déroulées par téléphone et les réponses ont été compilées et analysées au moyen d'Excel. Compte tenu de contraintes relatives à la fixation de dates d'entrevue par téléphone, du décalage horaire et de la barrière de la langue, certains acheteurs internationaux ont pu soumettre leurs commentaires par l'entremise d'un questionnaire écrit. On trouvera dans le tableau 3.1 le nombre de répondants interrogés et le taux de réponse pour chaque groupe d'intervenants.

Tableau 3.1 : Données d’entrevue avec des informateurs clés par cohorte
Groupe Échantillon initial Échantillon valide Cible Réel % de la cible Taux de réponse Erreur d’échant. prévueNote de bas de page1
Représentants de la Commission canadienne des grains 28 28 20 26 130 % 92,8 % 5,2 %
Associations 49 47 15 19 127 % 40,4 % 17,5 %
Sociétés céréalières et acheteurs nationaux 44 40 15 21 140 % 52,5 % 14,9 %
Acheteurs et transformateurs internationaux 69 63 20 17 85 % 26,9 % 20,5 %
Total 190 178 70 83 119 % 46,6 % 7,9 %

Enquêtes auprès des producteurs

Entre novembre et décembre 2015, des enquêtes ont été menées auprès de 1 207 producteurs participant au Programme d'échantillons de récolte, et de 125 producteurs inscrits mais qui n'ont pas participé au programme. Ces enquêtes visaient à obtenir de l'information des producteurs ayant soumis des échantillons au sujet de l'utilisation et de l'avantage de l'évaluation non officielle du grade et de la qualité des grains, de leur motivation à participer, et de leur degré de satisfaction à l'égard des services reçus. L'enquête destinée aux producteurs inscrits mais n'ayant pas participé était conçue pour obtenir de l'information au sujet de leur motivation à s'inscrire et des raisons pour lesquelles ils n'ont jamais soumis d'échantillons.

Les répondants de l'enquête provenaient de la base de données des producteurs du Programme d'échantillons de récolte, qui compte 6 727 producteurs actifs. La base de données comprenait 2 449 producteurs sans adresse courriel et 4 278 avec adresse courriel, dont 193 comptaient de multiples inscriptions et qui ont été exclus. Les 4 085 producteurs avec adresse courriel qui restaient ont reçu une invitation à participer à l'enquête. En outre, 200 producteurs sans adresse courriel, choisis au hasard, ont reçu une copie papier de l'enquête. Les participants ont reçu une communication préalable à l'enquête qui comprenait une lettre d'introduction et une copie du questionnaire. Au total, trois courriels de rappel ont été envoyés aux producteurs possédant une adresse courriel et l'ensemble des participants a reçu au moins un rappel téléphonique. Des adresses courriel à jour ont été obtenues pour les producteurs dont l'invitation initiale avait rebondi et de nouvelles invitations ont été envoyées. Les réponses à l'enquête ont été codées et nettoyées avec Excel et résumées par élément d'évaluation.

Le tableau 3.2 présente le nombre d’enquêtes effectuées et le taux de réponse de chaque cohorte.

Tableau 3.2 : Données clés sur les enquêtes par cohorte
Groupe Échantillon initial Invalide ou ayant rebondi Échantillon valide Cible Terminé % de la cible Taux de réponse Marge d’erreurNote de bas de page1
Producteurs participants 4 285 413 3 872 1 000 1 207 121 % 31,2 % 2,3 %
Producteurs non participants S.O. S.O. S.O. 150 125 83 % S.O. S.O.

Recension des écrits et analyse comparative de programmes similaires

La recension des écrits et l'analyse comparative ont été effectuées afin d'obtenir de l'information concernant la nécessité du Programme d'échantillons de récolte et de comparer l'efficacité et l'efficience du programme avec celles de programmes similaires au Canada et dans d'autres pays. D'autres programmes ont été recensés de concert avec le Comité directeur de l'évaluation et comprenaient, entre autres, ceux des organismes suivants :

  • Institut international du Canada pour le grain
  • Grain Farmers of Ontario
  • US Wheat Association
  • Australian Grain Growers Association/Australian Export Grains Innovation Centre FranceAgrimer/Arvalis
  • Agriculture and Horticulture Development Board's Cereals and Oilseeds Division du Royaume-Uni

Au total, 50 sites Web, articles de journaux et sources de données non officielles ont été examinées (Annexe 6).

Considérations méthodologiques

Voici certaines des limitations associées à l'évaluation et des stratégies utilisées pour atténuer ces limitations.

Les réponses données aux entrevues avec les informateurs clés peuvent présenter un biais. Nous avons atténué cette limitation :

  • en communiquant le but, la conception et la méthodologie de l'évaluation de façon claire, et en assurant la stricte confidentialité des réponses;
  • en contrevérifiant les réponses avec celles d'autres groupes d'intervenants;
  • en utilisant de multiples éléments de preuve;
  • en assurant la triangulation des résultats de l'évaluation.

Le nombre relativement peu élevé d'entrevues réalisées avec des acheteurs internationaux et des transformateurs de grains canadiens rend plus difficile la tâche de s'assurer que les résultats sont probants et d'étendre ceux-ci aux intervenants internationaux qui utilisent les rapports annuels sur la qualité des récoltes et d'autres renseignements.

Date de modification :