EvalFlowConseilGuide de l'utilisateurUser guide
Conduire une évaluation de programme complète dans EvalFlow, du cadrage du mandat au rapport final. Comptez vingt minutes de lecture. Running a complete program evaluation in EvalFlow, from mandate framing to the final report. About twenty minutes of reading.
Premiers pasFirst steps
À la première ouverture, une entente de confidentialité s'affiche. Cochez les deux cases pour accéder à l'application. Elle ne réapparaîtra plus. On first access, a confidentiality agreement appears. Tick both boxes to enter the application. It will not appear again.
Nom, organisation, adresse professionnelle et mot de passe d'au moins dix caractères avec majuscule, minuscule et chiffre. Vous recevez un courriel de bienvenue. Name, organization, work email and a password of at least ten characters including uppercase, lowercase and a digit. You receive a welcome email.
Le sélecteur FR/EN en haut à droite traduit l'interface et les analyses produites par l'intelligence artificielle. Votre choix est mémorisé. The FR/EN switch at the top right translates the interface and the analyses generated by artificial intelligence. Your choice is remembered.
Le principe de l'outilHow the tool works
EvalFlow s'organise autour du mandat actif, sélectionné en haut de chaque écran. Tout ce que vous créez — documents, entrevues, données, analyses — appartient à ce mandat et n'apparaît que lorsqu'il est sélectionné. Changer de mandat change tout le contenu affiché. EvalFlow is organized around the active mandate, selected at the top of every screen. Everything you create — documents, interviews, data, analyses — belongs to that mandate and only appears when it is selected. Switching mandates switches all the content shown.
L'intelligence artificielle prépare, structure et documente. Vous jugez et vous signez. Chaque analyse produite est une proposition à vérifier, jamais une conclusion. C'est votre nom qui figure sur le rapport. Artificial intelligence prepares, structures and documents. You judge and you sign. Every generated analysis is a proposal to be verified, never a conclusion. It is your name on the report.
1 · MandatMandate
Tout commence ici. Deux façons de procéder. Everything starts here. Two ways to proceed.
À partir d'un documentFrom a document
Si vous disposez d'un énoncé de travaux, d'un appel d'offres ou de termes de référence, importez-le : l'IA en extrait le programme évalué, le contexte, les parties prenantes, le budget, l'échéancier et les questions d'évaluation. Le formulaire se pré-remplit. Vérifiez chaque champ avant de créer le mandat. If you have a statement of work, a request for proposals or terms of reference, import it: AI extracts the program, context, stakeholders, budget, timeline and evaluation questions. The form is pre-filled. Review every field before creating the mandate.
Les questions déduites — celles que le document n'énonce pas explicitement —
sont marquées [proposée]. Validez-les ou reformulez-les.
Inferred questions — those the document does not state explicitly — are marked
[proposed]. Validate or rephrase them.
À la mainManually
Remplissez le formulaire. Le champ Contexte et mandat est le plus important : indiquez qui commande l'évaluation, pourquoi maintenant, et quelle décision le rapport doit éclairer. Fill in the form. The Context and mandate field matters most: state who commissioned the evaluation, why now, and what decision the report must inform.
Le référentiel de critèresThe criteria framework
Sept référentiels sont intégrés. Choisissez celui de votre commanditaire : Seven frameworks are built in. Choose the one used by your commissioner:
| RéférentielFramework | Quand l'utiliserWhen to use it |
|---|---|
| OCDE (CAD) / OECD (DAC) | Référence internationale par défaut : pertinence, cohérence, efficacité, efficience, impact, durabilité Default international reference: relevance, coherence, effectiveness, efficiency, impact, sustainability |
| UNICEF | Ajoute équité, égalité des genres et droits de l'enfant Adds equity, gender equality and child rights |
| Banque mondiale (IEG)World Bank (IEG) | Inclut l'analyse coûts-avantages et la performance de l'emprunteur Includes cost-benefit analysis and borrower performance |
| ONU / ALNAP | Contexte humanitaire : couverture des plus vulnérables, connectivité Humanitarian context: coverage of the most vulnerable, connectedness |
| SCT QuébecQuébec Treasury Board | 16 questions normalisées, obligatoires selon la phase du programme 16 standardized questions, mandatory depending on program phase |
Avec le référentiel du SCT, un bouton affiche les seize questions normalisées et signale lesquelles sont obligatoires selon la phase du cycle de vie. Un clic les ajoute à vos questions d'évaluation. With the Québec Treasury Board framework, a button lists the sixteen standardized questions and flags which are mandatory for the program's life-cycle phase. One click adds them to your evaluation questions.
2 · DocumentationDocumentation
Importez ici tout ce qui documente le programme : rapports d'évaluation antérieurs, cadres logiques, plans stratégiques, redditions de comptes. Formats acceptés : PDF, Word et texte. Import everything that documents the program here: previous evaluation reports, logical frameworks, strategic plans, accountability documents. Accepted formats: PDF, Word and text.
Chaque document peut être analysé de six façons : résumé structuré, fiche de lecture, méthodologie de l'étude, résultats, pertinence pour votre mandat, ou lecture critique. Each document can be analyzed in six ways: structured summary, reading sheet, study methodology, findings, relevance to your mandate, or critical appraisal.
Chaque constat tiré d'un PDF est suivi de sa page — « le taux de décrochage atteint 18 % (p. 12) ». Vous pouvez vérifier chaque affirmation, et vos lecteurs aussi. Every finding drawn from a PDF carries its page — “the dropout rate reaches 18% (p. 12)”. You can verify every statement, and so can your readers.
3 · Modèle logiqueLogic model
Le modèle logique explicite la chaîne de résultats du programme : intrants → activités → extrants → résultats à court, moyen et long terme → objectif. The logic model makes the program's results chain explicit: inputs → activities → outputs → short, medium and long-term outcomes → goal.
L'IA le construit à partir du mandat et des documents joints. Elle distingue rigoureusement les extrants (produits directs, quantifiables : nombre de séances, de participants rejoints) des résultats (changements mesurables chez le groupe visé : connaissances, comportements, conditions). AI builds it from the mandate and attached documents. It rigorously distinguishes outputs (direct, countable products: number of sessions, participants reached) from outcomes (measurable changes in the target group: knowledge, behaviours, conditions).
Portez attention à la section maillons manquants : elle signale les sauts logiques — une activité sans résultat plausible, ou un résultat qu'aucune activité ne produit. C'est souvent là que se trouve la vraie faiblesse d'un programme. Pay attention to the missing links section: it flags logical gaps — an activity with no plausible outcome, or an outcome that no activity produces. This is often where a program's real weakness lies.
4 · Devis méthodologiqueMethodological design
C'est le cœur de l'outil. À partir du mandat, des documents et du modèle logique, l'IA produit : This is the heart of the tool. From the mandate, documents and logic model, AI produces:
- l'approche — qualitative, quantitative ou mixte — justifiée élément par élément de votre mandat the approach — qualitative, quantitative or mixed — justified point by point against your mandate
- la matrice d'évaluation : chaque question avec ses indicateurs, sources, méthodes de collecte et d'analyse the evaluation matrix: each question with its indicators, sources, collection and analysis methods
- des indicateurs SMART décomposés, avec cible chiffrée et échéance SMART indicators, broken down, with numeric target and deadline
- la stratégie d'échantillonnage et sa justification the sampling strategy and its rationale
- les limites méthodologiques et leurs stratégies d'atténuation the methodological limitations and mitigation strategies
- les informations manquantes du mandat qui affaiblissent le devis the missing information in the mandate that weakens the design
5 · Revue de littératureLiterature review
Recherche dans plus de 260 millions de publications scientifiques, toutes langues et tous pays. EvalFlow vérifie chaque lien avant de l'afficher : les résultats proposés s'ouvrent réellement. Search across more than 260 million scientific publications, all languages and countries. EvalFlow checks every link before displaying it: the results offered actually open.
Cliquez sur Consulter et analyser : le document s'affiche dans l'application, et vous choisissez le type d'analyse. L'option Pertinence pour mon mandat compare l'étude à votre évaluation et indique ce qui est transférable. Click View and analyze: the document displays inside the application, and you choose the analysis type. The Relevance to my mandate option compares the study to your evaluation and indicates what is transferable.
6 · EntrevuesInterviews
Le protocole de prise de paroleThe speaking protocol
C'est la règle la plus importante de cette section. Chaque personne se présente en prenant la parole : « Je suis Mathias, évaluateur », « Je suis Madame Marilène, intervenante ». EvalFlow s'appuie sur ces présentations pour attribuer les tours de parole et produire un verbatim propre. This is the most important rule in this section. Each person introduces themselves when they start speaking: “I am Mathias, evaluator”, “I am Ms. Marilène, caseworker”. EvalFlow relies on these introductions to attribute speaking turns and produce a clean verbatim.
EnregistrerRecording
Utilisez Chrome ou Edge : la transcription en direct n'est pas disponible sur Safari. L'audio est conservé et réécoutable. À l'arrêt, un écran de vérification vous permet de corriger les noms ou mots mal transcrits avant l'enregistrement — profitez-en, c'est plus rapide que de corriger après. Use Chrome or Edge: live transcription is not available on Safari. Audio is kept and can be replayed. When you stop, a review screen lets you correct misheard names or words before saving — use it, it is faster than correcting later.
Vous pouvez aussi coller une transcription réalisée ailleurs. You can also paste a transcript produced elsewhere.
L'analyseThe analysis
Chaque entrevue est analysée au regard des questions d'évaluation du mandat. Pour chacune, vous obtenez l'apport de cette entrevue, les verbatims d'appui, et une indication de couverture — forte, partielle ou nulle. S'ajoutent les thèmes, la tonalité, les signaux faibles et les incohérences internes du discours. Each interview is analyzed against the mandate's evaluation questions. For each one you get what this interview contributes, supporting verbatims, and a coverage indication — strong, partial or none. Themes, tone, weak signals and internal inconsistencies in the account are added.
7 · Analyse qualitativeQualitative analysis
La synthèse croise toutes les entrevues du mandat. C'est la fonctionnalité la plus distinctive d'EvalFlow. The synthesis cross-analyzes all interviews in the mandate. This is EvalFlow's most distinctive feature.
Pour chaque question d'évaluation, vous obtenez le constat d'ensemble, la force de la preuve et le nombre de sources convergentes. Puis viennent les contradictions entre narratifs : pour chacune, le sujet, la position de chaque source avec verbatim, les explications plausibles — position dans l'organisation, intérêts, temporalité — et la démarche de triangulation recommandée pour trancher. For each evaluation question you get the overall finding, the strength of evidence and the number of converging sources. Then come the contradictions between accounts: for each one, the subject, each source's position with verbatim, plausible explanations — organizational position, interests, timing — and the recommended triangulation to resolve it.
La section interprétation distingue explicitement constats (faits), analyses et jugements évaluatifs — la distinction fondamentale du métier. The interpretation section explicitly distinguishes findings (facts), analyses and evaluative judgements — the profession's fundamental distinction.
8 · Analyse quantitativeQuantitative analysis
Trois façons d'importer vos données : un fichier CSV, Excel ou TSV ; un copier-coller direct depuis un tableur ; ou la reprise des jeux déjà chargés dans le mandat. Un jeu d'exemple permet de découvrir l'espace d'analyse. Three ways to import your data: a CSV, Excel or TSV file; a direct paste from a spreadsheet; or resuming datasets already loaded in the mandate. A sample dataset lets you explore the workspace.
L'espace d'analyse suit l'organisation d'un logiciel statistique : panneau des variables avec leur type et leurs manquants, aperçu des données, menu d'analyses, et fenêtre de résultats où chaque analyse s'empile horodatée. The workspace follows the layout of statistical software: a variables panel with types and missing values, a data preview, an analysis menu, and a results pane where each analysis stacks up with a timestamp.
| AnalyseAnalysis | Ce qu'elle produitWhat it produces |
|---|---|
| DescriptivesDescriptives | Moyenne, médiane, écart-type, quartiles, histogrammes Mean, median, standard deviation, quartiles, histograms |
| Comparaison de groupesGroup comparison | Test t de Welch ou ANOVA, avec ampleur d'effet (d de Cohen, η²) Welch's t-test or ANOVA, with effect size (Cohen's d, η²) |
| Tableau croiséCross-tabulation | Chi², V de Cramér, alerte si les effectifs attendus sont faibles Chi², Cramér's V, warning if expected counts are low |
| CorrélationsCorrelations | Coefficient de Pearson, force, rappel que corrélation ≠ causalité Pearson coefficient, strength, reminder that correlation ≠ causation |
L'interprétation IA relie ensuite chaque résultat aux questions d'évaluation, distingue significativité statistique et importance pratique, et signale les limites — taille d'échantillon, données manquantes, biais possibles. The AI interpretation then links each result to the evaluation questions, distinguishes statistical significance from practical importance, and flags limitations — sample size, missing data, possible biases.
9 · RapportReport
Le rapport compile automatiquement le mandat, le modèle logique, le devis méthodologique, la synthèse qualitative avec ses contradictions, et les analyses quantitatives. Structure professionnelle : sommaire exécutif, contexte, méthodologie, constats par question, interprétation, recommandations, limites. The report automatically compiles the mandate, logic model, methodological design, qualitative synthesis with its contradictions, and quantitative analyses. Professional structure: executive summary, context, methodology, findings by question, interpretation, recommendations, limitations.
Téléchargez-le en Word pour le finaliser à votre main. Download it as Word to finalize it in your own words.
Vos donnéesYour data
Vos mandats ne sont visibles que par vous. Aucun autre utilisateur, pas même l'administrateur, n'a accès à vos contenus d'évaluation. Your mandates are visible to you alone. No other user, not even the administrator, can access your evaluation content.
Le menu Mes données permet d'exporter l'intégralité de vos contenus dans un fichier réutilisable, ou de supprimer définitivement votre compte — conformément à la Loi 25 du Québec et au RGPD. The My data menu lets you export all of your content into a reusable file, or permanently delete your account — in accordance with Québec's Law 25 and the GDPR.
Votre session se verrouille automatiquement après vingt minutes d'inactivité, avec un avertissement deux minutes avant. Your session locks automatically after twenty minutes of inactivity, with a warning two minutes beforehand.
RaccourcisShortcuts
| ToucheKey | EffetEffect |
|---|---|
Entrée |
Valide le champ ou lance la recherche Validates the field or launches the search |
Ctrl / Cmd + Entrée |
Valide une zone de texte (questions, transcription, données collées) Validates a text area (questions, transcript, pasted data) |
Échap |
Ferme la fenêtre de consultation d'un document Closes the document viewer |
Le bouton Archiver masque un mandat, une entrevue ou un jeu de données sans le supprimer. Une case permet de réafficher les archives à tout moment. The Archive button hides a mandate, interview or dataset without deleting it. A checkbox brings archived items back into view at any time.
En cas de problèmeTroubleshooting
| SituationSituation | Que faireWhat to do |
|---|---|
| L'enregistrement ne démarre pas Recording will not start | Utilisez Chrome ou Edge, et autorisez l'accès au micro Use Chrome or Edge, and allow microphone access |
| Un document refuse de s'analyser A document will not analyze | PDF numérisé (image) : une reconnaissance de texte est nécessaire Scanned PDF (image): text recognition is required first |
| Une analyse échoueAn analysis fails | Relancez : les analyses longues peuvent expirer Try again: long analyses can time out |
| Vous ne voyez plus vos données Your data has disappeared | Vérifiez le mandat actif en haut de page Check the active mandate at the top of the page |
| Session verrouilléeSession locked | Reconnectez-vous : vos travaux sont conservés Sign back in: your work is preserved |
Une question, une anomalie, une suggestion : écrivez àA question, a bug, a suggestion: write to contact@evalflowconseil.com.