Fixez les critères avant l'idéation, faites noter l'IA deux fois dans un ordre mélangé, réduisez le vivier sur les totaux, puis laissez le groupe décider.
Réponse rapide
Fixez les critères et les pondérations avant que quiconque ne voie une idée. Laissez l'IA noter le vivier deux fois, dans un ordre différent à chaque fois, avec une justification pour chaque note. N'utilisez les totaux que pour réduire le vivier à une douzaine d'idées environ, puis laissez le groupe décider : dans la bibliothèque de méthodes, le Dot Voting couvre 2 à 100 personnes, l'Impact & Effort Matrix 2 à 15 et la Decision Matrix 2 à 12. Le classement de l'IA est une donnée d'entrée.
À retenir
- Dans un preprint de Si, Yang et Hashimoto, le meilleur évaluateur LLM distinguait les idées les mieux notées des moins bien notées avec une exactitude de 53.3%, sous la cohérence de 56.1% entre les évaluateurs experts humains.
- Dans le State of AI Facilitation 2026, une deuxième notation par l'IA concordait avec la première pour 65% des 40 notes, sous le seuil de 70% fixé à l'avance.
- Shi et ses collègues ont soumis à 15 juges LLM plus de 150,000 évaluations de solutions de benchmarks et concluent que le biais de position n'est pas dû au hasard, ce qui est la raison de mélanger la liste d'idées entre deux notations.
- Dans la bibliothèque de méthodes, le Dot Voting est décrit pour 2 à 100 personnes, l'Impact & Effort Matrix pour 2 à 15 et la Decision Matrix pour 2 à 12.
- La fiche du Dot Voting déconseille de l'utiliser pour une décision à enjeu élevé ou contraignante, car il mesure une préférence, et le Dotmocracy Handbook juge le vote multiple adapté jusqu'à une douzaine environ d'idées distinctes.
Fixez les critères avant que quiconque ne voie une idée. Laissez l'IA noter le vivier deux fois, dans un ordre différent à chaque fois, avec une justification par note, et n'utilisez les totaux que pour réduire le vivier. Le groupe décide ensuite avec une méthode adaptée à sa taille ; le classement de l'IA est une donnée d'entrée.
Dans les deux études utilisées ici, la sélection est une étape fragile. Une étude de 2006 parue dans le Journal of Experimental Social Psychology, signée Rietzschel, Nijstad et Stroebe, a fait générer des idées à des groupes puis les a fait choisir parmi elles, et « la sélection des idées n'était pas significativement meilleure que le hasard ». Dans Management Science (2010), Girotra, Terwiesch et Ulrich citent « la capacité du groupe à discerner la qualité des idées » comme l'une des quatre variables qui expliquent les meilleures idées d'un groupe. Les deux sont antérieures à l'IA générative, et leurs résumés ne donnent aucune taille d'échantillon. Pour le tour qui produit le vivier, voyez Atelier de brainstorming avec l'IA : diverger, resserrer, converger.
1. Fixez les critères avant que quiconque ne voie une idée
Mettez par écrit les critères, l'échelle et les pondérations avant que la première idée n'existe, afin que personne ne puisse les redéfinir autour d'une idée favorite. L'expérience la plus proche porte sur le recrutement. Chez Uhlmann et Cohen (Psychological Science, 2005), 117 volontaires ont jugé un candidat présenté par écrit pour un poste de chef de la police ; parmi ceux qui avaient évalué les critères de recrutement avant de connaître le genre du candidat, « l'intervention d'engagement a éliminé la discrimination de genre », un biais constaté chez les participants masculins. Aucune idée favorite n'était en jeu ; le passage à une grille de notation est donc une analogie.
Kahneman, Lovallo et Sibony proposent le même ordre pour les décisions stratégiques (MIT Sloan Management Review, 2019) : « Définissez les évaluations à l'avance », notez chaque attribut indépendamment, portez le jugement d'ensemble en dernier ; leurs preuves sont empruntées aux entretiens de recrutement structurés, et de leur propre protocole ils écrivent qu'« il faudra des années pour évaluer les effets quantitatifs. »
La fiche de la Decision Matrix (matrice de décision) dans la bibliothèque vise quatre à sept critères et explique pourquoi les pondérations viennent tôt : « Fixez les pondérations avant le début de la notation, sinon les participants les ajustent jusqu'à ce que leur option préférée l'emporte. » Un groupe peut rédiger la fiche et le prompt ensemble, sous la forme d'une activité de rédaction de prompts en groupe.
2. Partez de la désirabilité, de la faisabilité et de la viabilité
Ces trois angles constituent un choix par défaut praticable. IDEO nomme « trois perspectives essentielles », les pondère « selon ce qui, à nos yeux, compte le plus » et associe une question à chacune :
- Désirabilité : « Résolvons-nous un problème qui compte pour les gens ? »
- Viabilité : « La solution peut-elle réussir et durer dans les contraintes du monde réel ? »
- Faisabilité : « Pouvons-nous la construire avec la technologie et les capacités d'aujourd'hui ? »
Des méthodes de notation plus anciennes montrent ce qu'une grille de notation peut porter d'autre :
- Un filtre. La Decision Analysis de Kepner-Tregoe, que l'éditeur explique à l'aide d'un cas de recrutement, répartit les objectifs « en deux catégories : MUSTs et WANTs » : les MUSTs sont des minimums obligatoires, et seuls les WANTs sont pondérés.
- Un facteur de confiance. RICE, le système de notation propre à Intercom, en utilise un pour « freiner l'enthousiasme pour des idées séduisantes mais mal définies », divise par l'effort et ne doit pas « être utilisé comme une règle absolue ».
- Une idée de référence. La convergence contrôlée de Stuart Pugh, que le Cambridge Institute for Manufacturing date des années 1980, « utilise une matrice simple pour comparer des concepts » à une seule référence (le datum), sans pondérations.
Le datum de Pugh est aussi un point faible. Un article de conférence de Nicholson et Collopy de 2019, dont le résumé décrit une énumération de tous les cas de rangs d'attributs, rapporte que, pour une application typique, le concept retenu varie « avec le choix arbitraire du datum ou est tout simplement incorrect dans environ un tiers des cas. » La Decision Matrix de la bibliothèque est la variante pondérée.
3. Demandez une justification avec chaque note
Une note sans raison ne peut pas être vérifiée ; le prompt demande donc une phrase par note. L'article de NN/g sur les ateliers enrichis par l'IA recommande une grille de notation pour cette étape de resserrement, d'après l'expérience de son auteur. Des exemples notés ont aussi leur place dans le prompt : dans la revue à comité de lecture Creativity and Innovation Management (2025), Kranzle et Sharratt ont comparé GPT-4 à des évaluateurs experts et écrivent que les LLM ont besoin d'un cadre de base et d'un prompt few-shot « pour atteindre un alignement modéré de l'évaluation avec les experts » ; le résumé ne donne aucune taille d'échantillon. Adaptez ce prompt :
Note ces idées d'atelier selon des critères fixés avant que les idées n'existent. N'ajoute, ne fusionne et ne reformule aucune idée.
Filtre : [contrainte impérative]. Marque chaque idée « passe » ou « échoue » avec une raison et ne note que celles qui passent.
Critères, chacun de 1 (faible) à 10 (élevé) : [critère 1 avec sa définition en une ligne], [critère 2], [critère 3], [critère 4]. Exemples notés par le groupe : [une idée faible, une idée moyenne et une idée forte].
Renvoie une ligne par idée : numéro, une note par critère, total, une phrase de justification par note. Écris « information insuffisante » là où tu ne peux pas noter.
Trie par total et marque comme étant à égalité tout total situé à deux points ou moins du total le plus élevé.
Idées : [liste numérotée]
Le filtre est le MUST de l'étape 2. Les deux dernières règles suivent la fiche de la Decision Matrix dans la bibliothèque, qui avertit que « des notes devinées donnent une fausse impression de précision » et traite les totaux proches comme étant de fait à égalité.
4. Traitez le classement de l'IA comme une première passe
Une seule notation est un instrument fragile, que l'évaluateur soit un modèle ou une personne. Dans un preprint de Si, Yang et Hashimoto, 79 chercheurs experts ont évalué à l'aveugle 49 idées de chacune de trois conditions, et le meilleur évaluateur LLM, un modèle de 2024, distinguait les idées les mieux notées des moins bien notées avec une exactitude de 53.3%, « inférieure à notre cohérence inter-évaluateurs de 56.1% », que les auteurs décrivent comme un accord relativement faible entre les évaluateurs humains.
L'ordre modifie lui aussi les notes. Un preprint de Wang et ses collègues sur des LLM jugeant des réponses de chatbots indique qu'un classement peut être modifié « en changeant simplement leur ordre d'apparition dans le contexte ». Dans un article répertorié pour AACL-IJCNLP 2025, Shi et ses collègues ont soumis à 15 modèles juges plus de 150,000 évaluations de solutions de benchmarks et concluent que « le biais de position n'est pas dû au hasard ». Aucun des deux n'a jugé des idées, mais mélanger la liste entre deux notations coûte peu.
Les notations répétées diffèrent également. Un article accepté à EMNLP 2025 rapporte que « les juges LLM présentent une faible fiabilité intra-évaluateur dans les notes qu'ils attribuent d'une exécution à l'autre » (Haldar et Hockenmaier), et un preprint met en garde contre « une confiance excessive dans les évaluations en une seule passe » (Schroeder et Wood-Doughty) ; les deux ont évalué du texte généré par une machine. Dans le State of AI Facilitation 2026, où un évaluateur IA et aucune personne ont noté 9 déroulés rédigés par l'IA (3 briefs × 3 assistants), une deuxième notation concordait avec la première pour 65% des 40 notes sur six d'entre eux, sous les 70% fixés à l'avance.
Les totaux conviennent mieux à une coupe grossière qu'à un classement fin. Hirota et ses collègues, répertoriés pour l'ACL 2026 Industry Track, ont analysé environ 3,000 notes d'experts sur 300 idées de produits fondées sur des brevets et rapportent « un désaccord sur les notes ordinales fines, tandis que l'accord est plus élevé dans une sélection grossière ». C'est un résultat sur des personnes ; il appuie tout de même la règle d'égalité.
Les personnes s'en remettent aussi aux systèmes. Buçinca et ses collègues, dans un article arXiv de 2021 portant sur une expérience avec 199 participants, rapportent que les explications ne semblaient « pas réduire la confiance excessive », tandis que « le forçage cognitif a significativement réduit la confiance excessive ». Lee et ses collègues (CHI 2025) ont interrogé 319 travailleurs du savoir et rapportent, à partir d'autodéclarations, qu'« une confiance plus élevée dans l'IA générative est associée à moins de pensée critique ». Une revue du JAMIA portant sur 74 études sur le biais d'automatisation, centrée sur l'aide à la décision clinique, en a regroupé quatre dans « une petite méta-analyse indicative » où les conseils erronés ont « augmenté de 26% le risque qu'une décision incorrecte soit prise » ; elle cite la responsabilité de l'utilisateur parmi les facteurs d'atténuation. Les trois concernent des individus ; un groupe qui choisit des idées est donc une extrapolation.
Dans la salle, cela se traduit par quatre gestes. Le troisième est une inférence de cet article, non testée : une revue de Furnham et Boo parue dans une revue scientifique en 2011 documente l'ancrage dans de nombreux domaines et tâches, et son résumé ne mentionne pas les notes d'une IA.
- Lancez le prompt deux fois dans des conversations distinctes, avec la liste dans un ordre différent.
- Réduisez à une douzaine environ sur les totaux et repérez les idées dont les totaux ont le plus bougé.
- Pour ces idées, faites écrire à chacun sa propre note avant qu'une note du modèle ne soit montrée.
- Lisez les deux justifications, fixez la note à partir de la formulation du critère et nommez la personne à qui revient la décision.
5. Laissez le groupe décider avec une méthode adaptée à sa taille
Choisissez la méthode d'après la taille du groupe et d'après ce à quoi la décision engage les personnes. Les bornes de la bibliothèque :
| Méthode | Taille du groupe dans la bibliothèque | Durée dans la bibliothèque | À utiliser pour |
|---|---|---|---|
| Dot Voting | 2-100 | 5-20 min | Resserrer une longue liste en une présélection |
| Impact & Effort Matrix | 2-15 | 30-60 min | Trier une présélection selon deux axes |
| Decision Matrix | 2-12 | 30-60 min | Trois à sept options comparables |
Au-delà de 12 personnes, la Decision Matrix sort de sa fourchette, et au-delà de 15 il ne reste que le Dot Voting. Avec des dizaines d'idées, la fiche de la Decision Matrix dit de trier d'abord « et n'apportez que la présélection dans une matrice ».
Un dot voting exprime une préférence et guère plus. La bibliothèque le déconseille pour une décision à enjeu élevé ou contraignante, car « le dot voting mesure une préférence, pas la faisabilité ni les preuves », et en dessous de quatre personnes elle préfère une courte discussion structurée. Le Dotmocracy Handbook de Jason Diceman (2010), une critique écrite par l'auteur d'une méthode concurrente, juge le vote multiple adapté pour « jusqu'à une douzaine environ d'idées liées, mais distinctes » et avertit que des idées similaires divisent les votes.
Les sources divergent sur le nombre de votes. Gamestorming dit que « donner à chaque participant cinq votes à attribuer fonctionne bien » ; la bibliothèque donne un tiers des options, donc 12 options donnent 4 gommettes.
Aucune expérience sur le dot voting n'a été trouvée pour cet article ; un effet d'entraînement des gommettes visibles reste donc non testé ici. La preuve la plus proche est une tâche d'estimation : chez Lorenz et ses collègues (PNAS, 2011), 144 participants ont révisé leurs réponses à des questions factuelles après avoir vu celles des autres, ce qui a resserré les réponses « sans amélioration de son erreur collective » et accru la confiance « malgré l'absence de gain d'exactitude. » Avec la remarque de la bibliothèque selon laquelle « les formats anonymes évitent que l'on vote comme le chef », c'est une raison suffisante pour recueillir les notes et les gommettes en silence.
Vérifiez la méthode lorsqu'un assistant la propose. Dans le test de déroulés du State of AI Facilitation 2026, 7 des 9 déroulés rédigés par l'IA utilisaient une méthode à l'encontre de la mise en garde de sa fiche sans le signaler, dont cinq un dot voting orientant une décision contraignante avec la direction dans la salle. Les cinq vérifications pour un déroulé généré par l'IA couvrent cette relecture.
Un exemple de grille de notation
Imaginez huit personnes d'une même équipe produit avec 40 idées générées par l'IA et un seul créneau de prototypage. L'équipe, les idées et toutes les notes ci-dessous sont inventées ; les chiffres des méthodes viennent de la bibliothèque.
Avant l'idéation, le groupe a fixé quatre critères de poids égal, les trois angles plus « correspond à l'objectif de ce trimestre », chacun noté de 1 à 10 ; le total maximal est donc de 4 × 10 = 40. Le prompt a été lancé deux fois, avec la liste remélangée. Six lignes de la première passe :
| Idée | Désirabilité | Faisabilité | Viabilité | Adéquation à l'objectif | Total, passe 1 | Total, passe 2 | Écart |
|---|---|---|---|---|---|---|---|
| A | 8 | 7 | 8 | 7 | 30 | 31 | 1 |
| B | 9 | 5 | 8 | 7 | 29 | 24 | 5 |
| C | 7 | 8 | 6 | 7 | 28 | 28 | 0 |
| D | 6 | 9 | 6 | 7 | 28 | 29 | 1 |
| E | 8 | 6 | 6 | 6 | 26 | 31 | 5 |
| F | 5 | 8 | 6 | 6 | 25 | 25 | 0 |
Selon la règle d'égalité, A, B, C et D (30, 29, 28 et 28) sont à deux points ou moins du total le plus élevé et à égalité à la première passe ; E (26) et F (25) ne le sont pas. B passe de la deuxième place à la dernière des six et E monte de la cinquième place à la première ex æquo. Ces deux-là sont lues en premier, et la séance se déroule ainsi :
- Minutes 0-10 : Deux notations ; les 12 totaux les plus élevés de la première passe sont affichés avec les deux totaux et les justifications, les 28 autres (40 − 12) sur une seconde liste.
- Minutes 10-20 : Lecture silencieuse. Chacun écrit ses propres notes pour B et E, puis le groupe les fixe.
- Minutes 20-38 : Dot Voting sur les 12, selon les 18 minutes du script de la bibliothèque (3 + 2 + 5 + 3 + 5). Un tiers de 12 options donne 4 gommettes par personne, soit 8 × 4 = 32 gommettes, et les cinq premières passent à l'étape suivante.
- Minutes 38-71 : Decision Matrix sur les cinq, qui porte le choix contraignant tandis que le dot voting ne fait que resserrer. Sur les 50 minutes du script, les 10 consacrées à recueillir les critères et les 7 à les pondérer ont été dépensées avant l'idéation, ce qui laisse 50 − 10 − 7 = 33, dans les 30 à 60 de la méthode.
- Total : 10 + 10 + 18 + 33 = 71 minutes.
Conclusion
Avant votre prochain tour d'idéation assisté par l'IA, rédigez la fiche de critères et adaptez le prompt. Lancez-le deux fois avec la liste remélangée, montrez les deux totaux avec les justifications et choisissez la méthode dans le tableau de l'étape 5.
Références
- Sélection et critères : Rietzschel 2006, Girotra 2010, Uhlmann 2005, Kahneman 2019, Furnham 2011
- Méthodes de notation : IDEO, Kepner-Tregoe, Intercom, Cambridge IfM, Nicholson 2019, NN/g
- Les LLM comme juges : Si, Wang, Shi, Haldar, Schroeder, Kranzle 2025, Hirota
- Confiance excessive et influence sociale : Buçinca 2021, Lee 2025, Goddard, JAMIA, Lorenz 2011
- Dot voting et données propres : Gamestorming, Diceman, State of AI Facilitation 2026