Fija los criterios antes de idear, puntúa con IA dos veces en orden distinto, recorta con los totales y deja que el grupo decida con un método adecuado.
Respuesta rápida
Fija los criterios y los pesos antes de que nadie vea una idea. Deja que la IA puntúe el conjunto dos veces, en un orden distinto cada vez, con un motivo para cada puntuación. Usa los totales solo para recortar el conjunto a una docena aproximadamente y deja después que el grupo decida: en la biblioteca de métodos, la Votación por Puntos cubre de 2 a 100 personas, la Matriz de Impacto y Esfuerzo de 2 a 15 y la Matriz de decisión de 2 a 12. La clasificación de la IA es un insumo.
Puntos clave
- En un preprint de Si, Yang y Hashimoto, el mejor evaluador LLM distinguió las ideas mejor valoradas de las peor valoradas con una exactitud del 53.3%, por debajo de la consistencia del 56.1% entre los revisores expertos humanos.
- En el State of AI Facilitation 2026, una segunda valoración de la IA coincidió con la primera en el 65% de 40 puntuaciones, por debajo del umbral del 70% fijado de antemano.
- Shi y sus colegas ejecutaron 15 jueces LLM en más de 150,000 evaluaciones de soluciones de benchmarks y concluyen que el sesgo de posición no se debe al azar, que es el motivo para barajar la lista de ideas entre una ejecución de puntuación y otra.
- En la biblioteca de métodos, la Votación por Puntos está escrita para entre 2 y 100 personas, la Matriz de Impacto y Esfuerzo para entre 2 y 15 y la Matriz de decisión para entre 2 y 12.
- La ficha de la Votación por Puntos desaconseja usarla para una decisión de alto riesgo o vinculante porque mide la preferencia, y el Dotmocracy Handbook considera la votación múltiple buena para hasta una docena aproximadamente de ideas distintas.
Fija los criterios antes de que nadie vea una idea. Deja que la IA puntúe el conjunto dos veces, en un orden distinto cada vez, con un motivo por puntuación, y usa los totales solo para recortar el conjunto. Después, el grupo decide con un método adecuado a su tamaño; la clasificación de la IA es un insumo.
En los dos estudios que se usan aquí, la selección es un paso débil. Un estudio de 2006 publicado en el Journal of Experimental Social Psychology por Rietzschel, Nijstad y Stroebe hizo que unos grupos generaran ideas y eligieran entre ellas, y «la selección de ideas no fue significativamente mejor que el azar». En Management Science (2010), Girotra, Terwiesch y Ulrich nombran «la capacidad del grupo para discernir la calidad de las ideas» como una de las cuatro variables que explican las mejores ideas de un grupo. Ambos son anteriores a la IA generativa, y sus resúmenes no dan tamaños de muestra. Consulta Taller de lluvia de ideas con IA: divergir, reducir, converger para la ronda que produce el conjunto.
1. Fija los criterios antes de que nadie vea una idea
Anota los criterios, la escala y los pesos antes de que exista la primera idea, para que nadie pueda redefinirlos en torno a una favorita. El experimento más cercano trata de contratación de personal. En Uhlmann y Cohen (Psychological Science, 2005), 117 voluntarios juzgaron a una persona candidata, descrita por escrito, a un puesto de jefe de policía; entre quienes valoraron los criterios de contratación antes de conocer el género de la persona candidata, «la intervención de compromiso eliminó la discriminación de género», un sesgo hallado entre los participantes varones. No había ninguna idea favorita de por medio, así que el paso a una tabla de puntuación es una analogía.
Kahneman, Lovallo y Sibony proponen el mismo orden para las decisiones estratégicas (MIT Sloan Management Review, 2019): «Definir las evaluaciones de antemano», puntuar cada atributo de forma independiente y dejar el juicio global para el final; su evidencia está tomada de las entrevistas de selección estructuradas, y de su propio protocolo escriben que «Los efectos cuantitativos tardarán años en evaluarse».
La ficha de la Matriz de decisión en la biblioteca apunta a entre cuatro y siete criterios y explica por qué los pesos van pronto: «Fijar los pesos antes de empezar a puntuar; de lo contrario, la gente los ajusta hasta que gana su opción preferida». Un grupo puede escribir la hoja y el prompt en conjunto como una actividad de escritura de prompts en grupo.
2. Parte de la deseabilidad, la factibilidad y la viabilidad
Estas tres perspectivas son un punto de partida que funciona. IDEO nombra «tres perspectivas esenciales», las pondera «según lo que creemos que más importa» y asigna una pregunta a cada una:
- Deseabilidad: «¿Estamos resolviendo un problema que le importa a la gente?»
- Viabilidad: «¿Puede la solución tener éxito y perdurar dentro de las limitaciones del mundo real?»
- Factibilidad: «¿Podemos construirla con la tecnología y las capacidades actuales?»
Los métodos de puntuación más antiguos muestran qué más puede incluir una tabla de puntuación:
- Un filtro previo. El Decision Analysis de Kepner-Tregoe, que el proveedor explica con un caso de contratación de personal, divide los objetivos «en dos categorías: MUSTs y WANTs»: los MUSTs son mínimos obligatorios, y solo los WANTs se ponderan.
- Un factor de confianza. RICE, el sistema de puntuación propio de Intercom, usa uno para «frenar el entusiasmo por ideas emocionantes pero mal definidas», divide por el esfuerzo y no debe «usarse como una regla estricta e inamovible».
- Una idea de referencia. La convergencia controlada de Stuart Pugh, que el Cambridge Institute for Manufacturing sitúa en la década de 1980, «usa una matriz sencilla para comparar conceptos» frente a un único datum, sin pesos.
El datum de Pugh es también un punto débil. Una ponencia de congreso de Nicholson y Collopy de 2019, cuyo resumen describe una enumeración de todos los casos de rangos de atributos, informa de que, en una aplicación típica, el concepto elegido varía «con la elección arbitraria del datum o es sencillamente incorrecto en aproximadamente un tercio de los casos». La Matriz de decisión de la biblioteca es la variante ponderada.
3. Pide un motivo con cada puntuación
Una puntuación sin motivo no se puede comprobar, así que el prompt pide una frase por puntuación. El artículo de NN/g sobre talleres apoyados en IA recomienda una tabla de puntuación para este paso de reducción, a partir de la experiencia de su autor. Los ejemplos puntuados también deben ir en el prompt: en la revista con revisión por pares Creativity and Innovation Management (2025), Kranzle y Sharratt compararon GPT-4 con evaluadores expertos y escriben que los LLM necesitan un marco de base y un prompt few-shot «para lograr una alineación moderada con los expertos en la evaluación»; el resumen no da el tamaño de la muestra. Adapta este prompt:
Puntúa estas ideas de un taller según criterios fijados antes de que existieran las ideas. No añadas, fusiones ni reescribas ideas.
Filtro previo: [restricción firme]. Marca cada idea como «apta» o «no apta» con un motivo y puntúa solo las aptas.
Criterios, cada uno de 1 (bajo) a 10 (alto): [criterio 1 con una definición de una línea], [criterio 2], [criterio 3], [criterio 4]. Ejemplos puntuados por el grupo: [una idea floja, una intermedia y una sólida].
Devuelve una fila por idea: número, una puntuación por criterio, total, una frase de razonamiento por puntuación. Escribe «información insuficiente» cuando no puedas puntuar.
Ordena por total y marca como empatado todo total que esté a dos puntos o menos del total más alto.
Ideas: [lista numerada]
El filtro previo es el MUST del paso 2. Las dos últimas reglas siguen la ficha de la Matriz de decisión en la biblioteca, que advierte de que «las puntuaciones adivinadas dan una falsa sensación de precisión» y trata los totales ajustados como prácticamente empatados.
4. Trata la clasificación de la IA como una primera pasada
Una sola ejecución de puntuación es un instrumento débil, tanto si quien puntúa es un modelo como si es una persona. En un preprint de Si, Yang y Hashimoto, 79 investigadores expertos revisaron a ciegas 49 ideas de cada una de tres condiciones, y el mejor evaluador LLM, un modelo de 2024, distinguió las ideas mejor valoradas de las peor valoradas con una exactitud del 53.3%, «inferior a nuestra consistencia entre revisores del 56.1%», que los autores describen como un acuerdo relativamente bajo entre los revisores humanos.
El orden también cambia las puntuaciones. Un preprint de Wang y sus colegas sobre LLM que juzgan respuestas de chatbots dice que una clasificación puede cambiarse «simplemente alterando su orden de aparición en el contexto». En un artículo listado para AACL-IJCNLP 2025, Shi y sus colegas ejecutaron 15 modelos juez en más de 150,000 evaluaciones de soluciones de benchmarks y concluyen que «el sesgo de posición no se debe al azar». Ninguno de los dos juzgó ideas, pero barajar entre ejecuciones cuesta poco.
Las ejecuciones repetidas también difieren. Un artículo aceptado en EMNLP 2025 informa de que «los jueces LLM tienen una baja fiabilidad intraevaluador en las puntuaciones que asignan en distintas ejecuciones» (Haldar y Hockenmaier), y un preprint advierte contra la «confianza excesiva en evaluaciones de una sola ejecución» (Schroeder y Wood-Doughty); ambos valoraron texto generado por máquinas. En el State of AI Facilitation 2026, donde un evaluador de IA y ninguna persona puntuó 9 agendas redactadas por IA (3 briefings × 3 asistentes), una segunda valoración coincidió con la primera en el 65% de 40 puntuaciones sobre seis de ellas, por debajo del 70% fijado de antemano.
Los totales sirven mejor para un corte grueso que para una clasificación fina. Hirota y sus colegas, listados para el ACL 2026 Industry Track, analizaron unas 3,000 puntuaciones de expertos sobre 300 ideas de producto basadas en patentes e informan de «desacuerdo en las puntuaciones ordinales de grano fino, mientras que el acuerdo es mayor con una selección gruesa». Es un hallazgo sobre personas; aun así respalda la regla de empate.
Las personas también se pliegan a los sistemas. Buçinca y sus colegas, en un artículo de arXiv de 2021 sobre un experimento con 199 participantes, informan de que las explicaciones no parecieron «reducir la dependencia excesiva», mientras que «el forzamiento cognitivo redujo significativamente la dependencia excesiva». Lee y sus colegas (CHI 2025) encuestaron a 319 trabajadores del conocimiento e informan, a partir de autoinformes, de que «una mayor confianza en la IA generativa se asocia con menos pensamiento crítico». Una revisión de 74 estudios en JAMIA sobre el sesgo de automatización, centrada en el apoyo a la decisión clínica, agrupó cuatro de ellos en «un metaanálisis pequeño e indicativo» en el que el consejo erróneo «aumentó en un 26% el riesgo de que se tomara una decisión incorrecta»; cita la responsabilidad del usuario entre los factores atenuantes. Los tres tratan de individuos, así que un grupo que elige ideas es una extrapolación.
En la sala, eso se convierte en cuatro pasos. El tercero es una inferencia de este artículo y no está probado: una revisión de Furnham y Boo publicada en una revista en 2011 documenta el anclaje en muchos ámbitos y tareas, y su resumen no menciona las puntuaciones de IA.
- Ejecuta el prompt dos veces en chats separados, con la lista en un orden distinto.
- Recorta a una docena aproximadamente con los totales y marca las ideas cuyos totales más se movieron.
- Para esas ideas, haz que la gente escriba su propia puntuación antes de mostrar ninguna puntuación del modelo.
- Lee ambas justificaciones, fija la puntuación a partir de la redacción del criterio y nombra a quien es responsable de la decisión.
5. Deja que el grupo decida con un método adecuado a su tamaño
Elige el método según el tamaño del grupo y según aquello a lo que la decisión compromete a la gente. Los límites de la biblioteca:
| Método | Tamaño de grupo en la biblioteca | Duración en la biblioteca | Úsalo para |
|---|---|---|---|
| Votación por Puntos | 2-100 | 5-20 min | Reducir una lista larga a una lista corta |
| Matriz de Impacto y Esfuerzo | 2-15 | 30-60 min | Ordenar una lista corta en dos ejes |
| Matriz de decisión | 2-12 | 30-60 min | De tres a siete opciones comparables |
Por encima de 12 personas, la Matriz de decisión queda fuera de su intervalo, y por encima de 15 solo queda la Votación por Puntos. Con decenas de ideas, la ficha de la Matriz de decisión dice que conviene ordenar primero «y llevar a la matriz solo la lista corta».
Una votación por puntos transmite la preferencia y poco más. La biblioteca la desaconseja para una decisión de alto riesgo o vinculante porque «la votación por puntos mide la preferencia, no la factibilidad ni la evidencia», y por debajo de cuatro personas prefiere un debate breve y estructurado. El Dotmocracy Handbook (2010) de Jason Diceman, una crítica escrita por el autor de un método competidor, considera la votación múltiple buena para «hasta una docena aproximadamente de ideas relacionadas, pero distintas» y advierte de que las ideas parecidas dividen el voto.
Las fuentes difieren en el número de votos por persona. Gamestorming dice que «dar a cada participante cinco votos para repartir funciona bien»; la biblioteca da un tercio de las opciones, así que 12 opciones suponen 4 puntos.
Para este artículo no apareció ningún experimento sobre la votación por puntos, así que el arrastre de los puntos visibles queda aquí sin probar. La evidencia más cercana es una tarea de estimación: en Lorenz y sus colegas (PNAS, 2011), 144 participantes revisaron sus respuestas a preguntas factuales después de ver las respuestas de los demás, lo que estrechó las respuestas «sin mejoras de su error colectivo» y elevó la confianza «a pesar de la falta de mejora en la exactitud». Junto con la nota de la biblioteca de que «los formatos anónimos evitan que se vote siguiendo a quien manda», eso es motivo suficiente para recoger las puntuaciones y los puntos en silencio.
Comprueba el método cuando lo proponga un asistente. En la prueba de agendas del State of AI Facilitation 2026, 7 de 9 agendas redactadas por IA usaron un método en contra de la advertencia de su ficha sin decirlo, cinco de ellas una votación por puntos que condicionaba una decisión vinculante con la dirección en la sala. Las cinco comprobaciones para una agenda generada con IA cubren esa revisión.
Una tabla de puntuación desarrollada
Imagina a ocho personas de un equipo de producto con 40 ideas generadas con IA y un solo hueco para prototipar. El equipo, las ideas y todas las puntuaciones de abajo están inventados; las cifras de los métodos proceden de la biblioteca.
Antes de la ideación, el grupo fijó cuatro criterios con el mismo peso, las tres perspectivas más «encaja con el objetivo de este trimestre», cada uno puntuado de 1 a 10, así que el total máximo es 4 × 10 = 40. El prompt se ejecutó dos veces con la lista barajada de nuevo. Seis filas de la primera pasada:
| Idea | Deseabilidad | Factibilidad | Viabilidad | Encaje con el objetivo | Total, pasada 1 | Total, pasada 2 | Diferencia |
|---|---|---|---|---|---|---|---|
| A | 8 | 7 | 8 | 7 | 30 | 31 | 1 |
| B | 9 | 5 | 8 | 7 | 29 | 24 | 5 |
| C | 7 | 8 | 6 | 7 | 28 | 28 | 0 |
| D | 6 | 9 | 6 | 7 | 28 | 29 | 1 |
| E | 8 | 6 | 6 | 6 | 26 | 31 | 5 |
| F | 5 | 8 | 6 | 6 | 25 | 25 | 0 |
Según la regla de empate, A, B, C y D (30, 29, 28 y 28) están a dos puntos o menos del total más alto y empatadas en la primera pasada; E (26) y F (25) no lo están. B cae de segunda a última de las seis y E sube de quinta a primera compartida. Esas dos se leen primero, y la sesión transcurre así:
- Minutos 0-10: Dos ejecuciones de puntuación; los 12 totales más altos de la primera pasada se muestran con ambos totales y las justificaciones, las otras 28 (40 − 12) en una segunda lista.
- Minutos 10-20: Lectura en silencio. La gente escribe sus propias puntuaciones para B y E, y después el grupo las fija.
- Minutos 20-38: Votación por Puntos sobre las 12, con los 18 minutos del guion de la biblioteca (3 + 2 + 5 + 3 + 5). Un tercio de 12 opciones son 4 puntos por persona, así que 8 × 4 = 32 puntos, y las cinco primeras siguen adelante.
- Minutos 38-71: Matriz de decisión sobre las cinco, que sostiene la elección vinculante mientras que la votación por puntos solo reduce. De los 50 minutos del guion, los 10 para reunir criterios y los 7 para ponderarlos se emplearon antes de la ideación, lo que deja 50 − 10 − 7 = 33, dentro de los 30 a 60 del método.
- Total: 10 + 10 + 18 + 33 = 71 minutos.
Conclusión
Antes de tu próxima ronda de ideación asistida por IA, escribe la hoja de criterios y adapta el prompt. Ejecútalo dos veces con la lista barajada de nuevo, muestra ambos totales con las justificaciones y elige el método a partir de la tabla del paso 5.
Referencias
- Selección y criterios: Rietzschel 2006, Girotra 2010, Uhlmann 2005, Kahneman 2019, Furnham 2011
- Métodos de puntuación: IDEO, Kepner-Tregoe, Intercom, Cambridge IfM, Nicholson 2019, NN/g
- Los LLM como jueces: Si, Wang, Shi, Haldar, Schroeder, Kranzle 2025, Hirota
- Dependencia excesiva e influencia social: Buçinca 2021, Lee 2025, Goddard, JAMIA, Lorenz 2011
- Votación por puntos y datos propios: Gamestorming, Diceman, State of AI Facilitation 2026