Imagina un flujo de trabajo propuesto que lee estados financieros y rellena una hoja de revisión estructurada. La demostración resulta convincente, pero la aprobación depende de otra prueba: que cada valor requerido sea correcto, corresponda al periodo previsto y pueda rastrearse hasta el documento autorizado. Mantén el asesoramiento financiero y la contabilización autónoma fuera de esta decisión de aceptación.
El criterio práctico de aprobación debe ser la corrección de cada campo, la trazabilidad y una carga de gestión de excepciones asumible, no un resumen pulido ni una afirmación de exactitud global. Aprueba un conjunto definido de documentos y un proceso de revisión, en lugar de autorizar una herramienta de extracción sin restricciones.
Define el contrato de extracción antes de probar
Empieza por la información que finanzas necesita realmente. En una conversación de Intelligence Squared patrocinada por Box, un flujo de asesoramiento se acotó: en vez de preparar un informe, el primer paso sería extraer información de estados financieros y de cartera de valores para darle una estructura utilizable. Esa distinción resulta útil aquí: extraer evidencias es una tarea delimitada, distinta de decidir qué significan para una recomendación financiera.
Redacta un contrato de extracción que describa los documentos admitidos, los campos requeridos y la hoja de trabajo de destino. Para cada campo, especifica su significado, tipo de dato, normalización permitida y criticidad. Finanzas debe clasificar los campos según las consecuencias de un error. Considera críticos la entidad, el periodo, la moneda y la escala siempre que un fallo pueda cambiar la interpretación de un importe.
Define la corrección más allá de la coincidencia de los dígitos visibles. Exige que el importe conserve su etiqueta de fila, encabezado de columna, periodo, moneda, unidad y signo. Guarda el texto original junto a cualquier valor normalizado. Un valor copiado fielmente de la columna equivocada debe fallar la prueba, aunque aparezca en otra parte del documento.
La misma conversación destaca la necesidad de alcanzar un nivel de calidad utilizable, con personas directamente responsables y criterios de salida claros. Tradúcelo en responsabilidades concretas: un responsable de finanzas define el significado, un responsable de automatización controla los cambios en la extracción y un revisor de riesgos aprueba los controles propuestos. Acuerda las condiciones de aceptación antes de examinar los resultados, para que una demostración aparentemente exitosa no redefina el éxito de forma implícita.
Prepara un conjunto documental con respuestas verificadas de forma independiente
El expediente de aceptación debe comenzar con un registro de documentos autorizados. Anota la identidad de cada documento, entidad, periodo, versión, motivo de inclusión y autorización de procesamiento. Selecciona ejemplos de los tipos de documento, diseños, idiomas y condiciones de escaneado que el flujo propuesto vaya a admitir. Mantén un conjunto separado de casos difíciles, en lugar de permitir que queden ocultos en una puntuación global.
Los valores de referencia ofrecen un método concreto de comparación. La evaluación comparativa de documentos financieros de Ramp contrasta las métricas extraídas con transcripciones realizadas por sus operadores de riesgos. Para tu expediente de aceptación, ve más allá en el plano operativo: encarga a finanzas la preparación de los valores esperados y pide a otro revisor cualificado que los compruebe de forma independiente, resolviendo las discrepancias antes de puntuar la extracción.
Guarda un registro de evidencias para cada campo esperado: versión del documento, página, tabla o sección, contexto de fila y columna, texto original, valor normalizado esperado y criticidad. Identifica expresamente los campos ausentes, ilegibles o ambiguos. De lo contrario, la prueba no podrá distinguir un campo legítimamente vacío de una omisión de la extracción.
Utiliza una lista de cobertura que permita inspeccionar los casos difíciles:
- Tablas: prueba encabezados combinados, continuaciones en otras páginas, subtotales y columnas contiguas de distintos periodos.
- Fechas: distingue el cierre del periodo, el intervalo cubierto, la fecha de publicación y cualquier periodo comparativo.
- Monedas y unidades: conserva la moneda aplicable y cualquier escala indicada para los importes.
- Versiones: incluye documentos sustituidos y revisados, con una regla explícita para seleccionar la versión autorizada.
Reserva documentos que los desarrolladores no hayan utilizado para ajustar el sistema y registra el extractor, el prompt, el esquema y la configuración de cada ejecución. Si un caso fallido provoca un cambio, consérvalo como prueba de regresión y evalúa la nueva configuración con el conjunto reservado.
Evalúa los errores por campo y prueba la abstención
Explicita las reglas de comparación antes de calcular las métricas. Decide qué diferencias de formato son aceptables, qué normalizaciones se permiten y si está justificada alguna tolerancia específica por campo. No permitas que una coincidencia aproximada convierta un periodo, una moneda o una unidad incorrectos en una respuesta aceptada.
| Resultado | Significado en la prueba de aceptación | Respuesta requerida |
|---|---|---|
| Ausente | No se ha devuelto un valor requerido y disponible. | Registra la omisión y deriva el caso para completarlo. |
| Incorrecto | Un valor devuelto o su contexto requerido difiere de la respuesta verificada. | Registra la discrepancia y la corrección. |
| Sin respaldo | El valor devuelto no tiene un pasaje de respaldo válido en el documento autorizado. | Bloquea la aceptación e investiga el fallo de evidencia. |
| Abstención | El extractor se niega expresamente a proporcionar un valor. | Comprueba si la abstención era adecuada y deriva el caso. |
Para esta hoja de trabajo, define la precisión por campo como las instancias de campo devueltas correctamente divididas entre todas las instancias devueltas, y la exhaustividad como las instancias devueltas correctamente divididas entre todas las instancias requeridas y disponibles. Especifica cómo se emparejan los duplicados y las filas repetidas de las tablas. Informa por separado de los valores ausentes, incorrectos y sin respaldo, mostrando junto a los totales los resultados de los campos críticos y de cada categoría documental.
Informa también de los documentos cuyos campos requeridos superan todas las comprobaciones. Un buen resultado global no debe anular el incumplimiento de una condición relativa a campos críticos. Mantén visibles las abstenciones en los informes de cobertura y carga de trabajo: no proporcionar un valor ambiguo puede ser lo correcto, pero finanzas sigue necesitando que alguien lo resuelva.
Si hay puntuaciones de confianza disponibles, evalúa el umbral de derivación propuesto frente a los resultados verificados. No interpretes una puntuación alta como prueba de que un campo es correcto. Define motivos de abstención ante referencias de origen ausentes, versiones en conflicto, unidades poco claras y contexto de tablas sin resolver. Después, comprueba que esos motivos impidan realmente que un valor sin verificar llegue a la hoja aceptada.
Aprueba el flujo de revisión, no solo el extractor
Ejecuta el ejercicio de aceptación mediante la interfaz prevista para los revisores. Exige que abran la fuente citada, corrijan o rechacen una propuesta, registren el motivo y envíen los casos sin resolver a un responsable. Incluye una vía de escalado para los valores de referencia discutidos y los conflictos entre versiones. La prueba termina con un registro aceptado o expresamente pendiente de resolución, no simplemente con una solicitud de extracción completada.
Mide el tiempo activo de revisión, el tiempo de corrección, el tiempo de espera y los casos pendientes por categoría de excepción. El análisis publicado sobre validar un flujo de IA antes de financiar una actualización del ERP también recomienda medir los resultados aceptados, las propuestas incorrectas, las excepciones, las modificaciones humanas y el esfuerzo de revisión, manteniendo visible el denominador. Aquí, aplica ese principio únicamente a la extracción; esta decisión de aceptación no requiere actualizar el ERP.
Utiliza una hoja de aprobación reutilizable que contenga: alcance aprobado y exclusiones; versión del conjunto documental; valores de referencia verificados; clasificación de campos críticos; reglas de coincidencia; resultados de calidad; comprobaciones de referencias de origen; resultados de abstención; responsables de excepciones; esfuerzo de revisión medido; y defectos sin resolver. Añade los umbrales fijados por la organización, el responsable de la decisión y los motivos para repetir las pruebas. Registra si la aprobación permite un uso limitado con revisión obligatoria, un uso más amplio bajo controles específicos o ningún despliegue.
Para la decisión económica, incorpora el esfuerzo real de revisión y gestión de excepciones al coste por flujo de trabajo completado, en lugar de comparar únicamente los cargos de extracción. Antes de aprobar, pide a finanzas y riesgos que firmen la misma hoja de aceptación sobre la misma ejecución de prueba congelada. Si necesitas ayuda para definir el pipeline de extracción o su flujo de validación, comenta esos requisitos con los especialistas en datos e IA de Digiventi.
