Rozważmy proponowany proces, który odczytuje sprawozdania finansowe i wypełnia ustrukturyzowany arkusz do weryfikacji. Demonstracja wygląda przekonująco, ale zatwierdzenie zależy od innego testu: czy każda wymagana wartość jest poprawna, dotyczy właściwego okresu sprawozdawczego i można ją powiązać z dokumentem dopuszczonym do przetwarzania. Doradztwo finansowe i autonomiczne księgowanie powinny pozostać poza zakresem tej decyzji odbiorowej.
Praktycznym kryterium zatwierdzenia powinny być poprawność poszczególnych pól, możliwość prześledzenia ich źródeł i akceptowalny nakład pracy przy obsłudze wyjątków, a nie dopracowane podsumowanie czy deklarowana ogólna dokładność. Zatwierdzaj określoną grupę dokumentów i proces weryfikacji, zamiast bezwarunkowo dopuszczać narzędzie do ekstrakcji.
Określ specyfikację ekstrakcji przed testami
Zacznij od informacji, których dział finansowy rzeczywiście potrzebuje. W dyskusji Intelligence Squared sponsorowanej przez Box, proces pracy doradcy zawężono: zamiast od razu przygotowywać raport, najpierw należało wyodrębnić informacje ze sprawozdań finansowych i zestawień papierów wartościowych do użytecznej struktury. To rozróżnienie jest tu istotne: pozyskiwanie danych źródłowych jest zadaniem o wyraźnych granicach, odrębnym od ustalania, co te dane oznaczają dla rekomendacji finansowej.
Spisz specyfikację ekstrakcji opisującą dopuszczone dokumenty, wymagane pola i docelowy arkusz. Dla każdego pola określ znaczenie, typ danych, dozwoloną normalizację i krytyczność. Dział finansowy powinien klasyfikować pola według konsekwencji błędu. Traktuj podmiot, okres sprawozdawczy, walutę i skalę jako krytyczne wszędzie tam, gdzie pomyłka zmieniłaby interpretację kwoty.
Zdefiniuj poprawność szerzej niż jako zgodność widocznych cyfr. Wymagaj zachowania powiązania kwoty z etykietą wiersza, nagłówkiem kolumny, okresem, walutą, jednostką i znakiem. Przechowuj tekst źródłowy obok każdej znormalizowanej wartości. Wartość wiernie skopiowana z niewłaściwej kolumny powinna oznaczać niezaliczenie testu, nawet jeśli występuje w innym miejscu dokumentu.
Ta sama dyskusja podkreśla potrzebę osiągnięcia poziomu jakości pozwalającego na praktyczne wykorzystanie rozwiązania, a także wskazania osób bezpośrednio odpowiedzialnych i jasnych kryteriów zakończenia prac. Przełóż to na konkretne obowiązki: właściciel po stronie finansów definiuje znaczenie danych, właściciel automatyzacji kontroluje zmiany w ekstrakcji, a osoba oceniająca ryzyko zatwierdza proponowane mechanizmy kontroli. Uzgodnij warunki odbioru przed analizą wyników, aby przekonująca demonstracja nie zmieniła po cichu definicji sukcesu.
Przygotuj zbiór dokumentów z niezależnie sprawdzonymi odpowiedziami
Pakiet odbiorowy powinien zaczynać się od rejestru dokumentów dopuszczonych do przetwarzania. Zapisz identyfikator każdego dokumentu, podmiot, okres sprawozdawczy, wersję, powód włączenia do zbioru i zgodę na przetwarzanie. Wybierz przykłady obejmujące typy dokumentów, układy, języki i jakość skanów, które proponowany proces ma rzeczywiście obsługiwać. Zachowaj oddzielny zbiór trudnych przypadków, zamiast pozwalać, by znikały w wyniku ogólnym.
Wartości referencyjne zapewniają konkretną podstawę porównania. Benchmark Ramp dla dokumentów finansowych porównuje wyodrębnione wskaźniki z transkrypcjami przygotowanymi przez pracowników tej firmy zajmujących się oceną ryzyka. W swoim pakiecie odbiorowym pójdź o krok dalej pod względem organizacyjnym: zleć działowi finansowemu przygotowanie oczekiwanych wartości, a innej wykwalifikowanej osobie ich niezależne sprawdzenie. Rozstrzygnij rozbieżności przed oceną ekstrakcji.
Dla każdego oczekiwanego pola przechowuj zapis dowodowy: wersję dokumentu, stronę, tabelę lub sekcję, kontekst wiersza i kolumny, tekst źródłowy, oczekiwaną wartość po normalizacji oraz krytyczność. Wyraźnie oznacz pola nieobecne, nieczytelne lub niejednoznaczne. W przeciwnym razie test nie odróżni uzasadnionego braku wartości od pominięcia podczas ekstrakcji.
Użyj listy kontrolnej pokrycia testami, aby trudne przypadki można było przeanalizować:
- Tabele: testuj scalone nagłówki, kontynuacje na kolejnych stronach, sumy częściowe i sąsiadujące kolumny sprawozdawcze.
- Daty: odróżniaj koniec okresu, okres objęty sprawozdaniem, datę publikacji i ewentualny okres porównawczy.
- Waluty i jednostki: zachowuj właściwą walutę oraz informację o tym, czy kwoty podano w określonej skali.
- Wersje: uwzględnij dokumenty zastąpione i skorygowane, z jednoznaczną regułą wyboru wersji dopuszczonej do użycia.
Odłóż dokumenty, których programiści nie używali do dostrajania rozwiązania, i zapisuj mechanizm ekstrakcji, prompt, schemat oraz konfigurację użyte w każdym przebiegu. Jeśli niezaliczony przypadek prowadzi do zmiany, zachowaj go jako test regresji i oceń zmienioną konfigurację na odłożonym zbiorze.
Oceniaj błędy pól oddzielnie i testuj wstrzymywanie odpowiedzi
Przed obliczeniem metryk jasno określ zasady porównania. Ustal, które różnice formatowania są akceptowalne, jakie normalizacje są dozwolone i czy uzasadniona jest tolerancja właściwa dla danego pola. Nie pozwól, aby przybliżone dopasowanie zamieniało błędny okres, walutę lub jednostkę w zaakceptowaną odpowiedź.
| Wynik | Znaczenie w teście odbiorowym | Wymagane działanie |
|---|---|---|
| Brak wartości | Nie zwrócono wymaganej wartości dostępnej w dokumencie. | Zarejestruj pominięcie i skieruj do uzupełnienia. |
| Wartość niepoprawna | Zwrócona wartość lub jej wymagany kontekst różnią się od sprawdzonej odpowiedzi. | Zarejestruj rozbieżność i korektę. |
| Wartość bez potwierdzenia | Zwrócona wartość nie ma prawidłowego potwierdzenia we fragmencie dokumentu dopuszczonego do użycia. | Zablokuj akceptację i zbadaj przyczynę braku potwierdzenia źródłowego. |
| Wstrzymanie odpowiedzi | Mechanizm ekstrakcji jawnie odmawia podania wartości. | Sprawdź, czy wstrzymanie było zasadne, i skieruj przypadek do obsługi. |
Na potrzeby tego arkusza zdefiniuj precyzję na poziomie pól jako liczbę poprawnie zwróconych wystąpień pól podzieloną przez liczbę wszystkich zwróconych wystąpień. Pełność zdefiniuj jako liczbę poprawnie zwróconych wystąpień pól podzieloną przez liczbę wszystkich wymaganych wystąpień dostępnych w dokumentach. Określ sposób dopasowywania duplikatów i powtarzających się wierszy tabel. Raportuj osobno liczby wartości brakujących, niepoprawnych i niepotwierdzonych, pokazując obok wyników ogólnych także wyniki pól krytycznych i poszczególnych kategorii dokumentów.
Raportuj również dokumenty, w których wszystkie wymagane pola przeszły test. Dobry wynik ogólny nie powinien uchylać niespełnionego warunku odbioru dotyczącego pola krytycznego. Uwzględniaj wstrzymane odpowiedzi w raportach pokrycia i obciążenia pracą: odmowa podania niejednoznacznej wartości może być właściwym zachowaniem, ale dział finansowy nadal potrzebuje osoby, która rozstrzygnie taki przypadek.
Jeśli dostępne są wskaźniki pewności, oceń proponowany próg kierowania do weryfikacji na podstawie sprawdzonych wyników. Nie traktuj wysokiego wskaźnika jako dowodu poprawności pola. Zdefiniuj przesłanki wstrzymania odpowiedzi: brak odwołań do źródła, sprzeczne wersje, niejasne jednostki i nierozstrzygnięty kontekst tabeli. Następnie przetestuj, czy te reguły rzeczywiście zapobiegają trafieniu niezweryfikowanej wartości do zaakceptowanego arkusza.
Zatwierdź proces weryfikacji, nie tylko mechanizm ekstrakcji
Przeprowadź test odbiorowy w docelowym interfejsie osoby weryfikującej. Wymagaj otwarcia wskazanego źródła, poprawienia lub odrzucenia propozycji, zapisania powodu i przekazania nierozstrzygniętych przypadków odpowiedzialnemu właścicielowi. Uwzględnij ścieżkę eskalacji dla spornych wartości referencyjnych i konfliktów wersji dokumentów. Test kończy się zaakceptowanym rekordem albo rekordem jawnie oznaczonym jako nierozstrzygnięty, a nie samym wykonaniem żądania ekstrakcji.
Mierz czas aktywnej weryfikacji, czas poprawek, czas oczekiwania i zaległe nierozstrzygnięte sprawy według kategorii wyjątków. Analiza dotycząca testowania procesu AI przed sfinansowaniem modernizacji ERP również zaleca mierzenie zaakceptowanych wyników, błędnych propozycji, wyjątków, ręcznych zmian decyzji i nakładu pracy na weryfikację, przy zachowaniu widocznej podstawy obliczeń. Tutaj zastosuj tę zasadę wyłącznie do ekstrakcji; podjęcie tej decyzji odbiorowej nie wymaga modernizacji ERP.
Użyj arkusza zatwierdzenia wielokrotnego użytku, zawierającego: zatwierdzony zakres i wyłączenia; wersję zbioru dokumentów; sprawdzone wartości referencyjne; klasyfikację pól krytycznych; reguły dopasowania; wyniki jakościowe; kontrolę odwołań do źródeł; wyniki testów wstrzymywania odpowiedzi; właścicieli wyjątków; zmierzony nakład pracy na weryfikację oraz nierozwiązane usterki. Dodaj progi ustalone przez organizację, osobę odpowiedzialną za decyzję i przesłanki ponownego testowania. Zapisz, czy zatwierdzenie oznacza ograniczone użycie z obowiązkową weryfikacją, szersze użycie przy określonych kontrolach, czy brak zgody na wdrożenie.
Przy podejmowaniu decyzji finansowej uwzględnij rzeczywisty nakład pracy na weryfikację i obsługę wyjątków w koszcie ukończonego procesu, zamiast porównywać wyłącznie opłaty za ekstrakcję. Przed zatwierdzeniem poproś przedstawicieli finansów i ryzyka o podpisanie tego samego arkusza odbiorowego na podstawie tego samego utrwalonego przebiegu testowego. Jeśli potrzebujesz pomocy w zdefiniowaniu potoku ekstrakcji lub procesu jego walidacji, omów te wymagania ze specjalistami Data & AI w Digiventi.
