Trendy, anomalie i hipotezy: jak czytać wnioski AI

Weźmy cotygodniowy raport sprzedaży. Wykres schodzi w dół, a pod nim pojawia się zdanie: „Spadek wynika z pogorszenia skuteczności kampanii”. Brzmi profesjonalnie. Jest przyczyna, jest winny, można przejść do następnego slajdu. Tylko skąd właściwie wiadomo, że zawiniła kampania?

Ja zatrzymuję spotkanie właśnie przy takim zdaniu. Proszę o wskazanie danych, które łączą zmianę wyniku z proponowaną przyczyną. Jeżeli dostaję wyłącznie ten sam wykres, mamy zadanie do wykonania. Dopisanie wyjaśnienia do spadku nie kończy analizy.

W trzecim tygodniu Analizy z AI rozdzielamy trendy, anomalie i hipotezy. Dla osoby zarządzającej zespołem najważniejszy efekt jest praktyczny: wiadomo, z czym można iść po decyzję, a co wymaga jeszcze sprawdzenia. Poniżej pokazuję sposób prowadzenia takiej rozmowy i gotową kartę do użycia z AI.

Najpierw zapisz, co naprawdę widzisz

Zaczynam od zdania, które druga osoba potrafi sprawdzić w źródle. „Sprzedaż spada” jest zbyt szerokie. „W eksporcie zamówień dla sklepu internetowego liczba opłaconych zamówień z ostatniego pełnego tygodnia jest niższa niż z poprzedniego” wyznacza już konkretny zakres pracy.

Do obserwacji dopisuję nazwę pliku lub raportu, datę pobrania, definicję wskaźnika i zastosowane filtry. Czy porównujemy zamówienia, sztuki czy przychód? Czy zwroty przypisujemy do daty zakupu, czy rozliczenia? Takie informacje przygotowuję w briefie analizy, żeby potem nie ustalać ich ponownie przy każdym wykresie.

Ważne jest też miejsce obserwacji. Zdanie „w eksporcie jest mniej zamówień” pozostawia otwartą kontrolę kompletności eksportu. Zdanie „klienci przestali kupować” przeskakuje od pliku do zachowania ludzi. Na etapie odbioru raportu pilnuję, żeby język odpowiadał temu, co rzeczywiście zostało sprawdzone.

Daj trendowi właściwy punkt odniesienia

Przy porównaniu okresów sprawdzam najpierw, czy oba są zamknięte i obejmują ten sam zakres działalności. Środa zestawiona z pełnym poprzednim tygodniem tworzy świetny materiał na alarm. Jako podstawę decyzji wolę jednak porównanie, które nie zaczyna się od brakujących dni.

NIST we wprowadzeniu do szeregów czasowych przypomina, że dane uporządkowane w czasie mają własną strukturę, w tym trend i wahania sezonowe. Dlatego przy ocenie kierunku zmiany proszę o szereg kolejnych okresów. Dwa słupki zostawiam jako informację o różnicy między tymi okresami. Dłuższy wykres daje materiał do sprawdzenia, czy zmiana się utrzymuje.

Osobno sprawdzam powtarzalność. Sezonowość w ujęciu NIST oznacza okresowe wahania. W raporcie tygodniowym proszę więc o porównanie odpowiadających sobie dni tygodnia, a w miesięcznym o kontekst wcześniejszych lat, jeśli mamy porównywalne dane. Zaznaczam święta, promocje i przerwy w działaniu. Zespół dostaje wtedy informację, względem jakiego rytmu oceniamy zmianę.

Odstający punkt zostaje w śledztwie

Anomalię traktuję jako wskazanie miejsca do sprawdzenia. Niski wynik jednego dnia uruchamia pytania o źródło: czy działał sklep, czy dotarły wszystkie transakcje, czy zmieniła się godzina odświeżania? Wysoki wynik uruchamia podobną kontrolę, łącznie z pytaniem o duplikaty i pojedyncze duże zamówienie.

NIST opisuje kilka możliwych źródeł obserwacji odstających: błędne dane, zmienność losową oraz zjawisko warte zbadania. Automatyczne usunięcie punktu zabiera nam możliwość rozróżnienia tych sytuacji. Najpierw oznaczam rekord i ustalam jego pochodzenie. Dopiero potem zapada decyzja o korekcie albo pozostawieniu go w analizie.

W zleceniu dla analityka zapisuję również obowiązek pokazania wpływu ewentualnego wyłączenia. Chcę zobaczyć wersję z obserwacją i bez niej oraz uzasadnienie wyboru. Zachowuję oryginalny eksport. Dzięki temu osoba przejmująca raport za miesiąc rozumie, dlaczego fragment danych zniknął z podsumowania.

Hipoteza potrzebuje konkurencji

Wróćmy do kampanii. Spadek sprzedaży i zmiana reklamy w tym samym okresie są punktem wyjścia do sprawdzenia związku. NIST w opisie wykresu rozrzutu wyraźnie oddziela współwystępowanie od dowodu przyczynowości. Sam wykres zależności nie rozstrzyga, co wywołało zmianę.

Dlatego przed wyborem wyjaśnienia proszę o alternatywy. W naszym przykładzie zapisuję trzy tropy: dotarło mniej odwiedzających, zmieniła się skuteczność zakupu w sklepie albo raport nie obejmuje wszystkich opłaconych zamówień. Każdy trop prowadzi do innego sprawdzenia. Dane o ruchu, przebiegu zakupów i kompletności eksportu odpowiadają na różne pytania.

Dla każdej hipotezy zapisuję także wynik, który ją osłabi. Przy podejrzeniu brakującego eksportu takim wynikiem będzie zgodność listy zamówień z systemem źródłowym w całym badanym okresie. Przy hipotezie spadku ruchu sprawdzam jego zmianę w tym samym kanale i czasie. Odrzucenie jednego tropu nie potwierdza automatycznie następnego.

Karta hipotezy do skopiowania

Do pracy z Claude albo innym zatwierdzonym w firmie czatem przygotowuję poniższy szablon. Wypełniam fakty i dostępne źródła przed wysłaniem. Modelowi zlecam uporządkowanie propozycji i braków; ustalenia wracają do osoby, która ma dostęp do danych.

Zadanie: przygotuj plan sprawdzenia spadku sprzedaży.

Obserwacja: w eksporcie sklepu liczba opłaconych zamówień
z ostatniego pełnego tygodnia jest niższa niż z poprzedniego.
Źródło i data pobrania: [uzupełnij]
Definicja wskaźnika i filtry: [uzupełnij]
Sprawdzone elementy kompletności: [uzupełnij]
Dostępne dodatkowe źródła: [uzupełnij]
Decyzja, którą rozważamy: zmiana kampanii reklamowej.

Przygotuj tabelę z kolumnami:
- obserwacja i jej źródło,
- hipoteza wyjaśniająca,
- konkurencyjne wyjaśnienie,
- dane potrzebne do sprawdzenia,
- wynik wspierający oraz wynik osłabiający hipotezę,
- następna czynność.

Oddziel informacje podane powyżej od proponowanych hipotez.
Brak źródła oznacz jako brak danych.
Nie dopisuj wyników sprawdzeń, których nie wykonano.
Zakończ listą pytań do właściciela raportu.

Po otrzymaniu odpowiedzi wybieram sprawdzenia, które rozróżniają konkurencyjne wyjaśnienia. Jeżeli kilka wierszy tabeli oznacza tylko ponowne obejrzenie tego samego wykresu, łączę je w jeden. Do pozostałych dopisuję konkretną osobę, termin i miejsce zapisania dowodu. Tabela bez tych pól łatwo zostaje pamiątką po ciekawej rozmowie.

Pilnuję kolejności prac: najpierw kompletność danych i porównywalność okresów, potem interpretacja zachowania klientów. Gdy eksport jest niepełny, zadanie naprawienia raportu trafia do jego właściciela. Analiza skuteczności kampanii czeka na poprawiony materiał. W ten sposób wynik pierwszej kontroli rzeczywiście zmienia dalszy plan.

Zawęź pytanie przed kolejną analizą

Lista możliwych przyczyn potrafi urosnąć szybciej niż czas przeznaczony na raport. Ustalam więc, która niewiadoma zmienia rozważaną decyzję. Przy wyborze, czy poprawić kampanię, najpierw potrzebuję rozdzielić problem z dopływem ruchu od problemu z zakupem. Szczegółowy opis każdego produktu zostawiam na moment, w którym pomoże wybrać działanie.

Proszę analityka o przekroje wynikające z tych pytań: kanał pozyskania, urządzenie i etap zakupu. Każdy przekrój ma wskazany cel. Dla urządzenia pytam na przykład, czy problem skupia się na telefonach, co uzasadnia sprawdzenie mobilnego koszyka. Samo znalezienie słabszej grupy nadal pozostawia otwarte pytanie o przyczynę. Zyskujemy za to konkretny obszar kontroli.

Ustalam również warunek zakończenia pracy. W karcie zapisuję, jaki dowód wystarczy do skierowania sprawy do właściciela raportu, marketingu albo zespołu sklepu. Bez takiego warunku polecenie „poszukaj jeszcze czegoś” może krążyć bez końca. Wolę zamknąć jedno pytanie z udokumentowaną odpowiedzią i świadomie otworzyć następne.

Jeżeli potrzebnego źródła w firmie brakuje, dodaję zadanie zebrania danych z właścicielem i terminem. Nie zlecam kolejnych opisów tego samego eksportu w nadziei, że wyjaśnienie pojawi się między wierszami. Brak materiału do rozstrzygnięcia jest informacją o następnym zadaniu zespołu.

Zakończ spotkanie decyzją o następnym kroku

W podsumowaniu dla zespołu rozdzielam ustaloną obserwację, stan hipotez i działanie. Przykładowy zapis brzmi: „Spadek potwierdzony w kompletnym eksporcie. Wpływ kampanii pozostaje do sprawdzenia. Osoba odpowiedzialna za marketing porówna ruch i zakupy w uzgodnionych okresach przed kolejną decyzją o kampanii”.

Gdy trzeba działać wcześniej, zapisuję, na jakiej podstawie podejmujemy działanie mimo otwartego wyjaśnienia i kiedy wracamy do oceny. Pozwala mi to oddzielić pilną decyzję operacyjną od twierdzenia o przyczynie. Zespół może zabezpieczyć proces, nadal uczciwie opisując stan wiedzy.

Na końcu sprawdzam, czy raport zawiera dowód dla każdego zdania przedstawionego jako ustalenie. Pozostałe kontrole, od obliczeń po definicje wskaźników, Kasia opisuje w tekście o sprawdzaniu wyników AI. Na najbliższe spotkanie zabierz jeden wykres, jedną kartę hipotezy i nazwisko osoby odpowiedzialnej za sprawdzenie. Wtedy dyskusja ma dokąd prowadzić.