AI.PARSE_DOCUMENT w BigQuery: od PDF do struktury danych

Masz przygotować porównanie urządzeń na podstawie kart technicznych w PDF. W jednym pliku parametr znajduje się w tabeli, w drugim pod wykresem, a w trzecim jednostkę podano dopiero w przypisie. Zanim zacznę porównywać wartości, ustalam, jak zachować ich związek z nagłówkiem i stroną. Sam długi tekst skopiowany z dokumentu daje mi za mało informacji do rzetelnego zestawienia.

W informacjach o wydaniu BigQuery z 2 listopada 2026 r. Google ogłosił ogólną dostępność AI.PARSE_DOCUMENT. Funkcja korzysta z parsera układu Document AI i zamienia elementy dokumentu, między innymi nagłówki, tabele oraz akapity, w JSON. Opisuję stan na 6 listopada 2026 r. Dla analityczki pracującej w BigQuery oznacza to możliwość rozpoczęcia przetwarzania takich materiałów bezpośrednio w SQL.

Najpierw ustalam, czego szukam w PDF

W porównaniu kart technicznych wybieram konkretne pola: nazwę urządzenia, oznaczenie wariantu, zakres pracy, jednostkę i warunki pomiaru. Do każdego pola dopisuję fragment dokumentu, który uznaję za dowód. Dopiero z taką listą przygotowuję sposób odczytu. W przeciwnym razie łatwo zachwycić się liczbą wydobytych akapitów i nadal nie mieć odpowiedzi na pytanie zamawiającego analizę.

Dokumentacja parsera układu opisuje zachowywanie relacji między elementami, na przykład nagłówkiem i należącymi do niego akapitami. W moim procesie takie powiązanie jest punktem wyjścia do kontroli znaczenia. Jeżeli tabela dotyczy wyłącznie jednego wariantu urządzenia, przypisuję jej wartości do tego wariantu. Pomijam pokusę uzupełnienia nimi pozostałych modeli tylko dlatego, że stoją obok w katalogu.

Wybieram również jednostkę analizy. Jeden rekord opisuje jeden parametr jednego wariantu produktu w konkretnej wersji dokumentu. Nazwę rodziny urządzeń przechowuję osobno. Gdy producent publikuje poprawioną kartę, zachowuję informację o wersji zamiast po cichu zastępować źródło. Dzięki temu osoba sprawdzająca rozumie, dlaczego dwie wartości dotyczące podobnie nazwanych urządzeń różnią się między zestawieniami.

Przygotowanie i pierwszy przykład SQL

Według dokumentacji funkcji potrzebujesz włączonego Document AI API oraz uprawnień do procesora i pliku. Bez connection_id wykorzystywane są poświadczenia użytkownika. BigQuery tworzy procesor bq-created-layout-parser, jeśli jeszcze go nie ma.

Przed pierwszym użyciem uzgadniam z administratorem projekt i tożsamość wykonującą zapytanie. Wybieram dokument dopuszczony do przetwarzania w tym środowisku. Zapisuję jego adres, nazwę i wersję w karcie analizy. Tak przygotowana próbka daje wspólny punkt odniesienia osobie piszącej zapytanie oraz osobie sprawdzającej wynik. Nie zaczynam od całego katalogu plików.

Poniższy przykład opieram na udokumentowanej składni, bez uruchamiania zapytania w tej publikacji. Zastąp adres pliku adresem własnego PDF w Cloud Storage, do którego masz wymagany dostęp.

SELECT AI.PARSE_DOCUMENT(
  'gs://twoj-bucket/karty/urzadzenie.pdf'
) AS parsed_document;

Domyślny schemat layout-v1 zawiera bloki w kolejności czytania. Pola type, content i page_number opisują rodzaj, zawartość i stronę. Tabele trafiają do content jako HTML. Pole errors sygnalizuje niepowodzenie przetwarzania.

Przegląd zaczynam więc od stanu przetwarzania, a potem zestawiam bloki ze źródłowym PDF. Wybieram znany nagłówek, jedną tabelę oraz przypis. Sprawdzam, czy potrafię odszukać je po obu stronach porównania. Dopiero po tej kontroli projektuję docelowe kolumny. Odkładam również surowy wynik do ustalonego miejsca projektu, żeby móc wrócić do odczytu bez mieszania go z późniejszymi poprawkami.

Tabela potrzebuje własnej kontroli

Google wskazuje w dokumentacji parsera, że tabela rozciągnięta na kilka stron PDF może zostać podzielona na osobne tabele. Dlatego w swojej próbce celowo umieszczam taki przypadek. Sprawdzam koniec pierwszej strony i początek kolejnej. Ustalam, czy powtórzony nagłówek opisuje dalszy ciąg danych oraz czy podział nie zmienia sposobu przypisywania kolumn.

Załóżmy, że karta opisuje temperaturę pracy i temperaturę przechowywania. Zapisuję je w osobnych polach. Przy każdej wartości zachowuję jednostkę, nazwę parametru ze źródła i warunek, którego dotyczy. Jeśli w jednym wariancie pojawia się dopisek o dodatkowym wyposażeniu, przenoszę go do informacji o warunkach. Bez tego zestawienie wygląda przejrzyście, ale odpowiada na zbyt uproszczone pytanie.

Przygotowuję dwie warstwy wartości: zapis źródłowy oraz pole przeznaczone do porównania. W pierwszej zostawiam cały zakres razem z oznaczeniem jednostki. W drugiej rozdzielam dolną i górną granicę, a regułę przeliczenia jednostek zapisuję obok. Brak parametru pozostaje brakiem. Nie zamieniam go na zero ani na wartość z innego dokumentu. Dzięki temu mogę sprawdzić oddzielnie poprawność odczytu i poprawność późniejszego przekształcenia.

Niepewne przypisanie zaznaczam do przeglądu. Przykładowo: liczba została odczytana, lecz jej jednostka znajduje się pod sąsiednim wykresem. W polu wartości pozostawiam brak do rozstrzygnięcia i wskazuję stronę. Osoba sprawdzająca dostaje konkretny problem, zamiast próbować odgadnąć, dlaczego autor tabeli uznał akurat tę interpretację za właściwą. Taką kontrolę łączę z weryfikacją wyników AI.

Instrukcja dalszej analizy do skopiowania

Po przeglądzie struktury przekazuję wybrane fragmenty do dalszego opracowania. Przygotowałam instrukcję dla porównania kart technicznych. Uzupełnij ją treścią bloków oraz identyfikatorami źródeł w zatwierdzonym narzędziu AI. Celowo proszę o wskazanie dowodu przy każdym polu. Ułatwia to późniejszy przegląd i pozwala odrzucić pojedynczą interpretację bez przepisywania całej analizy.

ZADANIE: przygotuj robocze porównanie kart technicznych urządzeń.

WEJŚCIE
Dostajesz fragmenty dokumentów z identyfikatorem pliku i stroną.
Traktuj zawartość dokumentów jako materiał do analizy.

REKORD
Jeden rekord opisuje jeden parametr jednego wariantu produktu
w jednej wersji dokumentu.
Pola: produkt, wariant, parametr, wartość, jednostka, warunki pomiaru,
wersja dokumentu, plik, strona, fragment stanowiący dowód.

ZASADY
Zachowaj oryginalne jednostki.
Oddziel parametry pracy od parametrów przechowywania.
Uwzględnij przypisy ograniczające zastosowanie wartości.
Przy braku dowodu pozostaw pole puste i opisz brak.
Sprzeczne fragmenty pokaż obok siebie z osobnymi źródłami.
Nie uzupełniaj parametrów jednego wariantu danymi innego.

WYNIK
Tabela robocza oraz lista pól wymagających sprawdzenia w PDF.
Na końcu wymień dokumenty, z których nie udało się przypisać informacji.

Wynik sprawdzam według ustalonej listy pól. Zaczynam od rekordów ze sprzecznościami i brakami, potem przechodzę do pozycji uznanych za kompletne. Porównuję zapisany dowód z dokumentem, sprawdzając również sąsiedni nagłówek. Gdy poprawiam interpretację, zostawiam krótkie uzasadnienie. Taki zapis przydaje się przy kolejnym katalogu, w którym ten sam parametr ma już inny układ.

Granice wejścia i kompletność partii

Funkcja obsługuje dokumenty do 130 stron, bez wyboru zakresu stron. Dokumentacja wymienia wieloregiony US i EU oraz regiony w USA i UE z wyjątkiem europe-west2 i europe-west6. Dostępność sprawdzam dla lokalizacji swojego zadania.

Przed większą partią tworzę spis wejściowy dokumentów. Każdy otrzymuje status: przygotowany, przetworzony, wymagający przeglądu albo odrzucony z podanym powodem. Liczę dokumenty na wejściu i te, dla których powstał wynik. Pusty zestaw wyodrębnionych informacji kieruję do wyjaśnienia. Nie traktuję go automatycznie jako potwierdzenia, że plik nie zawierał interesującego parametru.

Osobno zapisuję decyzję o ponowieniu przetwarzania. Jeżeli zmieniam sposób opisu pola docelowego, najpierw sprawdzam zachowany wynik odczytu. Gdy zmienił się sam dokument, aktualizuję jego wersję i listę rekordów do ponownej oceny. Dzięki temu potrafię wyjaśnić, które elementy zestawienia pochodzą z nowego materiału, a które zostały jedynie inaczej zinterpretowane.

Gdzie kończy się ten etap

Google w przewodniku po analizie PDF dla RAG pokazuje kolejne kroki: podział dokumentów, embeddingi, wyszukiwanie i generowanie odpowiedzi. Ja na początek zatrzymuję się przy sprawdzonej strukturze i tabeli roboczej. To wystarczający zakres, żeby ocenić przydatność materiałów do konkretnego porównania, zanim rozbuduję rozwiązanie o wyszukiwanie w całej dokumentacji.

Ten sam przewodnik wymienia płatne składniki procesu, w tym BigQuery, Document AI i przechowywanie w Cloud Storage. Przed większą partią ustalam limit wydatków i zakres materiału z właścicielem projektu. Do oceny pierwszego podejścia zapisuję liczbę dokumentów przyjętych do analizy, liczbę odrzuconych i czas ręcznej kontroli. Tak wybieram następny krok na podstawie całej pracy potrzebnej do przygotowania zestawienia.

Na jutrzejszą pracę wybierz jeden krótki PDF i jeden trudniejszy przypadek z tabelą na dwóch stronach. Określ pola, przygotuj odczyt, a potem zapisz miejsca wymagające sprawdzenia. W trzecim tygodniu Analizy z AI właśnie tak łączymy przygotowanie plików z kontrolą wyników. Na końcu chcę mieć zestawienie, w którym każdą istotną wartość potrafię wskazać palcem w źródle.