Każdy, kto pierwszy raz próbuje oddać modelowi własne materiały, zadaje te same siedem pytań. Wszystkie sprowadzają się do jednego faktu, a kiedy się go zrozumie, przestają być kwestią gustu i stają się arytmetyką, którą można przesunąć suwakiem.
To jest całe nieporozumienie, na którym wykłada się większość pierwszych wdrożeń. Ludzie mówią "damy AI naszą dokumentację" tak, jakby model gdzieś tam ją miał i do niej zaglądał. Nie ma i nie zagląda.
Model widzi wyłącznie tekst, który ktoś mu podał w momencie zadawania pytania. Wszystko inne, cała baza wiedzy, foldery, wyszukiwanie semantyczne, wektory, jest maszynerią, która decyduje, jaki to ma być tekst.
Kiedy to raz zaskoczy, spory o organizację wiedzy przestają być sporami o styl. Zaczyna się dać je policzyć. Dlatego większość tego, co niżej, to pokrętło, które można przekręcić i zobaczyć, jak przesuwa się rekomendacja.
Przykład, na którym to pokażę, jest z życia: ktoś ma kilkaset zdarzeń z własnej historii i chce z tego zrobić bazę, z której model naprawdę korzysta. Firmowa dokumentacja, archiwum ofert, notatki ze spotkań, baza procedur, rządzą się dokładnie tymi samymi prawami.
Okno kontekstu modelu to biurko, nie biblioteka. Wszystko, o czym model ma w tej chwili myśleć, musi leżeć na tym biurku naraz. Cała Twoja dokumentacja na biurku oznacza, że nie ma już miejsca na właściwą pracę, i że za każde pytanie płacisz całym archiwum.
Baza wiedzy nie jest o porządku. Jest o tym, żeby móc położyć na biurku osiem kartek zamiast całej szuflady.
Co z tego wynika: wczytanie całej bazy naraz nie jest katastrofą przy dużym oknie, jest po prostu drogie przy każdym pytaniu i topi właściwą stronę wśród sześciuset nieistotnych. Dobre wyszukanie, te osiem do dwunastu stron, które naprawdę dotyczą pytania, nie kosztuje prawie nic.
Prawdziwym kompromisem nie jest liczba plików, tylko ziarno: ile niepotrzebnego materiału jedzie na barana, kiedy wyszukiwanie wyciąga ten potrzebny.
Twoje archiwum ma mniej więcej stałą objętość. Podział go nie zmniejsza, zmienia tylko to, jak ostro da się z niego wyciąć kawałek. Strony grube są tanie w utrzymaniu i wciągają szum do każdej odpowiedzi. Strony cienkie wyszukują się czysto i mnożą rzeczy, które mogą się zdezaktualizować.
Skąd te liczby: to model poglądowy. Zakłada, że około 150 słów strony dotyczy typowego pytania i że jedno wyszukanie wyciąga sześć stron. Kształt krzywej jest prawdziwy, konkretne wartości są ilustracją.
Krzywa ma szerokie płaskie dno gdzieś w okolicach 200 do 500 słów na stronę: jedno zdarzenie, kilka akapitów, opisane raz. Przy archiwum wielkości kilkuset tysięcy słów wychodzi z tego kilkaset plików i to jest właściwy rząd wielkości.
Układ po latach oznacza, że zdarzenie ma dokładnie jeden dom, a każdy inny sposób dotarcia do niego, po osobie, po kliencie, po temacie, po tym, co z niego wynikło, właśnie przestał istnieć. To jest koszt, którego nie widać w momencie wybierania drzewa katalogów.
Odnośniki takiego limitu nie mają. Strona może leżeć w katalogu 2016/ i nadal być osiągalna z notatki o kliencie, z osoby, która Was poznała, i z decyzji, którą później tłumaczy. Foldery są dla człowieka, który przegląda. Odnośniki są dla tego, kto szuka.
| Indeks | Dobry w | Zawodzi przy | Kosztuje |
|---|---|---|---|
| Foldery po latach | Przeglądaniu okiem, oczywistej kolejności | Wszystkim, co nie jest chronologią | Tylko jeden wymiar |
| Nazwy plików z datą | Sortowaniu, rzucie oka, wyszukiwaniu tekstowym | Szukaniu po znaczeniu | Dyscyplinie nazewniczej |
| Metadane w nagłówku | Cięciu po osobie, miejscu, temacie | Pojęciach nienazwanych | Rozjeżdżaniu się słownika |
| Odnośniki między stronami | Sąsiedztwie, przyczynowości, historii | Stronach, do których nikt nie linkuje | Uwadze w trakcie pisania |
To nie są rywale, tylko dwie różne odpowiedzi na pytanie jak znaleźć właściwą stronę, nie czytając wszystkich. Warto zobaczyć mechanikę obu, bo to ona decyduje, które z nich Cię zawiedzie i kiedy.
Tnie Twoje teksty na kawałki, przepuszcza każdy przez model, który zamienia tekst na listę liczb, i zapisuje wynik. Twoje pytanie dostaje to samo traktowanie, a system zwraca te kawałki, których liczby leżą najbliżej. Bliskość w tej przestrzeni liczb przybliża bliskość znaczenia. To jest cała magia i jednocześnie cały problem.
Po cichu psuje się właśnie na cięciu. Za drobno i odpowiedź rozjeżdża się na szwie. Za grubo i każde trafienie ciągnie ze sobą akapit niezwiązanych rzeczy.
Jak to czytać: pogrubione zdania to te, które razem stanowią odpowiedź na pytanie "dlaczego to się wydarzyło". Zielony kawałek trzyma je oba, żółty tylko jedno.
Żadnych liczb. Strona ma nazwę, nazwa pojawia się na innych stronach, a agent po prostu chodzi: czyta indeks, otwiera stronę o pasującej nazwie, wchodzi o jeden krok w jej odnośniki. To jest to, co robi człowiek w bibliotece, tylko szybko. Wyszukiwanie, które da się przeczytać, zakwestionować i naprawić, poprawiając jedną linijkę tekstu.
Poniżej te same cztery pytania przepuszczone przez trzy metody: zwykłe szukanie po nazwie pliku, wyszukiwanie semantyczne i graf odnośników.
Wzór, który się z tego wyłania: nazwa wygrywa ze znaczeniem, kiedy rzecz ma nazwę, a znaczenie wygrywa z nazwą, kiedy jej nie ma. Pytania o osobę, miejsce, datę trafiają w graf czysto. Pytania zadane uczuciem, "najtrudniejszy rok", "kiedy się gubiłem", nie trafiają w graf nigdzie, chyba że akurat zapisałeś te słowa. I to jest ten jeden przypadek, w którym wektory zarabiają na siebie.
| Graf odnośników | Wyszukiwanie semantyczne | |
|---|---|---|
| Zbudowany z | Nazw, odnośników, metadanych | Kawałków i wektorów |
| Wdrożenie | Dyscyplina pisania | Model, baza, cały potok |
| Dlaczego to trafienie | Czytelne: nazwa, odnośnik | Nieprzejrzyste: odległość |
| Naprawa złego wyniku | Zmiana nazwy, dopisanie odnośnika | Nowe cięcie, przeliczenie, strojenie |
| Psuje się, gdy | Nigdy nie zapisałeś tego słowa | Odpowiedź leży na szwie kawałków |
| Skaluje się do | Tysięcy stron | Milionów |
---. Tam mieszka data, osoby, miejsce i etykiety, żeby dało się po nich filtrować, zamiast je czytać.Przebieg lintowania warto mieć wcześnie: to on wyłapuje odnośnik wpisany do strony, której nigdy nie utworzyłeś. To jest ten cichy sposób, w jaki graf wydrąża się od środka.
Czat wręcza Ci tekst, Ty go gdzieś wklejasz, a każda przyszła poprawka to kolejna runda kopiowania. To jest ta różnica i to jest cała różnica: czat daje wynik, agent z dostępem do plików daje archiwum, do którego może wrócić.
| Powierzchnia | Czyta pliki | Zapisuje | Dobra do |
|---|---|---|---|
| Czat | Tylko to, co wkleisz | Nie | Myślenia, ustalenia kształtu |
| Agent z dostępem do plików | Tak | Tak | Konwersji setek plików, partiami |
| Agent w terminalu | Tak | Tak, plus historia zmian | Wszystkiego, co ma być odwracalne |
| Edytor notatek | Ty czytasz | Ty piszesz | Czytania i pisania tego potem |
Edytor notatek nie jest konkurencyjnym systemem, i to jest zwykle prawdziwy niepokój pod tym pytaniem. To jest edytor tekstu nad katalogiem zwykłych plików. Agent pisze pliki, edytor pokazuje je z klikalnymi odnośnikami, i żaden z nich niczego nie jest właścicielem. Gdybyś jutro porzucił oba, katalog nadal się otwiera.
Te dwie połówki projektu to nie jest ta sama praca. Ustalenie taksonomii, co się liczy jako zdarzenie, jakie etykiety istnieją, jak wygląda strona, to jest osąd, robiony raz, a każdy błąd na tym etapie mnoży się przez sześćset. Przerobienie zdarzenia numer 340 na plik to przepisywanie według ustalonej specyfikacji.
Jednostki są względne, to nie są ceny. Chodzi o proporcję: decyzje to ułamek tur i prawie całość konsekwencji.
Jedno zastrzeżenie techniczne: przełączenie modelu przełącza całą rozmowę, nie następną wiadomość. Nowy model dziedziczy zapis i idzie dalej. To jest w porządku przy wchodzeniu w wykonanie, bo plan jest już wtedy spisany. Przy powrocie do projektowania przełącz się najpierw z powrotem w górę, bo myślenie, które wyprodukowało dobrą taksonomię, nie znajduje się w zapisie rozmowy. Są tam tylko jego wnioski.
Sztuczka polega na tym, żeby agent deklarował własną niepewność w trakcie pracy, zamiast zostawiać Tobie jej szukanie na końcu. Konkretnie: jedno pole w metadanych i jeden plik z kolejką.
To jest kształt, na który warto się upierać w tym projekcie i w każdym następnym: praca jest autonomiczna, eskalowana jest niepewność, a każde rozstrzygnięcie zostaje zapisane jako polityka. Twoja uwaga idzie tylko tam, gdzie zmienia wynik.
Ostatni punkt jest najważniejszy. Archiwum jest majątkiem: zwykłe pliki, Twoje, przenośne, czytelne za czterdzieści lat. Każdy sposób wyszukiwania zbudowany na wierzchu jest wymienialną maszynerią, a maszynerię dużo łatwiej dołożyć do dobrego archiwum niż archiwum uratować spod dobrej maszynerii.
Robię wdrożenia AI w małych i średnich firmach: automatyzacje, systemy agentowe, bazy wiedzy, z których model naprawdę korzysta. Rzeczy, które odejmują powtarzalną pracę zamiast dokładać kolejne narzędzie. Prowadzę też warsztaty dla zespołów, po których wiadomo, co da się zbudować, a co jest kosztowną obietnicą.
Zaczynamy zwykle od krótkiej rozmowy o tym, gdzie w Waszym tygodniu siedzi powtarzalna praca.
Napisz do mnie