Ten artykuł na blogu jest kontynuacją poprzedniego, poświęconego dogłębnej analizie transformacji, jakich można się spodziewać w projektach AI (Sztuczna Inteligencja). Omówimy tu najważniejsze aspekty związane z rozpoczęciem projektu, jego rozwojem, pułapkami i trudnościami – aby przypomnieć i zwrócić uwagę na kwestie, na które należy zwrócić uwagę podczas pokonywania trudnej drogi do sukcesu projektu AI.
Zacznijmy od zwykłego wskaźnika finansowego – zwrotu z inwestycji (ROI) w projekt AI. Można zapytać, dlaczego? Mam trzy powody:
- Mając wieloletnie doświadczenie jako Dyrektor Finansowy dużej korporacji, muszę powiedzieć, że wskaźnik ten jest jednym z najważniejszych przy podejmowaniu właściwej decyzji o rozpoczęciu/zaakceptowaniu konkretnego projektu lub jego odrzuceniu;
- Jeśli chodzi o projekty AI – wskaźnik ten jest nieustannie niedoceniany/źle rozumiany podczas rozważania wielkiego, pięknego (Big Beautiful ...) projektu AI;
- Zbyt często obiecujące systemy AI nie są warte poświęcenia czasu i zasobów, biorąc pod uwagę koszty, złożoność i trudności związane z wdrożeniem w porównaniu z oczekiwanymi korzyściami.
Mówiąc prościej – liczba nieudanych projektów AI jest obecnie wielokrotnie większa niż liczba projektów zakończonych sukcesem. Z jakiego powodu – niewłaściwie oszacowany zwrot z inwestycji? Czy są jeszcze inne powody? Tak, zgadzam się – obliczenie zwrotu z inwestycji w warunkach niepewności nie jest łatwym zadaniem. Bardzo często firmy rozpoczynały projekty AI bez odpowiedniej oceny, czy wdrożenie projektu zapewni JAKIKOLWIEK pozytywny zwrot. Jak więc w praktyce obliczyć zwrot z inwestycji w warunkach niepewności?
Istnieje kilka sposobów prognozowania, mierzenia (i zarządzania) zwrotem z inwestycji, nie tylko poprzez podzielenie oczekiwanego zwrotu przez koszt zainwestowanych środków finansowych. Przypomnę słynny cytat guru zarządzania Petera Druckera: „nie można zarządzać tym, czego nie można zmierzyć”, więc problem polega na pomiarze zwrotu (korzyści) z projektu, który ma zostać uruchomiony. Jeśli myślisz o korzyściach, weź pod uwagę kwestie niefinansowe, takie jak przyspieszenie głównej produkcji, zwiększenie niezawodności i bezpieczeństwa, poprawa kontroli jakości, co z kolei generuje dodatkowy dochód. Udoskonalenie technologii (przetwarzanie danych), zmniejszenie liczby błędów może przynieść wiele niematerialnych korzyści (intangible assets)/ aktywów, wartych każdego dolara wydanego na ulepszenia. Musisz po prostu zaplanować swoje działania z wyprzedzeniem i w ten sposób zarządzać zwrotem z inwestycji.
Kolejną kwestią, którą należy poruszyć, jest rzeczywistość oczekiwań. Mam na myśli rozbieżność między tym, co obiecujesz, a tym, co faktycznie możesz dostarczyć. Nie kładę nacisku na poziom przyzwoitości osób, które oferują projekt AI. Podczas spotkania inauguracyjnego (kick-off meeting) wszyscy interesariusze zazwyczaj jednogłośnie głosują za przyjęciem projektu. Wszyscy są zadowoleni, że za kilka miesięcy będą mieli maszynę myślącą, która jest wielokrotnie szybsza, działa doskonale i pozwala obniżyć wynagrodzenia kilku bardzo kosztownych analityków. Co dzieje się dalej? Tygodnie zamieniają się w miesiące, miesiące w kwartały, a co jest dostępne w tej chwili? Inteligentną maszynę, która daje prawie takie same wyniki jak analitycy, czasem nieoczekiwane i trudne do wyjaśnienia.
Pomyśl o rewolucyjnej sztucznej inteligencji IBM Watson do diagnozowania raka i zalecania metod leczenia (szpitale po cichu ograniczyły lub zaprzestały jej stosowania), wewnętrznym systemie sztucznej inteligencji Amazon do sprawdzania kandydatów do pracy (zamkniętym z powodu dyskryminacji kobiet) lub systemie FSD (Full Self Driving) Tesli (nadal działającym i nie w pełni autonomicznym w połowie 2025 r.). Niewystarczające lub niereprezentatywne dane szkoleniowe w krytycznych dziedzinach, decyzje algorytmiczne mające wpływ na życie, sztuczna inteligencja dziedzicząca uprzedzenia z danych historycznych, zbyt optymistyczne obietnice dotyczące możliwości sztucznej inteligencji przed osiągnięciem dojrzałości technologicznej często zagrażają zaufaniu publicznemu — i życiu.
Co więc było nie tak z wszystkimi wyżej wymienionymi projektami?
Nie ma prostej odpowiedzi, ale mam kilka przemyśleń. Prawdopodobnie chodzi o sedno sztucznej inteligencji. Wszystkie projekty związane ze sztuczną inteligencją stoją przed podobnymi wyzwaniami w porównaniu z tradycyjnymi projektami informatycznymi. Mają one rzeczywiście wyjątkową złożoność, na przykład:
1. Charakter oparty na danych: w przeciwieństwie do tradycyjnego oprogramowania (opartego na regułach, deterministycznego), modele sztucznej inteligencji uczą się wzorców i zachowań na podstawie danych, aby dokonywać prognoz lub klasyfikacji. W związku z tym:
- Dane są podstawą każdego systemu sztucznej inteligencji. Jeśli dane są słabej jakości, niewystarczające lub nieistotne, nawet najbardziej zaawansowane architektury sztucznej inteligencji nie będą w stanie dostarczyć znaczących wyników. Modele mogą uczyć się fałszywych wzorców na podstawie zakłóconych/niedokładnych danych.
- Wydajność systemu AI, uczciwość i wiarygodność, a także sukces całego projektu AI zależą w dużym stopniu i bezpośrednio od jakości (kompletności, dokładności, spójności, ważności i aktualności), ilości i trafności (związanej z problemem, zebranej z odpowiedniego kontekstu i okresu) danych wykorzystywanych do szkolenia i oceny modeli. Niespójne dane dezorientują modele. Nie chodzi tylko o kodowanie znanych funkcji w tradycyjnych projektach IT.
2. Iteracyjne i eksperymentalne: W przeciwieństwie do systemów deterministycznych, rozwój sztucznej inteligencji jest z natury iteracyjny, często nieprzewidywalny ze względu na zależność od danych, niepewność co do osiągalnych wskaźników oraz potrzebę eksperymentowania w celu znalezienia optymalnych modeli. Tym samym różni się on zasadniczo od standardowego dostarczania deterministycznych funkcji oprogramowania w ramach metodyki Agile.
3. Niepewność modelu: W przeciwieństwie do tradycyjnych systemów o ustalonych regułach, sztuczna inteligencja Modele AI:
- Podejmują decyzje probabilistyczne (wyniki różnią się nawet w przypadku podobnych danych wejściowych zbliżonych do granic decyzyjnych).
- Są w dużym stopniu uzależnione od rozkładu danych szkoleniowych: jeśli dane produkcyjne odbiegają od danych szkoleniowych, wydajność modelu ulega pogorszeniu.
- Wymagają ciągłego monitorowania i ponownej kalibracji.
Co więcej, modele AI mogą zachowywać się niekonsekwentnie w czasie (np. dryf modelu), co prowadzi do:
- zmniejszenia dokładności lub wiarygodności prognoz,
- cichych awarii (system nadal generuje prognozy z wysokim poziomem pewności, ale niską poprawnością) lub nawet
- niewłaściwych decyzji biznesowych opartych na nieaktualnych założeniach modelu.
4. Wymagania międzyfunkcyjne: Projekty AI wymagają ścisłej współpracy między naukowcami zajmującymi się danymi, biznesem i IT — z różnymi słownictwem i sposobem myślenia. W tym miejscu analityk biznesowy może wykazać się kreatywnością we współpracy z zespołami i doskonałością w komunikacji z interesariuszami!
5. Specyficzne testowanie AI: Nie można testować systemu AI tak jak oprogramowania; jego zachowanie zależy od zmieniających się danych wejściowych i danych. Dlatego:
- Systemy AI wymagają nowych wymiarów testowania: wyjaśnialności, sprawiedliwości, odporności na dane wejściowe o charakterze antagonistycznym oraz ciągłej walidacji uczenia się.
- Testowanie systemu AI nie jest działaniem jednorazowym. Wymaga ono ciągłego monitorowania i walidacji w miarę ewolucji danych i środowisk.
- Tradycyjni inżynierowie ds. zapewnienia jakości (QA) muszą podnosić swoje kwalifikacje w zakresie koncepcji nauki o danych, aby skutecznie pełnić role związane z zapewnieniem jakości AI.
- Testowanie sztucznej inteligencji jest w dużym stopniu uzależnione od kontekstu i wymaga wiedzy dziedzinowej, zrozumienia danych oraz wglądu w zachowanie modelu.
Dlatego proste (na pierwszy rzut oka) projekty stają się bardzo skomplikowane w ciągu kilku miesięcy od spotkania inauguracyjnego. Powtarzają one ten sam schemat rozwoju: zbyt optymistyczne obietnice na początku, niedostateczne wyniki w środkowej fazie rozwoju projektu (realizacja, monitorowanie i kontrola), a w rezultacie niepowodzenie projektu.
Co więc jest potrzebne, aby projekt AI zakończył się sukcesem?
- Status gotowości do rozpoczęcia projektu AI;
- Odpowiedni zestaw umiejętności dla kierowników projektów AI;
- Strukturalne podejście do realizacji projektu AI.
To zapewni Twojej organizacji sukces w zarządzaniu projektami AI. Jest to niezbędne — kierownik projektu AI ma nie tylko uruchomić model, ale także poprowadzić go przez rzeczywiste pułapki, trudności i ciągłą integrację/testowanie AI.
Będziemy dalej omawiać ten gorący temat w następnej publikacji na blogu GrafFIN.