Ця стаття в нашому блозі є продовженням попередньої в якій ми детально розглянули очікувані трансформації в проектах з штучним інтелектом. Тут ми розглянемо найважливіші аспекти започаткування та розвитку проектів, а також підводні камені та пастки, щоб нагадати про необхідність бути обережними на складному шляху до успіху проектів з штучного інтелекту.
Почнемо зі звичайного фінансового коефіцієнта — рентабельності інвестицій (ROI) в проект AI. Ви можете запитати, чому? У мене є три причини для цього:
- Маючи багаторічний досвід роботи фінансовим директором великої корпорації, я мушу сказати, що цей коефіцієнт є одним з найважливіших для прийняття правильного рішення про те, чи розпочинати/приймати конкретний проект, чи відхиляти його;
- Що стосується проектів у сфері штучного інтелекту, то цей коефіцієнт постійно недооцінюється/неправильно розуміється під час розгляду великих і привабливих проектів у цій сфері;
- Занадто часто перспективні системи штучного інтелекту не варті витраченого часу та ресурсів, зважаючи на вартість, складність та труднощі впровадження порівняно з очікуваними вигодами.
Простіше кажучи, кількість провалених проектів у сфері штучного інтелекту станом на зараз в рази перевищує кількість успішних. Чому? Через невідповідність ROI? Є ще якісь причини? Так, згоден – розрахунок ROI в умовах невизначеності – завдання не з легких. Дуже часто компанії розпочинали проекти у сфері штучного інтелекту без належної оцінки того, чи забезпечить реалізація проекту БУДЬ-ЯКИЙ позитивний результат. Тож як на практиці розрахувати ROI в умовах невизначеності?
Існує кілька способів прогнозування, вимірювання (та управління) рентабельності інвестицій, і не лише шляхом ділення очікуваного прибутку на вартість фінансових ресурсів, що інвестуються. Дозвольте нагадати вам відомий вислів гуру менеджменту Пітера Друкера: «Не можна керувати тим, що не вимірюється», тому проблема полягає у вимірюванні прибутку (вигод) від проекту, що запускається. Якщо ви думаєте про вигоди, враховуйте нефінансові питання, такі як прискорення основного виробництва, підвищення надійності та безпеки, поліпшення контролю якості, що, в свою чергу, приносить додатковий дохід. Удосконалення технологій (обробка даних), зменшення кількості помилок може принести вам багато нематеріальних вигод/активів, які варті кожного долара, витраченого на поліпшення. Що вам потрібно зробити, це заздалегідь спланувати свої дії і таким чином управляти рентабельністю інвестицій.
Наступним питанням, яке потрібно вирішити, є реальність очікувань. Я маю на увазі розрив між тим, що ви обіцяєте, і тим, що ви насправді можете виконати. Я не говорю про рівень порядності тих людей, які пропонують проект з ШІ. На стартовій нараді всі зацікавлені сторони зазвичай одностайно голосують за прийняття проекту. Всі раді, що за кілька місяців вони отримають мислячу машину, яка працює в рази швидше, функціонує бездоганно і дозволяє скоротити витрати на оплату праці кількох дуже дорогих аналітиків. Що відбувається далі? Тижні перетворюються на місяці, місяці — на квартали, і що ми маємо на даний момент? Розумну машинку (аплікацію), яка дає майже ті самі результати, що й аналітики, іноді несподівані та важкі для пояснення.
Згадайте революційний штучний інтелект IBM Watson для діагностики раку та рекомендацій щодо лікування (лікарні тихо скоротили або припинили його використання), або внутрішню систему штучного інтелекту Amazon для відбору кандидатів на роботу (закриту через фактичну дискримінацію жінок), або систему FSD (Full Self Driving) Tesla (яка все ще працює і на середину 2025 року ще не є повністю автономною). Недостатні або нерепрезентативні дані для навчання в критичних сферах, алгоритмічні рішення, що впливають на життя людей, упередженість штучного інтелекту, успадкована від історичних даних, надмірні обіцянки щодо можливостей штучного інтелекту до досягнення технологічної зрілості часто ставлять під загрозу довіру громадськості — і життя людей.
То що ж було не так з усіма згаданими вище проектами?
Простої відповіді немає, але я маю кілька міркувань. Ймовірно, щось пов'язане з сутністю ШІ. Усі проекти ШІ стикаються з подібними специфічними викликами порівняно з традиційними ІТ-проектами. Вони дійсно мають унікальні складнощі, такі як:
1. Орієнтованість на дані: на відміну від традиційного програмного забезпечення (орієнтованого на правила, детермінованого), моделі ШІ вивчають закономірності та поведінку на основі даних, щоб робити прогнози або класифікації. Отже:
- Дані є основою будь-якої системи ШІ. Якщо дані є неякісними, недостатніми або нерелевантними, навіть найсучасніші архітектури ШІ не зможуть надати значущих результатів. Моделі вивчають у тому числі помилкові закономірності з шумових/неточних даних.
- Ефективність системи штучного інтелекту, її справедливість і надійність, а також успіх усього проекту штучного інтелекту значною мірою і безпосередньо залежать від якості (повноти, точності, узгодженості, достовірності та своєчасності), кількості та релевантності (відносно проблеми, зібраних у правильному контексті та періоді) даних, що використовуються для навчання та оцінки моделі. Неузгоджені дані заплутують моделі. Це не просто кодування відомих функціональних можливостей у традиційних ІТ-проектах.
2. Ітеративність та експериментальність: на відміну від детермінованих систем, розробка ШІ є за своєю суттю ітеративною, часто непередбачуваною через залежність від даних, невизначеність у досяжних показниках та необхідність експериментів для пошуку оптимальних моделей. Таким чином, вона принципово відрізняється від стандартної гнучкої доставки детермінованих функцій програмного забезпечення.
3. Невизначеність моделі: на відміну від традиційних систем із фіксованими правилами, моделі ШІ:
- Приймають ймовірнісні рішення (результати варіюються навіть для подібних вхідних даних, близьких до меж прийняття рішень).
- Сильно залежать від розподілу даних навчання: якщо виробничі дані відрізняються від даних навчання, продуктивність моделі погіршується.
- Вимагають постійного моніторингу та перекалібрування.
Більше того, моделі ШІ можуть з часом поводитися нестабільно (наприклад, отримувати зміщення/посування), що призводить до:
- зниження точності або надійності прогнозів,
- прихованих збоїв (система продовжує генерувати прогнози з високим рівнем впевненості, але низьким рівнем точності) або навіть
- неправильних бізнес-рішень, заснованих на застарілих припущеннях моделі.
4. Міжфункціональні вимоги: проекти ШІ вимагають тісної співпраці між науковцями, які працюють з даними, бізнесом та ІТ — з різними словниками та способами мислення. Саме тут бізнес-аналітик може продемонструвати креативність у співпраці з командами та майстерність у спілкуванні із зацікавленими сторонами!
5. Специфічне тестування ШІ: Ви не можете тестувати систему ШІ як програмне забезпечення; її поведінка залежить від мінливого потоку вхідних даних та інформації. Ось чому:
- Системи ШІ вимагають нових вимірів тестування: пояснюваності, справедливості, стійкості до суперечливої вхідної інформації та постійної перевірки навчання моделі.
- Тестування системи ШІ — це не одноразова робота. Воно потребує постійного моніторингу та перевірки в міру розвитку даних та середовищ.
- Традиційні інженери з контролю якості (QA) повинні підвищити свою кваліфікацію в галузі концепцій науки про дані, щоб бути ефективними в ролі QA в галузі штучного інтелекту.
- Тестування штучного інтелекту сильно залежить від контексту і вимагає знань у відповідній галузі, розуміння даних та розуміння поведінки моделі.
Ось чому прості (на перший погляд) проекти стають дуже складними через кілька місяців після стартової наради. Вони повторюють одну і ту ж схему розвитку: надмірні обіцянки на початку, невиконання зобов'язань на середньому етапі розвитку проекту (виконання, моніторинг та контроль), і в результаті — провал проекту.
Отже, що потрібно для успіху проекту в галузі штучного інтелекту?
- Готовність до запуску проекту в галузі штучного інтелекту;
- Набір необхідних навичок для менеджерів проектів у сфері штучного інтелекту;
- Структурований підхід до реалізації проектів у сфері штучного інтелекту.
Це забезпечить вашій організації успіх в управлінні проектами у сфері штучного інтелекту. Це дуже важливо — менеджер проектів у сфері штучного інтелекту повинен не тільки запустити модель, але й провести її через реальні пастки, болота та постійну інтеграцію/тестування штучного інтелекту.
Ми продовжимо обговорювати цю актуальну тему в наступній публікації блогу GrafFIN.