Uvajanje AI in izobraževanje ekip
Kako izmeriti AI pilotni projekt pred razširitvijo
AI pilotni projekt se mora končati s poslovno odločitvijo, ne z zbirko privlačnih prikazov. Če želite ugotoviti, ali je nov način dela vreden nadaljevanja, primerjajte celotno opravilo pred pilotom in med njim: čas do uporabnega rezultata, kakovost, popravke in pregled, izjeme, dejansko uporabo zaposlenih ter stroške delovanja. Merila določite vnaprej, da jih navdušenje nad prvimi rezultati ne premakne.
Ekipa SVS Digital · Objavljeno
Začnite tukaj
Izberite en ponavljajoč se proces, odgovorno osebo in datum odločitve. Izhodiščno stanje izmerite z istim virom in postopkom, ki ju boste uporabljali med pilotom. Spremljajte čas celotnega cikla, sprejemljivo kakovost, predelave, delež pravilno zaključenih primerov, obremenitev s pregledom, smiselno uporabo zaposlenih, incidente in dejanske stroške. Uporabite reprezentativne primere, zapišite omejitve in vključite pregledovalca zunaj izvedbene ekipe. Razširite samo tisto, kar podpirajo dokazi; sicer proces zožite, preoblikujte ali ustavite.
1. Začnite z odločitvijo, ki jo mora pilot podpreti
V enem stavku opišite proces, ekipo in pričakovano spremembo. »Preizkusimo AI v prodaji« je preširoko. »Skrbniki strank iz odobrenih podatkov CRM pripravijo preverjen povzetek za sestanek in skrajšajo pripravo brez več vsebinskih popravkov« je merljivo. Določite skrbnika procesa, sodelujoče zaposlene in datum pregleda dokazov.
Microsoftove smernice za uvajanje priporočajo, da pred pilotom povežete poslovni cilj, oddelek, konkretne procese in merila. Ločujejo tudi uporabo od poslovnega rezultata: število aktivnih uporabnikov pokaže, da so ljudje odprli orodje, ne pa tudi, da je delo boljše. Prvi pilot naj bo dovolj ozek, da lahko primerjate star in nov potek dela v primerljivih razmerah.
- En proces z jasnim sprožilcem in uporabnim končnim rezultatom.
- En odgovorni skrbnik procesa in imenovani sodelujoči.
- Poslovno vprašanje, na katero lahko zbrani dokazi res odgovorijo.
- Določen datum ter možne odločitve: razširitev, zožitev, prenova ali ustavitev.
2. Najprej izmerite sedanji potek dela brez AI
Vzemite nedavne običajne primere, ne le urejenih vzorcev za predstavitev. Pri vsakem zabeležite začetek dela, trenutek, ko je rezultat dovolj dober za naslednji korak, aktivni čas zaposlenega, vračilo v popravek in uporabljeno pot za izjeme. Če merite odzivni čas procesa, vključite čakanje in predaje; če merite samo aktivno delo, to jasno zapišite.
Med pilotom ohranite isti poslovni sistem, pravilo vzorčenja in način izračuna. Microsoftove smernice za merjenje učinka priporočajo primerjavo enakega z enakim ter uporabo obstoječih poslovnih virov, kadar je to mogoče. Izhodišče, sestavljeno po spominu po koncu pilota, je šibek dokaz. Spremembe v obsegu dela, kadrovski zasedbi ali strukturi strank zabeležite, namesto da bi vsako razliko pripisali AI.
- Obdobje izhodišča in reprezentativni vzorec sta zapisana.
- Začetek, konec in sprejemljiv rezultat pomenijo isto pred pilotom in med njim.
- Vir podatkov in način izračuna ostaneta enaka.
- Sezonske, kadrovske in druge pomembne spremembe so označene.
3. Merite celoten proces, tudi pregled in predelavo
Osnutek, izdelan v tridesetih sekundah, ne prihrani časa, če zaposleni petnajst minut išče izmišljene podatke, vrača izpuščeni kontekst in popravlja obliko. Merite do trenutka, ko je rezultat pripravljen za dejanski naslednji korak. Uporabna operativna merila so mediana časa cikla, minute dela na zaključen primer, delež večjih popravkov, pravilno zaključeni primeri, nerešene izjeme in delo, ki ga naslednja oseba vrne.
Hitrost povežite s preverjanjem kakovosti. Za konkretno opravilo določite, kaj pomeni sprejemljivo: zahtevana dejstva se ujemajo z virom, obvezna polja so izpolnjena, ton sledi dogovoru, izračuni so preverjeni in prepovedanih trditev ni. Ena splošna stopnja »natančnosti« ni primerna za nepovezana opravila. Povzetek sestanka, razvrščeno povpraševanje in osnutek za stranko imajo različne napake in posledice.
- Čas vključuje preverjanje, popravke in končno predajo.
- Merila kakovosti so prilagojena procesu in določena vnaprej.
- Napake ter reševanje s strani zaposlenih se štejejo in niso skriti kot uspešni primeri.
- Povprečje ne zakrije ponavljajočih se napak pri pomembnih vrstah primerov.
4. Preverite, ali lahko zaposleni proces uporabljajo in nadzirajo
Opazujte smiselno uporabo: pri koliko primernih primerih so zaposleni uporabili dogovorjeno pot z AI, kje so jo opustili in zakaj. Nizka uporaba lahko pomeni slabo usposabljanje, nejasna pravila za podatke, dodatne klike ali proces brez prave koristi. Visoka uporaba lahko pomeni samo navodilo vodje. Vprašajte, kateri korak se je zares spremenil, katerim primerom se zaposleni še izogibajo in ali je orodje delo zmanjšalo ali ga le prestavilo k sodelavcu.
Vodnik britanske vlade The People Factor poudarja, da učinkovit človeški pregled zahteva ustrezno znanje, dovolj časa in pooblastilo za zavrnitev rezultata. Te pogoje preizkusite. Pregledovalec naj ima izvorne podatke, kratek kontrolni seznam in varno pot za zavrnitev ali predajo zahtevnejšega primera. Pridobite mnenje neuporabnikov in navdušencev, da pilota ne oblikujete le za zgodnje uporabnike.
- Štejete primerne primere in dejansko uporabljene postopke z AI.
- Zabeleženi so opuščeni poskusi in razlogi zanje.
- Pregledovalci imajo znanje, čas, dokaze in pravico do zavrnitve.
- Povratne informacije vključujejo redne, občasne in neuporabnike.
5. Vodite evidenco kakovosti, napak in omejitev
Za nadzorovan vzorec shranite različico opravila, dovoljeno vrsto vhoda, rezultat, oceno pregleda, vrsto popravka in končni izid. V evidenco ne vključujte zaupnih ali osebnih podatkov brez odobrenega namena, dostopa in roka hrambe. Incidente ter skorajšnje incidente vodite ločeno od običajnih ocen kakovosti; nepooblaščeno poslano sporočilo ali razkritje podatkov ne sme izginiti v dobrem povprečju.
NIST-ov sklop Measure priporoča dokumentirane testne nabore, merila in postopke vrednotenja, preizkus v razmerah, podobnih dejanski uporabi, stalno spremljanje tveganj ter vključevanje področnih strokovnjakov in uporabnikov. Kjer je smiselno, naj sodeluje notranji strokovnjak, ki ni bil neposredni razvijalec, ali neodvisni ocenjevalec. Pri manjšem pilotu lahko vodja druge ekipe pregleda nespremenljiv vzorec po istem merilu.
- Vzorec vsebuje običajne, nepopolne in zahtevne primere.
- Zapisani so orodje, navodila in različica procesa.
- Kritični incidenti ostanejo vidni zunaj skupnih ocen.
- Ustrezen pregledovalec zunaj izvedbene ekipe oceni del vzorca.
- Znane omejitve in nepreizkušeni primeri so navedeni v odločitvi.
6. Sprejmite sorazmerno odločitev in ločite dejstva od ocen
Ob pregledu primerjajte dogovorjeno izhodišče, cilj in dejanski rezultat. Razširite samo preizkušene vrste primerov, uporabnike in pooblastila. Proces zožite, kadar običajni primeri prinašajo korist, izjeme pa ostajajo drage. Preoblikujte ga, kadar AI pospeši en korak, naslednje ozko grlo pa ohrani enak skupni čas. Ustavite ga, kadar obremenitev s pregledom, kakovost, tveganje ali stroški ne upravičijo nadaljevanja. Tudi ustavljen pilot je koristen, če prepreči večjo nepodprto uvedbo.
Naštejte dejanske stroške: licence, pripravo, povezave, usposabljanje, pregled, podporo in vzdrževanje. Če čas pretvorite v denarno vrednost, uporabite način, ki ga podjetje že priznava, rezultat pa označite kot oceno. Microsoftove smernice ločujejo izmerjeno spremembo procesa od ocenjene finančne vrednosti in odsvetujejo pripisovanje celotnega poslovnega učinka AI brez dokazov. Ta vodnik je operativni okvir za merjenje, ne jamstvo za donos ali zamenjava za pravni, varnostni oziroma panožni pregled.
- Izmerjeni rezultat, predpostavke in preostala negotovost so ločeni.
- Dejanski stroški vključujejo čas zaposlenih za pregled in podporo.
- Naslednji obseg ne presega preizkušenih pooblastil in vrst primerov.
- Odločitev je zapisana kot razširitev, zožitev, prenova ali ustavitev, z odgovorno osebo in novim datumom pregleda.