Kako razvrstiti primere uporabe AI pred pilotnim projektom

1. Vsako zamisel opišite na enaki enostranski kartici

Kandidata opišite kot spremembo resničnega dela: kdo ima težavo, kako delo poteka danes, kaj bi opravil korak s pomočjo AI in kateri rezultat naj bi se izboljšal. »Uporabimo agenta AI« ni primer uporabe. »Iz potrjenih informacij o storitvah pripravi osnutek odgovora, ki ga pregleda zaposleni« je dovolj konkretno za primerjavo.

Dodajte sedanji obseg, čas obdelave, pogoste izjeme, prizadete uporabnike, potrebne sisteme in osebo, ki odgovarja za rezultat. Uradna navodila Google Cloud se začnejo z merljivim poslovnim ciljem in izrecno zahtevajo presojo, ali cilj sploh potrebuje generativni AI, drugo vrsto AI ali rešitev brez AI. Tehnologije zato ne izberite, preden je delo jasno.

• Problem in uporabnik, ki ga problem zadeva, v enem stavku.
• Sedanji sprožilec, koraki, rezultat in lastnik procesa.
• Pričakovana sprememba in dve možni merili uspeha.
• Možnosti z AI, običajno avtomatizacijo ali samo spremembo procesa.

2. Pogoje za ustavitev preverite pred izračunom skupne ocene

Visoka ocena vrednosti ne sme izničiti nerešenega pravnega, varnostnega ali podatkovnega problema. Kandidata začasno ustavite, če namen ni jasen, nihče ne odgovarja za odločitev, reprezentativni vhodi niso na voljo, pomembnega rezultata ni mogoče preveriti ali bi pilot uporabljal podatke brez potrjene podlage in omejitev dostopa. To so naloge za razjasnitev, ne točke, ki jih skrijete v povprečje.

Evropska komisija akt o umetni inteligenci opisuje kot pristop na podlagi tveganj in med visokotvegane primere uvršča tudi določene kadrovske uporabe, na primer razvrščanje življenjepisov. Pri nekaterih interakcijah, kot so klepetalni roboti, določa tudi zahteve glede preglednosti. Razvrstitev je odvisna od konkretnega sistema in okoliščin, zato matrika ni pravna presoja. Uporabe na področju zaposlovanja, bistvenih storitev, varnosti, biometrije ali odločitev z resnimi posledicami naj označi za strokovni pregled.

• Ali sta namen in odgovorna oseba jasno določena?
• Ali lahko ekipa preizkuša z dovoljenimi in reprezentativnimi podatki?
• Ali lahko človek odkrije in popravi pomembno napako?
• Ali je najprej potreben pravni, varnostni ali področni pregled?

3. Poslovno vrednost in merljivost ocenite ločeno

Poslovno vrednost ocenite od 1 do 5 z dokazi iz sedanjega procesa. Visoka ocena zahteva pomemben problem: veliko ponavljajočega se dela, drago čakanje, pogoste popravke, neizkoriščene zmogljivosti ali dokumentirano potrebo strank. Navdušenje nad AI brez operativnega izhodišča ni ocena pet. Razlog zapišite ob številki, da ga lahko drug vodja preveri.

Posebej ocenite merljivost. Presodite, ali lahko pilotni projekt primerja določen vzorec s sedanjim načinom dela z dvema ali tremi merili, kot so čas obdelave, delež večjih popravkov, pravilno usmerjeni primeri ali nerešene izjeme. Microsoftova navodila za vrednotenje primerov uporabe primerjajo strateško ustreznost in poslovni učinek z željami uporabnikov in tehnično izvedljivostjo. Ločeni oceni preprečita, da bi velika, vendar nejasna ambicija prehitela manjši, preverljiv problem.

4. Ocenite pripravljenost procesa, podatkov in povezav

Proces je pripravljen, ko poznate sprožilec, pričakovani rezultat, običajno pot in izjeme. Nizko oceno dobi, če zaposleni uporabljajo različna pravila ali se pričakovani rezultat spreminja glede na pregledovalca. Prvi projekt je morda ureditev delovnega postopka; plast AI ne bo sama stabilizirala nejasnega procesa.

Pripravljenost podatkov in povezav pomeni več kot obstoj datotek. Preverite, ali smete uporabiti reprezentativne primere, ali je potrebno znanje posodobljeno, ali se oznake ujemajo, ali imajo sistemi podprt vmesnik in ali se rezultat lahko vrne v delovni tok. Zapišite stroške zunanjih storitev, omejitve dostopa ter skrbnika navodil in podatkov po uvedbi. Demonstracija, ki deluje le s kopiranim besedilom, v resničnem procesu pa ne, si zasluži nižjo oceno.

• Stabilen proces in jasno določena pot za izjeme.
• Reprezentativni vhodi z znano kakovostjo in dovoljenjem za uporabo.
• Podprt dostop do potrebnih sistemov.
• Imenovan skrbnik delovanja, spremljanja in posodobitev.

5. Sprejetost in tveganje ocenite kot dve ločeni vprašanji

Sprejetost ni število zaposlenih, ki pravijo, da se zamisel sliši zanimivo. Preverite, ali so sodelavci, ki opravljajo delo, pomagali opredeliti problem, ali lahko rezultat pregledajo v običajnih orodjih, ali razumejo svojo odgovornost in imajo čas za prijavo napak. Tehnično dober pomočnik, ki doda še en nabiralnik ali nejasen korak odobritve, lahko ustvari več dela, kot ga odvzame.

Pri tveganju opišite posledico in zaznavnost napačnega rezultata, občutljivost podatkov, prizadete osebe, možno zlorabo in odvisnost od zunanjih ponudnikov. Priročnik NIST za upravljanje tveganj AI zahteva razmislek o namenu, uporabnikih, okoliščinah, vplivih, omejitvah sistema in človeškem nadzoru. Odgovore uporabite za zmanjšanje tveganja ali oženje obsega, ne le za opozorilo ob nespremenjenem predlogu.

6. Sprejmite odločitev o portfelju, ne le vrstnega reda

Uporabite preprosto lestvico od 1 do 5 z vnaprej dogovorjenimi opisi ocen. Primerjava lahko prikaže vrednost, merljivost, pripravljenost procesa, podatkov in povezav, pripravljenost uporabnikov ter tveganje. Ne ustvarjajte navidezne natančnosti z utežmi na dve decimalki. Velika razhajanja med ocenjevalci obravnavajte, saj navadno pokažejo predpostavko, ki potrebuje dokaz.

Vsakemu kandidatu določite eno od štirih odločitev: pilot zdaj, raziskava manjkajočega pogoja, preoblikovanje procesa ali ustavitev. Za izbrani pilot določite uporabnike, vzorec, meje podatkov, človeški pregled, prag uspeha, pogoje za ustavitev, stroškovno mejo in datum odločitve. Tudi naslednjega kandidata ohranite dokumentiranega; morda bo primeren po ureditvi podatkov ali postopka. Vodič ne nadomešča tehnične, pravne, varnostne ali področne presoje.

• En izbran pilotni projekt z lastnikom in omejenim obsegom.
• Zapisani razlogi za začasno ustavljene ali zavrnjene kandidate.
• Prag sprejema in pogoji za ustavitev pred začetkom preizkusa.
• Odločitev po pilotu: ustavimo, popravimo, razširimo ali izberemo drug primer.