Problem

Prepterećenost epidemijološke službe uzrokovane novonastalom situacijom, pandemijom virusa COVID-19 zahtjeva socijano distanciranje između ljudi a posebno zdravstvenih radnika i pacijenata, što je gotovo neizvodljivo. Činjenica je da jedna od najugroženijih kategorija (starije osobe) se ne snalaze dobro u aplikacijama i softverima koje koriste GUI (grafički korisnički interfejs) to jeste, aplikacijama sa dugmadima koje se moraju kliknuti da bi program izveo neku funkciju. Ti korisnici otežano pronalaze relevantne infromacije o simptomima Coronavirusa, kao i informacije kome da se obrate ako žele da se testiraju ili da naruče dostave (hranu ili lijekove) od nekih od servisa koji nude takve vrste usluga, kao i daljnji koraci zaštite i slično. Pored te grupe, slijepe i slabovide osobe ne mogu na jednostavan način pristupiti već navedenim servisima i aplikacijama. Izolacija u kućama, takođe, stvara drugi tip problema, tačnije loš uticaj na psihu jer se mnogi osjećaju usamljeno.

Ideja/Rješenje

Ukratko, zamislite program, koji se ponaša kao čovjek, odgovara kao čovjek, i nudi vam emotivnu bliskost, te svaku drugu vrstu podrške u teškim vremenima - dozvoljavajući vam da se opustite. Prepustite se jednostavno da Jana brine za vas. Korištenjem konverzaciskog agenta, imena Jana, koji se prirodnim jezikom sporazumijeva sa korisnikom zaobilazite barijere, posebno najugroženija kateogrija (starija lica), koja se na snalazi najbolje u aplikacijama i softverskim rješenjima koje koriste GUI (grafičku korisnički interfejs). To je takođe prednost i za slijepa i slabovida lica, jer program koristi wake word (u ovom slučaju ime programa-Jana) koje kada korisnik izgovori prihvata komandu (poput Siri ili Amazon Alexa) i na taj način shvata šta korisnik želi i izvršava neku funkciju. To omogućava da na veoma intuitivan i prirodan način korisnik aplikacije pronađe informacije koje zahtjeva. Nakon toga Jana odgovara korisniku glasovno pružajući informacije približno nivou zdravstvenog radnika. Primjer: Korisnik: Ne osjećam se baš najbolje, Jana: Šta vas mući, da li možda bi željeli da mi kažete šta osjećate? Korisnik: kao da ne mogu doći do daha Jana: da li možda se osjaćate umorno ili imate suhi kašalj? (nastavak konverzacije, u slućaju da korisnik pokazuje simptome coronavirusa) Jana: Mislim da bi bilo dobro da se testirate na koronavirus, da li želite da zakažem termin kod doktora? Korisnik: da nakon ovoga koristeći google cloud-ov dialogflow API i konekciju na direktnu telefonsku liniju (Google Duplex) Jana izvršava poziv najbližoj zdravstvenoj instituciji i zakazuje termin za testiranje, sve ovo je na back-end-u aplikacije i korsinik nema doticaja sa pravim pozivom, on samo dobija notifikaciju na svoj uređaj sa vremenom i datumom zakazanog termina, ovaj model možete videjti na ovom videu: https://www.youtube.com/watch?v=D5VN56jQMWM kao i link Dialogflow API: https://cloud.google.com/dialogflow/docs/reference/rest/v2-overview Ovaj konverzaciski agent dizarjniran putem dostupnih konverzaciskih modela (Megatron, BERT, Dialogflow i slično) koristi Byte-pair encoding metod za enkodiranje znakova i riječi, najbolji za generativne open-domain konverzaciske aplikacije, u kojima se program ponaša poput čovjeka i može razgovarati o bilo kojoj temi. To omogućuje da se korisnik može zbližiti i pružiti više povjerenja Jani. Što nas dovodi do rješavanje psiholoških problema to jeste, problema osjećanja usamljenosti ili panike koji se korisnik može da iskusi. Jana koristeči EmoPy Toolkit https://github.com/thoughtworksarts/EmoPy imati će mogučnost da čita i kalsifikuje emocije korisnika preko pristupa prednjoj kameri pametnog uređaja i tako prilagoditi se korisniku i njihovom emotivnom stanju, prožajući podršku kada je najviše potrebno, također odgovarajući sa prikladnim facijalnim animacijama samog 3D avatara Jane putem Nvidia Audio-Driven Facial Animation AI https://research.nvidia.com/publication/2017-07_Audio-Driven-Facial-Animation primjer ovoga možete pronaći na ovom videu: https://www.youtube.com/watch?v=lDzrfdpGqw4 Audio output koristi Google Wavenet Model kao i za neke zahtjevnije korisnike Real time Audio Voice Cloning Model koji se može pronaći na ovom linku: https://github.com/CorentinJ/Real-Time-Voice-Cloning ovim putem ostvariće se neka vrsta emotivne bliskosti između korisnika i programa, na način kao što je viđen u komentarima i reakcijama na Chloe (Glavni meni pokrenut putem Motion Capture face i animacije prenesene na 3D Avatar: https://www.youtube.com/watch?v=dR7rIllIA3s Ovo spojeno sa generativnim Chatbot modelom nudi mogućnost da korisnik razgovara o bilo kojoj temi sa Janom na prirodan način i tako dobija emotivnu podršku koja mu je potrebna. Također dodatne funkcije su planirane, da Jana postane potpuni virtualni asistent nakon kraja pandemije i nastavi da pruža korisnicima emotivnu podršku kao i podršku u bilo kojem poslu što je korisniku potrebno. Dodatno, Google Cloud Machine Vission APi omogučuje slijepim i slabovidim osobama da vide kroz glasovni output Jane koja opisuje šta kamera uređaja vidi i prenosi korisniku podatke. Ovaj API se može spojiti da vadi i metadata na osnovu stvari što "vidi" i tako sa preciznošču opiše korisniku u šta gleda. Više podataka o Machine Vission API možete pronači ovdje, kao i demonstraciju. https://cloud.google.com/vision Jana pokazuje potencijal da i nakon pandemije nastavi da poboljšava živote korisnika kao i mogućnost da postane samoodrživ program putem prodaje ciljanog marketinga (Jana određuje kada da preporuči neki servis ili uslugu korisniku) i putem Freemium biznis modela kao i prodaje skinova i ostalih dodataka mlađim korisnicima. Ovu ideju će implementirati tim koji se sastoji od: Siniša Milošević i Dalibor Vujović, Zaim Dedić, Srđan Jovović i Ognjen Matić.

Resursi

Source kod za nvidia Audio-Driven Facial Animation framework, kao i Google Cloud pretplata za pristup Dialogflow, Machine Vission i Wavenet modelima i Google Cloud compute usluzi za servere sa CUDA-enabled GPU. Labelovan training dataset za lokalizaciju dostupnih modela umjetne inteligencije za NLU (shvatanje prirodnih jezika) na Bosanski/Srbski/Hrvatski, otprilike 340GB Konverzacija između pravih ljudi. Stručno poznavanje Coronavirusa kao i njegovih simptoma kako bi Jana mogla da prepozna ako neko ima koronavirus ili ne. Za ovo je potreban labelovan dataset od optrilike 20-60MB. Stručnjaci u polju umjetne inteligencije koji bi pomogli u stvaranju dataseta i izmjeni i prilagođavanju postojećih modela Umjetne inteligencije kako bi lokalizacija bila što bolje izvedena, kao i stručna lica iz polja psihologije koja bi pomogla u formulaciji i dizajniranju odgovarajućih reakcija (facijalnih animacija i odgovora) koje bi Jana uzvraćala korisniku. Referentni Facial-Capture za facijalne animacije avatara. Primjere možete pronaći na slijedećim linkovima: https://www.youtube.com/watch?v=9owTAISsvwk https://www.youtube.com/watch?v=-vQpc8iYdWc Naravno ptereban nam je Pycharm IDE i Angular koji su besplatni.

Ciljne skupine

Starije osobe (65 godina starosti i više) oko 621000, slijepe i slabovide osobe, njih 5000. Također zdravstveni radnici čiji bi posao djelimično preuzela Jana. Dodatno mlađi muškarci (17-35) otprilike njih 349000 koji bi prihvatili Janu zbog izgleda avatara, kao i kupovali skinove i ostale dodatke i tako osigurali održivost ovog programa. Naravno sve osobe moraju da imaju pristup pamtenom uređaju. Od ovih navedenih demografskih skupina očekujemo otprilike 10% korisnika.

Partneri

Internacionalni "Burch" univerzitet, koji bi pružio podršku u kreaciji Jane. Nvidia, koji bi nam dali njihov Audio-Driven Facial Animation framework. Ustanove i organizacje za mentalno zdravlje, koje bi nam pomogli u dizajniranju odgovarajućih reakcija Jane. Zdravstvene ustanove, koje bi nam pružile podatke o coronavirusu kao i dozvolile da se Jana uveže sa telefonom sa pozivnim centrom.

Finansijski okvir

Realizacija ovakvog programa bi iznosila oko 40000EUR, ali s obizirom da ovaj program može prerasti u samoodrživi startup i time se finansirati bootstap-ovanjem kao i od strane drugih investitora i organizacija koje bi pružili pomoć u realizaciji ovog programa tačna cifra bi iznosila manje. Trenutno nam nisu potrebna velika finansiska sredstva, više stručni kadar koji bi nam pomogao u realizaciji. U dodatku možete pronaći biznis plan za Startup u globalnom tržištu sličnog programa, koji koristi iste resurse kao i Jana.