Računalna inteligencija za prepoznavanje i potporu ljudskih aktivnosti

Voditelj grupe

prof. dr. sc. Vladan Papić
Opis područja istraživanja i specifičnih aktivnosti
 Opis laboratorija i opreme

Grupa koristi dva laboratorija: Laboratorij za biomehaniku, automatiku i sustave te Laboratorij za ekspertne sustave, strojno učenje i obradu slika. Laboratoriji su opremljeni s raznovrsnim uređajima za mjerenja u biomehanici (platforma sila, EMG, inercijalni senzori XSens) i prikupljanje slika (standardi kamkorderi, 3D kamere i brze kamere, …), kao i drugim uređajima za prikupljanje signala (senzorska rukavica, akcelerometri, Kinect). Osim navedenog laboratoriji su opremljeni i s nekoliko bespilotnih letjelica, mobilnim robotskim platformama, kompletima za robotiku (Arduino, NXT Mindstorm) te više vrsta ugradbenih računala za primjenu u robotici.

Kontakti s akademskim i drugim institucijama:

– Kineziološki fakultet Sveučilišta u Splitu (prof.dr.sc. Nenad Rogulj);
– Prirodoslovno-matematički fakultet Sveučilišta u Splitu;
– Hrvatska gorska služba spašavanja;
– Univerzitet Crne Gore, Elektrotehnički fakultet, CG;
– Univerza v Ljubljani, Fakulteta za računalništvo i informatiku, SLO;
– Univerza v Ljubljani, Fakulteta za elektrotehniko, SLO;
– University of Glasgow, Scotland;
– University of Leeds, UK
– Slovak University of Technology, Bratislava, Institute of Robotics and Cybernetics, SK;
– Hochschule Bonn-Rhein-Sieg, Institute of Visual Computing, D.

Opis dosadašnje suradnje s akademskim i drugim institucijama

– Zajednički rad na ekspertnom sustavu za otkrivanje talenata u sportu i analizi sportskih događanja (suradnja s Kinezološkim fakultetom);
– Istraživanja metoda za pronalaženje ljudi temeljem analize slika (HGSS, PMF, Split);
– Razvoj algoritama detekcije objekata (bilateralni projekt s Crnom Gorom, University of Leeds);
– Istraživanja novih algoritama i metoda detekcije i analize pokreta (Univerza v Ljubljani)
– Istraživanje primjene neuralnih mreža s primjenom na mobilnu robotiku (- Hochschule Bonn-Rhein-Sieg);
– Istraživanje mogućnosti primjene haptičkih sučelja za upravljanje mobilnim robotima (Univerza v Ljubljani);
– Istraživanje modela okoline mobilnog robota pri upravljanju s udaljene lokacije (Slovak University of Technology Bratislava).

B) OPIS ISTRAŽIVANJA
1. Naslov teme istraživanja i akronim:

Računalna inteligencija za prepoznavanje i potporu ljudskih aktivnosti (RIPrePAkt)

2. Opis istraživanja za razdoblje od 5 godina

Istraživanja u okviru ovog projekta obuhvaćaju razvoj sustava za nadzor granica i potrage za ljudima temeljem analize slika prikupljenih iz zraka kao i razvoj algoritama računalnog vida koji za cilj imaju robusno praćenje ljudi i objekata s ciljem implementacije u različitim aplikacijama nadzora otvorenih i zatvorenih prostora te analize sportskih događanja. Za realizaciju ovakvog sustava prijavljen je IRI projekt u suradnji s tvrtkom Statim d.o.o. Također je prijavljen projekt u sklopu CEKOM-a kao i INTERREG projekt, u sklopu kojih se planira razvijati softver i sklopovlje za nadzor i obradu slika prikupljenih iz zraka za različite vrste aplikacija. Prijavljena su i dva nova bilateralna projekta (Austrija – voditelj Vladan Papić i Njemačka – voditelj Josip Musić) koja su također vezana uz nova istraživanja u području robotike, umjetne inteligencije i obrade slika. Još jedan bilateralni projekt je u fazi pripreme.
Za uspješnu realizaciju zadataka koji se planiraju provoditi u kako u ovom projektu, a tako i u projektima koji su prijavljeni za financiranje od posebne su važnosti istraživanja u području obrade digitalnih slika, robotike, strojnog učenja (prepoznavanje i klasifikacija), formiranja sustava temeljenih na znanju i ubrzavanja obrade velikih količina podataka korištenjem grafičkih procesora i paralelizacijom. Očekuje se predlaganje novih sustava koji koriste danas i u skoroj budućnosti dostupne napredne senzore. Također, posebna pažnja će se posvetiti razvoju i implementaciji novih, inteligentnih sustava koji koriste duboke neuronske mreže za klasifikaciju i raspoznavanje objekata te donošenje ispravnih odluka u nepoznatim okruženjima.

3. Program rada za razdoblje od 5 godina

Sukladno ovom kako i ostalim prijavljenim i pripremljenim projektima, istraživanja će se provoditi u smjeru razvoja inteligentnih sustava koji će koristiti i obrađivati u realnom vremenu (ili približno realnom vremenu) podatke prikupljene s različitih senzora te ih koristiti za nadzor terena, potrage i druga mjerenja. Fokus će biti na prikupljanje i obradu slika bespilotnim letjelicama kao i razvoj novih algoritama koji koriste duboke neuronske mreže ali i druge pristupe koji koriste različita znanja pohranjena u odgovarajućim bazama. Razumijevanje slika te korištenje konteksta prilikom klasifikacije i prepoznavanja biti će od jedan od smjerova istraživanja.
Prilikom razvoja navedenih sustava biti će potrebno i formirati nove baze slika i podataka te implementirati dio obrade na samim letjelicama. Očekuje se i potreba uključivanja novih istraživača radi zahtjeva za brzi prijenos velike količine podataka u područjima gdje mrežna infrastruktura to ne podržava.
Istraživanje se neće ograničiti samo na obradu 2D signala već će se nove metode i algoritmi primjenjivati i općenito u području obrade signala (1D, 2D, …).
U području robotike istraživanje bi se razvijalo u tri pravca. Prvi pravac je primjena modernih neuralnih mreža u području percepcije okoline od strane mobilnih robota i u skladu s time izgradnja boljeg modela okoline (posebno kod upravljanja s udaljene lokacije). Drugi pravac istraživanja bi se također bazirao na modernim neuralnim mrežama ali sada s aspekta autonomnog upravljanja u nepoznatom okruženju. Konačno, treći pravac istraživanja bi se bavio razvojem inovativnih multimodalnih upravljačkih sučelja koja uključuju nekoliko ljudskih osjetila (npr. vid, sluh, osjet) temeljem raspoloživih senzorskih podataka i time povećavaju pouzdanost i točnost upravljanja mobilnim robotima.
U sljedećih pet godina očekuje se obrana bar dva doktorska rada iz područja istraživanja (S. Kružić, M. Kundid) te jačanje povezivanja s istraživačkim grupama iz Europe kao i s tvrtkama iz okruženja.
Pokretanje novih projekata znači i značajno povećanje broja novih istraživača(3-7) koji će biti angažirani na njihovoj provedbi.

Voditelj grupe

prof. dr. sc. Vladan Papić

Suradnici

prof. dr. sc. Jadranka Marasović
doc. dr. sc. Josip Musić
doc. dr. sc. Tea Marasović
Stanko Kružić, asistent
Mirela Kundid, doktorand FESB-a

Opis područja istraživanja i specifičnih aktivnosti

  1. Analize sportskih događanja
  2. Detekcija i praćenje objekata
  3. Robotika
  4. Interakcija čovjeka i stroja
  5. Upravljanje i optimizacija
  6. Strojno učenje
  7. Biomehanika
  8. Obrada slika ubrzana pomoću GPGPU

Opis laboratorija i opreme

Grupa koristi dva laboratorija: Laboratorij za biomehaniku, automatiku i sustave te Laboratorij za ekspertne sustave, strojno učenje i obradu slika. Laboratoriji su opremljeni s raznovrsnim uređajima za mjerenja u biomehanici (platforma sila, EMG, inercijalni senzori XSens) i prikupljanje slika (standardi kamkorderi, 3D kamere i brze kamere, …), kao i drugim uređajima za prikupljanje signala (senzorska rukavica, akcelerometri, Kinect). Osim navedenog laboratoriji su opremljeni i s nekoliko bespilotnih letjelica, mobilnim robotskim platformama, kompletima za robotiku (Arduino, NXT Mindstorm) te više vrsta ugradbenih računala za primjenu u robotici.

Kontakti s akademskim i drugim institucijama:

– Kineziološki fakultet Sveučilišta u Splitu (prof.dr.sc. Nenad Rogulj);
– Prirodoslovno-matematički fakultet Sveučilišta u Splitu;
– Hrvatska gorska služba spašavanja;
– Univerzitet Crne Gore, Elektrotehnički fakultet, CG;
– Univerza v Ljubljani,  Fakulteta za računalništvo i informatiku, SLO;
– Univerza v Ljubljani,  Fakulteta za elektrotehniko, SLO;
– University of Glasgow, Scotland;
– University of Leeds, UK
– Slovak University of Technology, Bratislava, Institute of Robotics and Cybernetics, SK;
– Hochschule Bonn-Rhein-Sieg, Institute of Visual Computing, D.

Opis dosadašnje suradnje s akademskim i drugim institucijama

– Zajednički rad na ekspertnom sustavu za otkrivanje talenata u sportu i analizi sportskih događanja (suradnja s Kinezološkim fakultetom);
– Istraživanja metoda za pronalaženje ljudi temeljem analize slika (HGSS, PMF, Split);
– Razvoj algoritama detekcije objekata (bilateralni projekt s Crnom Gorom, University of Leeds);
– Istraživanja novih algoritama i metoda detekcije i analize pokreta (Univerza v Ljubljani)
– Istraživanje primjene neuralnih mreža s primjenom na mobilnu robotiku (- Hochschule Bonn-Rhein-Sieg);
– Istraživanje mogućnosti primjene haptičkih sučelja za upravljanje mobilnim robotima (Univerza v Ljubljani);
– Istraživanje modela okoline mobilnog robota pri upravljanju s udaljene lokacije (Slovak University of Technology Bratislava).

opis istraživanja

Računalna inteligencija za prepoznavanje i potporu ljudskih aktivnosti (RIPrePAkt)

Opis istraživanja za razdoblje od 5 godina

Istraživanja u okviru ovog projekta obuhvaćaju razvoj sustava za nadzor granica i potrage za ljudima temeljem analize slika prikupljenih iz zraka kao i razvoj algoritama računalnog vida koji za cilj imaju robusno praćenje ljudi i objekata s ciljem implementacije u različitim aplikacijama nadzora otvorenih i zatvorenih prostora te analize sportskih događanja.

Za realizaciju ovakvog sustava prijavljen je IRI projekt u suradnji s tvrtkom Statim d.o.o. Također je prijavljen projekt u sklopu CEKOM-a kao i INTERREG projekt, u sklopu kojih se planira razvijati softver i sklopovlje za nadzor i obradu slika prikupljenih iz zraka za različite vrste aplikacija. Prijavljena su i dva nova bilateralna projekta (Austrija – voditelj Vladan Papić i Njemačka – voditelj Josip Musić) koja su također vezana uz nova istraživanja u području robotike, umjetne inteligencije i obrade slika. Još jedan bilateralni projekt je u fazi pripreme.

Za uspješnu realizaciju zadataka koji se planiraju provoditi u kako u ovom projektu, a tako i u projektima koji su prijavljeni za financiranje od posebne su važnosti istraživanja u području obrade digitalnih slika, robotike, strojnog učenja (prepoznavanje i klasifikacija), formiranja sustava temeljenih na znanju i ubrzavanja obrade velikih količina podataka korištenjem grafičkih procesora i paralelizacijom. Očekuje se predlaganje novih sustava koji koriste danas i u skoroj budućnosti dostupne napredne senzore. Također, posebna pažnja će se posvetiti razvoju i implementaciji novih, inteligentnih sustava koji koriste duboke neuronske mreže za klasifikaciju i raspoznavanje objekata te donošenje ispravnih odluka u nepoznatim okruženjima.

Program rada za razdoblje od 5 godina

Sukladno ovom kako i ostalim prijavljenim i pripremljenim projektima, istraživanja će se provoditi u smjeru razvoja inteligentnih sustava koji će koristiti i obrađivati u realnom vremenu (ili približno realnom vremenu) podatke prikupljene s različitih senzora te ih koristiti za nadzor terena, potrage i druga mjerenja. Fokus će biti na prikupljanje i obradu slika bespilotnim letjelicama kao i razvoj novih algoritama koji koriste duboke neuronske mreže ali i druge pristupe koji koriste različita znanja pohranjena u odgovarajućim bazama. Razumijevanje slika te korištenje konteksta prilikom klasifikacije i prepoznavanja biti će od jedan od smjerova istraživanja.

Prilikom razvoja navedenih sustava biti će potrebno i formirati nove baze slika i podataka te implementirati dio obrade na samim letjelicama. Očekuje se i potreba uključivanja novih istraživača radi zahtjeva za brzi prijenos velike količine podataka u područjima gdje mrežna infrastruktura to ne podržava.

Istraživanje se neće ograničiti samo na obradu 2D signala već će se nove metode i algoritmi primjenjivati i općenito u području obrade signala (1D, 2D, …).

U području robotike istraživanje bi se razvijalo u tri pravca. Prvi pravac je primjena modernih neuralnih mreža u području percepcije okoline od strane mobilnih robota i u skladu s time izgradnja boljeg modela okoline (posebno kod upravljanja s udaljene lokacije). Drugi pravac istraživanja bi se također bazirao na modernim neuralnim mrežama ali sada s aspekta autonomnog upravljanja u nepoznatom okruženju. Konačno, treći pravac istraživanja bi se bavio razvojem inovativnih multimodalnih upravljačkih sučelja koja uključuju nekoliko ljudskih osjetila (npr. vid, sluh, osjet) temeljem raspoloživih senzorskih podataka i time povećavaju pouzdanost i točnost upravljanja mobilnim robotima.

U sljedećih pet godina očekuje se obrana bar dva doktorska rada iz područja istraživanja (S. Kružić, M. Kundid) te jačanje povezivanja s istraživačkim grupama iz Europe kao i s tvrtkama iz okruženja.

Pokretanje novih projekata znači i značajno povećanje broja novih istraživača(3-7) koji će biti angažirani na njihovoj provedbi.