Dziękujemy za wsparcie

PARP Logo

MATIA - zastosowanie metod sztucznej inteligencji w projekcie "SZTUCZNEGO OKA" dla osób niewidomych

MATIA to PROTOTYP urządzenia, którego podstawą jest mobilny moduł wizyjny, łączący się przez Bluetooth ze smartfonem. Jego zadaniem jest opisywanie świata przy pomocy słów (audiodeskrypcja otoczenia - informowanie użytkownika o rozmieszczeniu przestrzennym przeszkód oraz o ich rodzaju), muzyki (każdy przedmiot reprezentowany jest przez inną sekwencję muzyczną, podobnie rzecz ma się z wzajemną korelacją przedmiotów) i bodźców dotykowych (matryca haptyczna/wibracyjna). Całość ma aż 13 sensorów, dzięki którym niewidomy orientuje się w otoczeniu, rozpoznaje przedmioty z dokładnym opisem, czyta tekst, wykrywa ludzi i ich emocje. Nie potrzebuje przy tym łączenia się z Internetem - układ potrafi rozpoznać kilka tysięcy kategorii najczęściej spotykanych przeszkód, korzystając z lokalnej sztucznej sieci neuronowej. Jeżeli nie zna zaś obiektu w zasięgu kamer, to podaje skojarzeniową listę obiektów podobnych do widzianego lub łączy się z zewnętrznymi zasobami obliczeniowymi, m.in. z chmurą obliczeniową z wytrenowaną sztuczną siecią neuronową, przeprowadzającą znacznie bardziej precyzyjny opis otoczenia. Sieci CNN wytrenowano na podstawie ciągu uczącego powstałego na podstawie m.in. bazy ImageNet.

MATIA to też specjalny naparstek. Wyobraźmy sobie, że obsługujemy telefon w miejscu publicznym i nie widzimy. Jesteśmy w ten sposób nastawieni na możliwość bezpośredniej kradzieży często drogich urządzeń komunikacyjnych. Rozwiązałem ten problem w taki sposób, że telefon leży bezpiecznie w kieszeni i może być obsługiwany przy pomocy specjalnego sygnetu. Po jego założeniu na palec, ten przemienia się w wirtualną kredę, a przed użytkownikiem pojawia się wirtualna tablica. Na tablicy rysujemy gesty, pozwalające napisać SMS-a, odebrać połączenie lub zmienić ustawienia sztucznego oka. W tym miejscu mogę nadmienić, że urządzenie może pomóc także ludziom starszym i z demencją.

Wybrane funkcje prototypu systemu MATIA

Układ może pracować w dwóch trybach. Tryb pierwszy polega na pracy z telefonem. Tryb drugi - pracy autonomicznej -  automatycznie uruchamia się w momencie zerwania łączności ze smartfonem lub rozładowania telefonu i gwarantuje bezpieczne dotarcie do domu.

 

  1. Praca z telefonem - główny tryb pracy urządzenia

  • wykrywanie i rozpoznawanie osób (LBPH i klasyfikator kaskadowy Haar),

  • wykrywanie podstawowych emocji (uśmiech, smutek, neutralny wyraz twarzy, złość, zaskoczenie),

  • stereowizja - opis przeszkód na scenie przy pomocy słów; tworzone są dźwiękowe mapy głębokości przestrzeni,

  • deskrypcja przedmiotów i budynków przy pomocy słów - audiodeskrypcja na bazie splotowych sieci neuronowych CNN (dane uczące pochodzą m.in. z bazy ImageNet),

  • detekcja i rozpoznawanie tekstów (OCR),

  • opis kolorów przedmiotu,

  • dźwięki reprezentujące przeszkody w otoczeniu (inne dźwięki dla każdej kategorii przeszkód),

  • system odwzorowania otoczenia przy pomocy opcjonalnej matrycy wibracyjnej, zakładanej na plecy (pas na rzepy; matryca "odbija" kontury przeszkód na plecach),

  • wirtualny pulpit kontrolny wraz z głosowym MENU (sterowanie palcem wyciągniętym przed kamerami),

  • system sterowania głosowego przy pomocy silnika rozpoznającego mowę,

  • ostrzeganie w czasie rzeczywistym przed obiektami niebezpiecznymi (przejście dla pieszych, samochód na chodniku, znak drogowy),

  • automatyczne wzywanie pomocy z alarmem akustycznym (aktywacja manualna - przyciskiem - lub automatyczna, polegająca na wykrywaniu nietypowych przyśpieszeń ciała użytkownika),

  • detektor poziomu (poziomica), GPS, detektor światła, kompas, krokomierz, wysokościomierz, odległościomierz, naświetlacz drogowy, nocne światła bezpieczeństwa, zegar,  notatnik, rejestrator dźwięku,

  • dzwonienie, odbieranie połączeń, czytanie i wysyłanie SMS (sterowanie przy pomocy wirtualnego MENU, sygnetu lub głosowe),

  • czapka  z przetwornikami przewodnictwa kostnego, dzięki której nie musimy nosić słuchawek (urządzenie ma osobny wzmacniacz elektroakustyczny).

2. Praca bez telefonu - gdy zostanie utracona łączność ze smartfonem, automatycznie uaktywniany jest ten tryb. W tym trybie działa m.in.:

  • wykrywanie przeszkód przy pomocy ultradźwięków (informacja o przeszkodach dźwiękowa i wibracyjna),

  • wykrywanie źródeł światła i pomiar jego intensywności (informacja o źródłach świata dźwiękowa i wibracyjna),

  • funkcja awaryjnego powrotu do domu - GPS,

  • kompas,

  • GPS + zegar z satelity,

  • krokomierz (algorytm bazujący na sieci neuronowej z 2 neuronami),

  • detekcja kolorów,

  • pomiar odległości,

  • pomiar parametrów atmosferycznych - temperatury, ciśnienia, wysokości,

  • jednowymiarowy pulpit kontrolny do aktywacji różnych funkcji,

  • naświetlacz drogowy i światła ostrzegawcze,

  • autorski syntezator mowy na STM32F429 do komunikacji z użytkownikiem (alofoniczna metoda syntezy mowy). 

  • MATIA - zastosowanie metod sztucznej inteligencji w projekcie "SZTUCZNEGO OKA" dla osób niewidomych
  • MATIA - zastosowanie metod sztucznej inteligencji w projekcie "SZTUCZNEGO OKA" dla osób niewidomych
  • MATIA - zastosowanie metod sztucznej inteligencji w projekcie "SZTUCZNEGO OKA" dla osób niewidomych