Una piattaforma basata su Intelligent Video Analytics at-the-edge per il pagamento digitale automatico in esercizi pubblici con servizio al tavolo.

Data inizio
1 gennaio 2022
Durata (mesi) 
12
Dipartimenti
Informatica, Ingegneria per la medicina di innovazione
Responsabili (o referenti locali)
Bombieri Nicola

Joint Research 2021

 

Il progetto mira a sviluppare una piattaforma basata intelligenza artificiale per il pagamento automatico (self) e rapido dei clienti per attività commerciali con servizio al tavolo (es. ristoranti). La piattaforma si chiama D-PAY e il suo scopo è applicare il paradigma di intelligent video analytics (IVA) per rilevare clienti seduti ai tavoli del ristorante, tracciare ogni cliente che lascia il tavolo per raggiungere la stazione di pagamento automatico con l’obiettivo di gererare istantaneamente la fattura del tavolo di provenienza. Il principale vincolo da soddisfare quando si adotta applicazioni basati su IVA in attività commerciali pubbliche è la riservatezza dei dati. Per soddisfare le attuali regole GDPR, le applicazioni IVA devono essere eseguite "at-the-edge", per cui tutte le informazioni sensibili rilevate tramite telecamere vengono elaborate in tempo reale in prossimità del sensore stesso senza trasmissione su rete. Il progetto partirà da applicazioni di inferenza esistenti basate su reti neurali convoluzionali (CNN) per il rilevamento, il tracciamento e il riconoscimento facciale. Combinerà tali modelli CNN con attività di post-elaborazione, sincronizzazione e comunicazione per sfruttare i dispositivi di edge computing programmabili e distribuiti. Per garantire il calcolo in tempo reale sui dispositivi con risorse limitate (ad es. NVIDIA Jetson), i task dell'applicazione SW verranno customizzati e mappati su elementi di elaborazione eterogenei (CPU e GPU). Dal momento che la piattaforma dovrà essere conforme allo standard ROS2 per garantire modularità, portabilità e scalabilità e che ROS2 può portare a una forte perdita di prestazioni, il progetto definirà tecniche efficienti per implementare comunicazione e sincronizzazione tra task SW compliant a ROS2. Infine, considerando che le applicazioni di rilevamento e tracciamento saranno implementate da più telecamere distribuite con i corrispondenti dispositivi di elaborazione, il progetto confronterà gli standard allo stato dell’arte per implementare un protocollo per la comunicazione sicura in tempo reale e le sincronizzazioni tra dispositivi at-the-edge. La piattaforma sarà validata in tre attività di ristorazione commerciale, ognuna con caratteristiche architetturali diverse per valutarne applicabilità, accuratezza e scalabilità.

Partecipanti al progetto

Nicola Bombieri
Professore ordinario
Aree di ricerca coinvolte dal progetto
Sistemi ciberfisici
Embedded and cyber-physical systems

Attività

Strutture

Condividi