New Approaches of eXplainable AI: From Video Analytics to Federated Learning

This thesis investigates how eXplainable Artificial Intelligence (XAI) can be systematically embedded into Machine Learning (ML) pipelines for safety–critical applications. The central argument is that explainability should not be treated as a post-hoc feature but as a design principle that governs how systems are constructed, monitored, and deployed. The work spans two domains: video analytics for autonomous and assistive mobility, and distributed learning under privacy and ownership constraints. On the video analytics side, strong baselines were established by fine-tuning YOLOv8s for indoor mobility, achieving high accuracy in detecting people and wheelchairs. Building on this backbone, an Operational Design Domain (ODD) Checker was introduced, combining visual feature analysis with Decision Tree (DT) rules to provide interpretable, auditable safety monitoring. Explainability was extended to scene-level reasoning through benchmarking of Vision–Language Models (CLIP, MiniGPT-4, GPT-4V), which were evaluated on their ability to classify navigation scenes as “Safe to Proceed” or “Risky to Proceed” and contextualized within the swan metaphor for rare risks. To quantify predictive reliability, Conformal Prediction (CP) was applied to object detection, establishing finite-sample coverage guarantees and demonstrating the trade-offs between box-wise and image-wise Uncertainty Quantification (UQ) strategies. In distributed learning, the thesis introduces Federated Learning with Interpretable Rule Transfer (FL-IRT), a framework that replaces opaque parameter averaging with the construction of rule-based models at client and server levels. FL-IRT enables global models that are both competitive in accuracy and transparent in logic, while supporting secure aggregation and GDPR-compliant privacy mechanisms. Experimental results across multiple datasets confirm its scalability, robustness to non-iid conditions, and significant efficiency gains over neural baselines. Taken together, these contributions show that explainability can be embedded across abstraction layers—from pixel-level features and object detection to semantic reasoning, statistical calibration, and distributed learning. By advancing interpretable video analytics, principled UQ, and transparent federated frameworks, the thesis demonstrates that trustworthy-by-design AI is achievable without prohibitive sacrifices in accuracy or efficiency. The broader implication is that XAI functions as a regulatory layer in AI, transforming abstract principles of accountability and safety into enforceable engineering standards.

Questa tesi indaga come l’eXplainable Artificial Intelligence (XAI) possa essere sistematicamente incorporata nelle pipeline di Machine Learning (ML) per applicazioni in scenari safety–critical. L’argomento centrale è che l’explainability non debba essere trattata come una funzionalità post-hoc, ma come un principio di progettazione che guida la costruzione, il monitoraggio e il dispiegamento dei sistemi. Il lavoro si sviluppa in due domini: la video analytics per la mobilità autonoma e assistiva, e l’apprendimento distribuito in presenza di vincoli di privacy e proprietà dei dati. Nel contesto della video analytics, sono state definite solide basi addestrando e ottimizzando YOLOv8s per ambienti indoor, con elevate prestazioni nel rilevamento di persone e sedie a rotelle. Su questo backbone è stato sviluppato un Operational Design Domain (ODD) Checker, che combina l’analisi delle feature visive con regole basate su alberi di decisione (DT) per un monitoraggio interpretabile e verificabile della sicurezza. L’explainability è stata poi estesa al ragionamento a livello di scena tramite una valutazione comparativa di modelli Vision–Language (CLIP, MiniGPT-4, GPT-4V), capaci di classificare ambienti di navigazione come “Safe to Proceed” o “Risky to Proceed” e contestualizzati nel paradigma dei cigni per la gestione dei rischi rari. Per quantificare l’affidabilità predittiva, la Conformal Prediction (CP) è stata applicata al rilevamento di oggetti, fornendo garanzie statistiche finite e mettendo in luce i compromessi tra strategie di quantificazione dell’incertezza (Uncertainty Quantification, UQ) box-wise e image-wise. Nel dominio dell’apprendimento distribuito, la tesi introduce Federated Learning with Interpretable Rule Transfer (FL-IRT), un framework che sostituisce l’aggregazione opaca dei parametri con la costruzione di modelli basati su regole sia lato client che lato server. FL-IRT consente di ottenere modelli globali competitivi in termini di accuratezza ma anche trasparenti nel processo decisionale, supportando al contempo meccanismi di aggregazione sicura e conformità con la normativa GDPR. Esperimenti condotti su diversi dataset confermano la sua scalabilità, la robustezza in condizioni non-iid e un notevole miglioramento di efficienza rispetto ai baseline neurali. Complessivamente, questi contributi dimostrano che l’explainability può essere integrata a diversi livelli di astrazione—dalle feature pixel–level e dal rilevamento di oggetti, fino al ragionamento semantico, alla calibrazione statistica e all’apprendimento distribuito. Avanzando la video analytics interpretabile, la quantificazione dell’incertezza basata su principi formali e i framework federati trasparenti, la tesi mostra che l’AI trustworthy-by-design è realizzabile senza sacrifici proibitivi in termini di accuratezza o efficienza. L’implicazione più ampia è che la XAI funge da livello regolatorio nell’AI, trasformando principi astratti di responsabilità e sicurezza in standard ingegneristici applicabili.