SRSU - Situation Recognition and Scene Understanding

Wir schaffen Entscheidungsgrundlagen für situationsgerechtes Handeln aus Multisensorsystemdaten.

Heutige autonome, kognitive Systeme arbeiten zumeist nach dem Schema „Sens-Plan-Act“ und bestehen dementsprechend aus drei Teilen:

  • Sens: Eine Perzeptionskomponente nimmt die jeweilige Umgebung mit Hilfe von Multisensorsystemen wahr und überführt die verfügbaren Sensordaten (bspw. aus einer Kamerasensorik) in ein maschineninternes Modell.
  • Plan: Eine Deliberationskomponente entscheidet auf der Basis des berechneten Modells, welche Handlungsoptionen in der erfassten Situation bestmöglich passen könnten.
  • Act: Diese Aktionen werden schließlich von einer Aktionskomponente in Kooperation mit Aktoren ausgeführt.

SRSU birgt als zentraler Bestandteil der Perzeptionskomponente (Sens) ein erhebliches Potenzial, wenn es um die Fähigkeit von Menschen oder Maschinen gehen soll, situationsgerecht handeln zu können.

Die adaptiven Glass Sphere Sofware SRSU-Komponenten besitzen die Fähigkeit, sich an über die Zeit hinweg verändernde Umgebungen anpassen zu können. Sie liefern dem Anwender oder dem autonomen System die zu einem Zeitpunkt bestmögliche Entscheidungsgrundlage.

GS-Cognition Pipeline: SRSU-Workflows für Multisensor-Systeme

GS-Cognition-Pipeline

Unser Ansatz besteht darin, die SRSU-Funktionalität in einen Workflow zu transformieren. Ein solcher Workflow kann eine Vielzahl sowohl sequenzieller als auch paralleler CSteps (CStep - Computing Steps) enthalten, die über Verzweigungs- und Vereinigungselemente verknüpft sind. Der aus CSteps bestehende Workflow beschreibt damit die Struktur und Ablaufsteuerung einer SRSU-Funktionalität.

Die GS-Cognition Pipeline ist eine Ausführungsumgebung für solche SRSU-Workflows. Während der Anwender für die Erstellung eines Workflows verantwortlich ist, übernimmt unsere GS-Cognition-Pipeline die Ausführung und Allokation der dafür benötigten Ressourcen. Auf diese Weise lässt sich das in die GS-Cognition-Pipeline integrierte Lastmanagement optimal nutzen. In einem Workflow müssen dabei grundsätzlich alle drei Stufen der GS-Cognition-Pipeline mit CSteps belegt werden. Die drei Stufen sind: Detection Stage, Fusion Stage und Inference Stage.

Alle anfallenden Daten werden als Linked-Data in dem von uns speziell für SRSU-Anwendungen entwickelten Datenbanksystem GS-DBS gespeichert.

Workflow Step I: Detection Stage

Die Detection Stage enthält Primärdetektoren zur Erkennung von Objekten, deren Klassen (bspw. Person, Fahrzeug, …) und Positionen aus Datenströmen. Auf spezielle Merkmale (Gesicht, Autotyp, Entfernung etc.) trainierte Sekundärdetektoren extrahieren zusätzliche Detailinformationen. Tracker beobachten Objekte über die Zeit hinweg und bilden im Erfolgsfall Objektepisoden.

Workflow-Phase II: Fusion Stage

In der Fusion Stage korrigieren, fusionieren und interpolieren spezielle Linker die angefallenen Objektepisoden. Als Ergebnis wird die Datenqualität der angefallenen Objektepisoden erhöht und die Vernetzung mit bereits bestehendem Wissen verstärkt.

Workflow-Phase III: Inference Stage

Die Inference Stage integriert alle Inferenzprozesse, die für die gewünschte Entscheidungsgrundlage notwendig sind. Bspw. identifizieren Inferenzprozesse die aktuelle Situation auf der Basis bereits erlebter, ähnlicher Situationen. Nach der Autovervollständigung der Situation werden passende Szenen unter Hinzunahme von gelerntem Wissen gebildet. Aus den gebildeten Szenen lassen sich u.a. Intentionen der aktuell beteiligten Akteure ableiten, Anomalien identifizieren und kausale Zusammenhänge erkennen.