Ein Angebot von /

Autonomes Fahren – Design-Tipps für ein betriebssicheres Bildverarbeitungssystem

| Autor / Redakteur: Victor Cheng* / Benjamin Kirchbeck

Mehrere Sensoren erlauben das Erkennen von Fehlern der Primärkamera, indem mit Hilfskameras Bildvergleiche vorgenommen werden.
Mehrere Sensoren erlauben das Erkennen von Fehlern der Primärkamera, indem mit Hilfskameras Bildvergleiche vorgenommen werden. (Bild: Fotolia)

Der Betriebssicherheit und Zuverlässigkeit computergestützter Bildverarbeitungssysteme in autonomen Fahrzeugen ist elementar. Wie schwierig jedoch das Design eines solchen robusten Systems ist und welche Parallelen sich zu unserem menschlichen Sehvermögen ziehen lassen, erfahren Sie in diesem Gastbeitrag von Victor Cheng.

Computergestützten Bildverarbeitungssysteme in autonomen Fahrzeugen widererfährt eine immer größere Aufmerksamkeit.Ich bin bei TI als Entwickler für Bildverarbeitungssystems-Software tätig und helfe den Kunden in dieser Funktion bei der Implementierung von Advanced Driver Assistance Systems (ADAS) auf der Basis unserer TDAx-Plattform. Ich weiß deshalb, wie schwierig das Design eines robusten Bildverarbeitungssystems ist, das unter jeglichen Umgebungsbedingungen einwandfrei funktioniert. Ingenieure haben schon immer versucht, das menschliche Sehen nachzubilden. Hier passt die folgende Aussage von Leonardo da Vinci: „Menschliche Raffinesse wird niemals eine einfachere oder direktere Erfindung als die Natur hervorbringen, denn in ihren Erfindungen fehlt weder etwas, noch ist etwas überflüssig.“

An die Wahrheit dieser Aussage wurde ich kürzlich unsanft erinnert. Ich erlitt eine Augeninfektion, die sich letztendlich als eine schwere Adenovirus-Infektion herausstellte. Es dauerte einen Monat, bis sich mein Sehvermögen weitgehend normalisiert hatte. Während meiner Krankheit lernte ich allerdings einige Dinge über den menschlichen Sehapparat, die sich auch auf unsere heutigen Herausforderungen bei der Entwicklung selbstfahrender Autos anwenden lassen.

Die Bedeutung der Sensor-Redundanz

Das Virus befiel zunächst nur mein rechtes Auge, mit dem ich daraufhin nur noch sehr verschwommen sehen konnte. Dennoch konnte ich aber, solange ich beide Augen offen hatte, relativ gut sehen. Mein Gehirn schien das Bild hauptsächlich mit dem gesunden linken Auge zu erzeugen und das verschwommene Bild des rechten Auges nur zur Entfernungsbestimmung heranzuziehen. Hieraus konnte ich schließen, dass räumliches Sehen nicht unbedingt auf Bilder mit voller Auflösung angewiesen ist, obwohl das natürlich optimal wäre. Ein Bild mit reduzierter Abtastrate oder Framerate würde jedoch ausreichen.

Als mein rechtes Auge so sehr schmerzte, dass ich es nicht mehr öffnen konnte, war ich allein auf mein linkes Auge angewiesen. Mein Sehvermögen war zwar insgesamt noch in Ordnung, aber es fiel mir schwer, die Entfernung von Objekten zu bestimmen. Während meiner Genesung begann mein rechtes Auge als erstes zu heilen, und mein Gehirn machte es wie gehabt, indem es sich vorrangig auf das besser werdende Auge stützte.

Aus diesen Beobachtungen kann ich verschiedene Schlüsse ziehen, was das Autonome Fahren betrifft. So sollten für jede Stelle im Umfeld des Fahrzeugs, an der das Bildverarbeitungssystem zur Objekterkennung dienen soll, mehrere (d. h. mindestens zwei) auf die Sichtlinie gerichtete Kameras vorhanden sein. Diese Bedingung sollte auch dann erfüllt sein, wenn die Bildverarbeitungs-Algorithmen eigentlich nur die Daten einer einzigen Kamera benötigen.

Mehrere Sensoren erlauben das Erkennen von Fehlern der Primärkamera, indem mit Hilfskameras Bildvergleiche vorgenommen werden. Die Primärkamera leitet ihre Daten dem Bildverarbeitungs-Algorithmus zu. Sollte das System nun einen Fehler der Primärkamera feststellen, sollte es die Möglichkeit haben, die Daten einer der Hilfskameras an den Bildverarbeitungs-Algorithmus umzuleiten.

Sind mehrere Kameras verfügbar, sollte der Bildverarbeitungs-Algorithmus das räumliche Sehen nutzen, wobei das Erfassen von Tiefendaten mit geringerer Auflösung und Framerate für einen sparsamen Umgang mit den Verarbeitungs-Ressourcen sorgt. Auch wenn die Verarbeitung prinzipbedingt mit den Daten nur einer Kamera erfolgt, können Tiefendaten die Objektklassifizierung beschleunigen, indem die Anzahl der Größenordnungen, die je nach den minimalen und maximalen Distanzen in der jeweiligen Szenerie verarbeitet werden müssen, verringert wird.

TI hat für diese Anforderungen vorgesorgt und seine Automotive-Prozessoren der TDAx-Reihe mit der notwendigen Technik ausgestattet, um mindestens acht Kameraeingänge zu verarbeiten und mithilfe eines Vision-Accelerator-Packs eine räumliche Bildverarbeitung nach dem neuesten Stand der Technik vorzunehmen.

Bildverarbeitung bei schwachen Lichtverhältnissen, Offline-Karten und Sensorfusion

Nachdem das Virus auch mein zweites Auge befallen hatte, wurde ich sehr lichtempfindlich, sodass ich die Rollos in meiner Wohnung schließen und die Tage in nahezu völliger Dunkelheit zubringen musste. Trotz der geringen Helligkeit und meines schlechten Sehvermögens gelang es mir aber, mich zurechtzufinden, denn ich konnte die Umrisse von Objekten erkennen und mich an ihre Position erinnern.

Aufgrund dieser Erfahrung glaube ich, dass die Bildverarbeitung bei geringer Helligkeit eine Verarbeitungsweise erfordert, die von jener bei hellem Tageslicht abweicht. Die bei schlechten Lichtverhältnissen erfassten Bilder weisen nämlich einen geringen Signal-Rauschabstand auf, wodurch strukturierte Objekte wie etwa Kanten im Rauschen untergehen. Meiner Ansicht nach sollten sich Bildverarbeitungs-Algorithmen bei geringer Helligkeit mehr auf Umrisse als auf Kanten stützen. Da HOG-basierte Objektklassifizierungen (Histogram of Oriented Gradients) großenteils auf der Basis von Kanten funktionieren, gehe ich davon aus, dass sie bei schlechten Lichtverhältnissen nur mäßige Ergebnisse bringen.

Das System sollte, sobald es geringe Helligkeit feststellt, den Bildverarbeitungs-Algorithmus in einen Low-Light-Modus umschalten. Diese Betriebsart ließe sich in Form eines Deep-Learning-Netzwerks implementieren, das darauf trainiert wird, ausschließlich solche Bilder zu verarbeiten, die bei geringer Helligkeit aufgenommen wurden. Der Low-Light-Modus sollte sich außerdem auf Daten aus einer Offline-Karte oder einer Offline-Weltsicht stützen. Ein Low-Light-Bildverarbeitungsalgorithmus könnte Marken zur Verfügung stellen, mit deren Hilfe man den korrekten Ort in einer Karte finden und aus einer Offline-Weltsicht eine Szenerie rekonstruieren könnte, was für die Navigation in einem statischen Umfeld ausreichen müsste. In einer dynamischen Umgebung dagegen, die durch bewegliche oder neue, zuvor nicht aufgezeichnete Objekte gekennzeichnet ist, bedarf es einer Fusion mit anderen Sensoren (Lidar, Radar, Wärmebildkameras usw.), um eine optimale Leistungsfähigkeit zu erzielen.

Die Prozessoren TDA2P und TDA3x von TI verfügen über einen hardwaremäßigen Bildsignal-Prozessor mit Unterstützung für Sensoren mit weitem Dynamikbereich zur Bildverarbeitung bei schlechten Lichtverhältnissen. Die mithilfe des Vision Accelerator Packs implementierte TIDL-Bibliothek (TI Deep Learning) kann mit den Caffe- oder Tensor-Flow-Frameworks entwickelte Deep-Learning-Netzwerke in Echtzeit und innerhalb eines Leistungsbudgets von 2,5 W verarbeiten. Semantische Segmentierung und ein Single-Shot-Detektor gehören zu den Netzwerken, die mit TDA2x-Prozessoren erfolgreich demonstriert wurden.

Um seine Bildverarbeitungs-Technologie zu vervollständigen, hat TI seine Anstrengungen zur Entwicklung einer Radartechnik verstärkt, die genau auf ADAS-Anwendungen und das autonome Fahren zugeschnitten ist. Dies brachte folgende Ergebnisse:

  • Millimeterwellen-Radarsensoren (mmWave) für den Automotive-Bereich wie etwa die Serie AWR1xx zur Realisierung von Radarsystemen für mittlere und große Distanzen.
  • Ein auf TDAx-Prozessoren laufendes Software Development Kit, das die Radar-Signalverarbeitungskette implementiert und die Verarbeitung von bis zu vier Radarsignalen ermöglicht.

Wichtig sind die Erkennung fehlerhafter Sensoren und ein Ausfallsicherheits-Mechanismus

Als meine Symptome am schlimmsten waren, konnte selbst das Schließen der Augen die Schmerzen nicht lindern. Ich sah vielmehr Lichtblitze und Farbmuster, die mich nicht schlafen ließen. Mein Gehirn verhielt sich, als wären meine Augen offen, und versuchte ständig die ankommenden verrauschten Bildinformationen zu verarbeiten. Ich wünschte mir so sehr, ich könnte die Fehlfunktion meiner Augen erkennen und ihre Signale einfach ignorieren. Hier, so vermute ich, habe ich einen Fehler in der Entwicklung der Natur gefunden.

In der Welt des autonomen Fahrens kann ein fehlerhafter Sensor oder auch nur Schmutz lebensbedrohende Konsequenzen haben, denn ein verrauschtes Bild könnte den Bildverarbeitungs-Algorithmus in die Irre leiten und zu unkorrekten Klassifizierungen veranlassen. Meines Erachtens wird man sich vermehrt auf die Entwicklung von Algorithmen konzentrieren, die in der Lage sind, ungültige Szenerien, die von einem fehlerhaften Sensor kommen, zu erkennen. Das System könnte in diesem Fall Ausfallsicherheits-Mechanismen umsetzen, die beispielsweise das Einschalten der Warnblinkanlage oder das geordnete Anhalten des Fahrzeugs veranlassen.

Wie viele Elektromotoren befinden sich in Ihrem Auto?

Wie viele Elektromotoren befinden sich in Ihrem Auto?

21.06.18 - Wissen Sie wie viele Elektromotoren sich in Ihrem Fahrzeug befinden? Sie werden es schwer haben, ein neueres Modell zu finden, in dem weniger als ein Dutzend Elektromotoren verbaut wurden. Wahrscheinlicher ist es, dass mindestens 40 davon vorhanden sind. Ein Überblick. lesen

Bausteine für die Karosserieelektronik – Evolution oder Revolution?

Bausteine für die Karosserieelektronik – Evolution oder Revolution?

27.06.18 - Wie verändert sich die Karosserieelektronik im Zeitalter der Connected Cars? Ein Überblick über den aktuellen Stand, was uns in Zukunft erwartet und welche Herausforderungen der Wandel mit sich bringt. lesen

* *Victor Cheng ist Senior Software Engineer for Automotive Processors bei Texas Instruments

Kommentar zu diesem Artikel abgeben

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45380196 / Automotive Electronics Engineering)