Die Brücke zwischen Kameras und Radar schlägt Lidar

Vom Sensor bis zur künstlichen Intelligenz arbeitet die klassische Elektronik-Lieferkette an Lösungen, die sich der Sicherheit von autonomen Fahrzeugen widmet. Um Fahrer, Mitfahrer und Fußgänger zu schützen, müssen die Hard- und Software-Entwicklung noch zahlreiche Aufgaben meistern. Machine Learning und KI spielen dabei eine wichtige Rolle, wobei ihre Wirksamkeit von der Qualität der Eingangsdaten abhängt – hier kommen Lidar-Sensoren von Analog Devices ins Spiel, denn kein autonomes Fahrzeug kann als sicher betrachtet werden, solange es nicht auf leistungsfähige Sensoren mit hoher Integrität zugreifen kann, die ständig aktuelle und genaue Daten für Entscheidungsgrundlagen über Leben und Tod von Insassen und Fußgängern liefern.

Chris Jacobs, Vice President, Autonomous Transportation and Safety, Analog Devices Inc.

Inhaltsverzeichnis
1. Kognitive Eigenschaften für die Funktionssicherheit
2. Vielseitige Entscheidungsfindung und Analyse
3. Hochwertige Daten sparen Zeit und schützen Leben
4. Intensives Engagement

Genau wie der erste Flug zum Mond ist auch der Weg zum autonomen Fahrzeug voller Hindernisse. Zwischenfälle der jüngsten Vergangenheit mit selbstfahrenden Testfahrzeugen nähren das Lager der Nein-Sager, die meinen, die Fahrzeuge und die Umgebung, in der sie sich bewegen, seien zu komplex, es gäbe zu viele Variablen und die Algorithmen sowie die Software enthielten noch zu viele Fehler. Denjenigen, die in Compliance-Tests nach ISO 26262 (Funktionale Fahrzeugsicherheit) involviert sind, sei ihre Skepsis verziehen. Unterstützt wird diese Skepsis durch eine Statistik aus dem Silicon Valley, die zeigt, wie viele Meilen die autonomen Testfahrzeuge von fünf Herstellern zurückgelegt haben und wie oft dabei ein Mensch die Kontrolle übernehmen musste. Zahlen für 2018 müssen noch zusammengestellt werden. Berichte einzelner Unternehmen sind online verfügbar.

Das Ziel steht aber fest: Fahrzeugautonomie wird kommen und das Thema Sicherheit wird großgeschrieben. Die inoffiziellen Zahlen im erwähnten DMV-Report zeigen, dass die Zahl der Fälle abnimmt, in denen Fahrer pro gefahrener Meile die Kontrolle übernehmen mussten. Dies zeigt, dass die Systeme immer leistungsfähiger werden, wobei dieser Trend noch beschleunigt werden muss.

Mit Zusammenarbeit und neuem Denken an erster Stelle sprechen Automobilhersteller direkt mit Siliziumherstellern und Sensorlieferanten diskutieren das Thema Sensor-Fusion mit Entwicklern von KI-Algorithmen. Außerdem nehmen Software-Entwickler Kontakt mit Hardwareproduzenten auf. Bestehende Geschäftsbeziehungen ändern sich und neue bilden sich dynamisch mit dem Ziel, die Kombination von Leistungsdaten, Funktionalität, Zuverlässigkeit, Kosten und Funktionssicherheit im finalen Produkt zu optimieren.

Insgesamt verfolgen Entwickler die richtigen Modelle, auf denen komplett autonome Fahrzeuge für schnell entstehende Anwendungen wie selbstfahrende Taxis (Robo-Taxis) und Langstrecken-Güterfrachtverkehr aufgebaut und getestet werden sollten. Auf dem Weg dahin werden höhere Automatisierungsgrade schnell erzielt, was auf Verbesserungen bei Sensoren zurückzuführen ist, die die Entwicklung von Fahrerassistenzsystemen (Adas) vorantreiben.

Zu diesen Sensortechnologien gehören Kameras, Lidar (Light Detection and Ranging, Radar (Radio Detection and Ranging), Mems (Mikroelektromechanische Systeme und IMUs (Inertial Measurement Units), Ultraschall und GPS, die alle die wichtigen Eingangsdaten für KI-Systeme liefern, welche die Entwicklung des autonomen Fahrens mit kognitiven Eigenschaften vorantreiben.

Kognitive Eigenschaften für die Funktionssicherheit

Auf dem Weg zum autonomen Fahrzeug gibt es fünf Stufen. Die Level 1 und 2 umfassen im Wesentlichen Warnsysteme, während auf Level 3 und höher das Fahrzeug selbständig Maßnahmen zur Unfallvermeidung ergreifen darf. Mit der Entwicklung des Fahrzeugs hin zu Level 5 wird das Lenkrad überflüssig und das Auto arbeitet komplett autonom.

In den ersten Systemgenerationen, bei denen Fahrzeuge mit Funktionen für Level 2 ausgestattet werden, arbeiten die Sensorsysteme unabhängig. Die Warnsysteme zeigen hohe Fehlalarmraten und werden, weil oft als lästig empfunden, in vielen Fällen abgeschaltet.

Der Weg zum komplett kognitiven, autonomen Fahrzeug bringt auch eine erheblich steigende Zahl von Sensoren mit sich, deren Leistungsfähigkeit und Reaktionszeiten sich deutlich verbessern müssen.

Fahrzeuge mit mehr Sensoren können aktuelle mechanische Gegebenheiten überwachen, die das Brems- oder Fahrverhalten beeinträchtigen. Dies sind beispielsweise Reifendruck, Gewichtsänderung (beispielsweise beladen oder unbeladen, Anzahl der Mitfahrer) oder andere Abnutzungserscheinungen. Mit mehr externen Sensoren kann das Fahrzeug seinen Zustand und die Umgebung kognitiver erkennen.

Aufgrund von Fortschritten beim Aufbau von Sensoren kann ein Automobil den aktuellen Zustand der Umgebung besser erkennen und sich auch seiner Historie bewusst sein. Dies ist auf die Grundsätze von Dr. Joseph Motola, Chief Technologist in der ENSCO Aerospace Sciences and Engineering Division, zurückzuführen. Diese Erfassungsfähigkeit kann einfach nur die Wahrnehmung des Straßenzustands, etwa Stellen mit Schlaglöchern, oder detailliert die Art von Unfällen und deren Hergang an einer bestimmten Stelle sein.

Zu der Zeit, als die kognitiven Konzepte entwickelt wurden, erschienen sie wegen der hohen Anforderungen an Messtechnik, Verarbeitung, Speicherkapazität und Schnittstellen als weit hergeholt. Doch inzwischen hat sich vieles verändert. Heute sind diese historischen Daten in Echtzeit abrufbar und können in die Daten der Fahrzeugsensoren einbezogen werden, um ein zunehmend genaueres Maß an vorbeugenden Maßnahmen zu erhalten und Störungen zu vermeiden.

Zum Beispiel kann eine IMU (Inertial Measurement Unit) eine plötzliche Bodenwelle erkennen oder dafür sorgen, dass das Fahrzeug Hindernissen wie Schlaglöcher ausweicht. Bisher war diese Art von Information nicht nutzbar. Heute ermöglicht die Anbindung in Echtzeit, diese Daten an eine zentrale Datenbank zu übermitteln, wo sie genutzt werden, um andere Fahrzeuge vor einem Schlagloch oder einem anderen Hindernis zu warnen. Gleiches gilt für Kamera-, Radar-, Lidar- und andere Sensordaten.

Diese Daten werden gesammelt, analysiert und zusammengeführt, um das vorausschauende Verständnis des Fahrzeugs für seine Umgebung zu unterstützen. Dies ermöglicht es dem Fahrzeug, als Lernmaschine zu fungieren, die möglicherweise bessere und sicherere Entscheidungen trifft als ein Mensch.

Vielseitige Entscheidungsfindung und Analyse

Deutliche Fortschritte wurden bei der Fahrzeugwahrnehmung erzielt. Der Schwerpunkt ist, Daten der einzelnen Sensoren zu sammeln und Sensor-Fusion-Strategien anzuwenden, um sich ergänzende Stärken zu maximieren sowie eventuelle Schwächen in bestimmten Situationen zu verbessern.

Doch es gibt noch viel zu tun, damit wirklich zukunftsfähige Lösungen für die Herausforderungen der Branche entstehen. Zum Beispiel können Kameras laterale Geschwindigkeit berechnen (z. B. die Geschwindigkeit eines Objekts, das sich orthogonal zur Fahrtrichtung des Fahrzeugs bewegt). Noch immer benötigen selbst die besten Machine-Learning-Algorithmen etwa 300 ms, um eine Seitwärtsbewegung mit ausreichend geringen Fehlalarmraten zu erkennen. Für einen Fußgänger, der sich vor einem mit 60 mph fahrenden Auto bewegt, können Millisekunden entscheidend sein, ob kleine oder lebensbedrohliche Verletzungen entstehen. Die Reaktionszeit ist also entscheidend.

Die Verzögerung von 300 ms ergibt sich aus der Zeit, die zur Durchführung von Delta-Vektor-Berechnungen von aufeinanderfolgenden Videobildern erforderlich ist. Zehn oder mehr aufeinanderfolgende Bilder sind für eine verlässliche Erfassung nötig. Diese Zahl muss auf ein oder zwei aufeinanderfolgende Bilder reduziert werden, damit das Fahrzeug Zeit hat, zu reagieren. Radar hat die Fähigkeit, dies zu erreichen.

In ähnlicher Weise bietet Radar viele Vorteile zur Geschwindigkeits- und Objekterkennung. Zum Beispiel hohe Auflösung bei Azimuth und Elevation sowie die Fähigkeit um Objekte herum zu „sehen“. Doch auch hier muss mehr Zeit zur Verfügung stehen, damit das Fahrzeug entsprechend reagieren kann. Mit dem Ziel, Geschwindigkeiten von 400 km/h oder höher eindeutig zu erfassen, machen neue Entwicklungen für den Betrieb bei 77 und 79 GHz Fortschritte hin zu diesem Ziel.

Dieses Niveau der Geschwindigkeitsbestimmung mag ein wenig extrem anmuten, ist aber notwendig, um komplexe Anwendungsfälle auf Autobahnen zu ermöglichen, wo Fahrzeuge in entgegengesetzter Richtung mit Geschwindigkeiten von über 200 km/h unterwegs sein können.

Die Brücke zwischen Kameras und Radar schlägt Lidar. Aufgrund seiner Eigenschaften ist Lidar ein tragfähiges und wesentliches Element des komplett kognitiven Fahrzeugs geworden. Doch auch bei Lidar gibt es Herausforderungen, die es zu meistern gilt.

Lidar wird sich hin zu kompakten, kosteneffizienten Halbleiterdesigns entwickeln, die sich für volle 360˚-Abdeckung an mehreren Stellen rund um das Fahrzeug platzieren lassen. Lidar ergänzt Radar- und Kamerasysteme durch höhere Winkelauflösung und Tiefenwahrnehmung für eine genauere 3D-Karte der Umgebung.

Da der Betrieb von Lidar nahe Infrarot (850 bis 940 nm) der Netzhaut schaden kann, ist die Ausgangsenergie auf 200 nJ/Impuls bei 905 nm begrenzt. Durch den Übergang auf Kurzwellen-Infrarot bei über 1500 nm wird das Licht über die gesamte Augenoberfläche absorbiert, was geringere regulatorische Anforderungen von 8 mJ/Impuls ermöglicht. Beim 40000-fachen Energielevel von 905-nm-Lidar bieten mit 1500 nm gepulste Lidar-Systeme den vierfachen Bereich. Auch können 1500-nm-Systeme robuster gegenüber bestimmten Umgebungsbedingungen sein, zum Beispiel Dunst, Staub und Aerosole.

Die Herausforderung bei 1500-nm-Lidar sind die Systemkosten, die Großteils durch die Fotodetektortechnologie (die heute auf InGaAs-Technologie basiert) getrieben werden. Eine qualitativ hochwertige Lösung mit hoher Empfindlichkeit, niedrigem Dunkelstrom und kleiner Kapazität ist die Grundvoraussetzung für das 1500-nm-Lidar. Während sich Lidar-Systeme in Richtung zweite und dritte Generation weiterentwickeln, ist zusätzlich eine applikationsoptimierte Schaltkreisintegration erforderlich, um die Abmessungen sowie die Leistungsaufnahme zu verringern und die Gesamtsystemkosten zu senken.

Über Ultraschall, Kameras, Radar und Lidar hinaus gibt es weitere Sensortechnologien, die wichtige Rollen bei der Entwicklung des komplett kognitiven autonomen Transports einnehmen. GPS lässt ein Fahrzeug wissen, wo es sich geographisch befindet. Allerdings gibt es auch Orte ohne GPS-Empfang, beispielsweise in Tunnels und direkt unter Hochhäusern. An dieser Stelle können inertiale Messeinheiten (IMUs) eine wichtige Rolle übernehmen.

Wenngleich es oft übersehen wird, messen IMUs alle Kräfte, die gegen die konstante Schwerkraft wirken und zwar unabhängig von den jeweiligen Umgebungsbedingungen. Als solches sind IMUs sehr nützlich für Koppelnavigation (Dead Reckoning). Beim vorübergehenden Fehlen eines GPS-Signals nutzt Dead Reckoning Daten aus Quellen wie dem Tacho und IMUs, um zurückgelegte Entfernung und Bewegungsrichtung zu erfassen und überlagert diese Daten dem Kartenmaterial in HD-Qualität. Dies hält ein Fahrzeug mit kognitiven Fähigkeiten auf der richtigen Spur, bis ein GPS-Signal wiederhergestellt ist.

Hochwertige Daten sparen Zeit und schützen Leben

So wichtig wie die Sensoren auch sein mögen, ist keines der wichtigen Sensoreingangssignale von Bedeutung, wenn die Sensoren selbst nicht zuverlässig arbeiten und ihre Ausgangssignale nicht exakt erfasst werden, um Upstream als hochgenaue Sensordaten eingespeist zu werden. Der Satz „Müll rein, Müll raus” hatte selten so viel Bedeutung.

Damit dies erreichbar ist, müssen die fortschrittlichsten analogen Signalketten ständig verbessert werden, um Sensorausgangssignale so erkennen, erfassen und digitalisieren zu können, dass sie ihre Genauigkeit und Präzision auch über Zeit und Temperatur beibehalten. Mit den richtigen Bauteilen und besten Design-Praktiken lassen sich die Einflüsse von schwierigen Randbedingungen, zum Beispiel Biasdrift in Abhängigkeit von der Temperatur, Phasenrauschen, Interferenzen und andere Instabilitäten verursachende Phänomene erheblich abschwächen. Hochgenaue und hochwertige Daten sind entscheidend für das Machine Learning und das Training von KI-Prozessoren, damit die richtigen Entscheidungen getroffen werden. Und es gibt nur selten eine zweite Chance.

Sobald die Qualität der Daten sichergestellt ist, können die unterschiedlichen Sensor-Fusion-Konzepte und KI-Algorithmen optimal auf ein positives Ergebnis reagieren. Es ist Tatsache, dass, egal wie gut ein KI-Algorithmus trainiert ist, sobald das Modell kompiliert und auf Geräten am Netzwerkrand eingesetzt ist, sein Verhalten komplett von zuverlässigen, hochgenauen Sensordaten abhängt.

Das Zusammenspiel zwischen verschiedenen Sensoren, Sensor-Fusion, Signalverarbeitung und KI hat tiefgreifende Auswirkungen auf die Fortschritte bei intelligenten, kognitiven, autonomen Fahrzeugen und das Vertrauen, mit dem sich die Sicherheit von Fahrern, Mitfahrern und Fußgängern sicherstellen lässt. All dies ist nur mit hochzuverlässigen, genauen und hochpräzisen Sensorinformationen erreichbar – ein absolutes Muss für sichere autonome Fahrzeuge.

Wie bei jeder fortschrittlichen Technologie heißt es auch hier, je mehr daran gearbeitet wird, desto komplexere Einsatzfälle lassen sich identifizieren, die wiederum adressiert werden müssen. Diese Komplexität wird weiterhin existierende Technologie herausfordern, sodass der Blick auf Sensoren der nächsten Generation und Sensor-Fusion-Algorithmen gerichtet sein muss, um diese Problematik direkt zu adressieren.

Wie damals beim ersten Flug zum Mond besteht das Verlangen, dass die Initiative in Richtung autonome Fahrzeuge positive, transformative und lange anhaltende Auswirkungen auf die Gesellschaft haben. Auf dem Weg von Fahrerassistenz hin zum Fahren ohne Fahrer wird sich die Sicherheit des Transports wesentlich erhöhen. Außerdem wird diese Entwicklung enorme Produktivitätssteigerungen bewirken. Die Zukunft hängt von der Sensorbasis ab, auf der alles andere aufbaut.

Intensives Engagement

Analog Devices engagiert sich seit 25 Jahren mit den Themen Automobil-Sicherheit und Adas. Heute legt das Unternehmen den Grundstein für die autonome Zukunft. Organisiert um Centers of Excellence für Inertial Navigation & Monitoring und Hochleistungs-Radar & Lidar herum, bietet ADIs Autonomous Transportation Business Unit Hochleistungssensoren und Signal/Leistungsketten-Lösungen,die nicht nur die Leistungsdaten der Systeme erheblich steigern, sondern auch die TCO (Total Cost of Ownership) der gesamten Plattform senken und das Tempo für morgen beschleunigen. ge