Energieeffiziente KI

Tobias Gemmeke, Susanne Hoffmann-Eifert, Alexander Krüger, Max Lemme, Rainer Waser, Dirk Wouters

In the Information & Communication Technology (ICT) Profile Area,scientists from RWTH Aachen University, Forschungszentrum Jülich and the Johannes Rau Research Institute AMO work closely together on a revolution in computer architecture. Today’s computers are lacking in cognitive capabilities that are comparable to those of the brain. In artificial intelligence (AI) applications such as pattern recognition tasks, they consume way too much energy. New “neuromorphic” computers, on the other hand, will combine processing principles of the brain and novel memristive switching devices to overcome the wall posed by the end of Moore’s law. The novel hardware architectures and related algorithms provide the drive for autonomous and self-learning systems based on the operation and architecture of the highly efficient human brain. Im Profilbereich „Information & Communication Technology“ (ICT) arbeiten Wissenschaftlerinnen und Wissenschaftler der RWTH Aachen, des Forschungszentrums Jülich und der AMO GmbH an einer Revolution in der Computerarchitektur. Für viele Anwendungen der Künstlichen Intelligenz (KI) sind die heutigen Computer nicht ausreichend leistungsfähig, sie verbrauchen bei Aufgaben der komplexen Mustererkennung zu viel Energie. Neuartige „neuromorphe“ Rechner versprechen eine deutlich verbesserte Energieeffizienz, weil sie sich an der Funktionsweise und der Architektur des hoch effizient arbeitenden menschlichen Gehirns orientieren. Der Energiehunger klassischer Rechner insbesondere für KI-Anwendungen liegt zu einem großen Teil in der Trennung von Prozessor- und Speichereinheit begründet. Eine solche klassische Rechnerarchitektur wird nach ihrem Erfinder „von Neumann“-Architek-

Bild 4: Schema des synaptischen Kontaktes zwischen zwei Nervenzellen (links). In der künstlichen Synapse (rechts) sitzen memristive Materialien zwischen zwei Leiterbahnen. Diese memristiven Materialien können ihren elektrischen Widerstand durch Spannungspulse aufgrund von atomaren Phasenwechsel- oder Valenzwechselprozessen ändern.

tur genannt. Für jede Rechenoperation werden Daten aus dem Speicher in den Prozessor geladen, dort werden dann die digitalen Rechenoperationen durchgeführt, und das Ergebnis wird wieder zurück in den Speicher geschrieben. Dieser ständige Verkehr zwischen Prozessor und Speicher führt zu einem Datenstau an diesem Flaschenhals, dem von Neumann-Bottleneck. KI-Leistungsfähigkeit und Energieeffizienz heutiger Systeme sind dadurch begrenzt. In Bild 2 wird der Energieverbrauch eines klassischen Rechners mit dem des menschlichen Gehirns verglichen und tatsächlich kommt es dabei auf die Aufgabe an. Bei numerischen Berechnungen ist der von Neumann-Rechner dem Gehirn weit überlegen. Kognitive Anwendungen erledigt das Gehirn hingegen wesentlich energiesparender. Die Mustererkennung, die in der KI eine wesentlich größere Rolle einnehmen wird als numerische Berechnungen, erfordert den Umgang mit sehr großen Datenmengen, vielfach in Echtzeit oder schneller. Hierfür zeigt sich das menschliche Gehirn einem von NeumannRechner deutlich überlegen. Für Anwendungen in Bereichen der KI werden daher Rechner nach dem Vorbild des menschlichen Gehirns, sogenannte neuromorphe Rechnerarchitekturen, weltweit intensiv erforscht. Angetrieben wird diese Forschung von der steigenden Nachfrage aus Wirtschaft und Gesellschaft. Die Analyse großer Datenmengen, Stichwort Big Data, ist ein zentraler Baustein kognitiver Funktionen, die alle KI-Anwendungen, wie zum Beispiel das Internet der Dinge, intelligente Städte, zukünftige Energienetze, autonomes Fahren, intelligente Produktionssysteme und personalisierte Medizin dominieren. Auch beim vernetzten Arbeiten ist es oftmals effizienter, intelligent vorverarbeitete Information auszutauschen statt Rohdaten. Dieser gesellschaftliche Wunsch nach mehr intelligenter Rechenleistung bei gleichzeitigem Gebot eines nachhaltigen Umgangs mit Ressourcen wird von Seiten der weltweiten Forschung adressiert, indem an neuromorpher Hardware gearbeitet wird, die zunächst in der konventionellen Silizium-Halbleitertechnologie (CMOS) entwickelt wird. Für das breite Anwendungsspektrum des Digitalzeitalters haben diese Systeme langfristig jedoch immer noch einen viel zu hohen Energieverbrauch. Daher arbeiten Wissenschaftlerinnen und Wissenschaftler im Profilbereich ICT parallel an disruptiven Ansätzen für zukünftige Rechnerarchitekturen. Disruptiv deshalb, weil tief in die grundsätzliche Architektur der Rechner eingegriffen wird, sodass beispielsweise die synaptische Funktion nicht mehr per Software nachempfunden, sondern direkt in einer neuartigen Hardware realisiert wird.

Konkret werden neue Hardwarekomponenten für den Einsatz in künstlichen neuronalen Netzen erforscht. In den angestrebten Hardwarekomponenten sind die logischen Einheiten und die Speichereinheiten nicht mehr voneinander getrennt. Stattdessen wird im Speicher gerechnet, es wird ein Rechnen-im-Speicher realisiert. Dies ermöglicht eine massive Parallelisierung bei gleichzeitiger Vermeidung des energieintensiven und zeitaufwendigen Datentransfers über das von Neumann-Bottleneck. Spezielle memristive Bauelemente erfüllen diese Funktion. Memristor ist ein Kofferwort aus den englischen Wörtern „memory“ und „resistor“, die memristiven Bauteile haben also ein „Widerstandsgedächtnis“. Durch die Möglichkeit analoger Widerstandsänderungen stellen sie für das KI-Anwendungsfeld ideale Komponenten dar. Sie erfüllen zusätzlich weitere wichtige Anforderungen: platzsparende Geometrie, Kompatibilität zu Halbleiterfertigungsprozessen, Energieeffizienz und Skalierbarkeit. Auch ermöglichen sie eine effiziente Schnittstelle zu analogen Sensorsignalen, sodass die energieverbrauchende Analog-zu-digitalUmwandlung entfallen kann.

Bild 5: Arbeitsbereiche im Projekt „Neuroinspirierte Technologie der künstlichen Intelligenz für die Elektronik der Zukunft“, kurz NEUROTEC

Im Unterschied zu klassischen ladungsbasierten Speicherelementen wie dynamischen Speichern oder Flash-Speichern basiert das Konzept memristiver Bauelemente auf einer Widerstandsänderung, die über eine atomare Konfigurationsänderung der Speicherzelle durch ein Spannungssignal hervorgerufen wird. Abhängig vom physikalischen Mechanismus und von den eingesetzten Materialien können memristive Bauelemente als nichtflüchtige oder semiflüchtige Speicher ausgelegt werden, was sie für unterschiedliche Einsatzbereiche in künstlichen neuronalen Netzen qualifiziert. Im Sonderforschungsbereich „Neuroswitches“ werden – mit Förderung durch die Deutsche Forschungsgemeinschaft – die wichtigsten Schaltmechanismen memristiver Bauelemente, Phasenwechsel und Valenzwechsel erforscht. Die gewonnenen Erkenntnisse zu den fundamentalen Prozessen ermöglichen das gezielte Design memristiver Bauelemente für spezifische Applikationen. Bild 4 zeigt das mögliche Funktionsprinzip. Die memristiven Elemente an den Kreuzungspunkten zweier Leiterbahnen können ähnlich arbeiten wie die Synapsen in biologischen Nervenzellen. Das Gewicht einer künstlichen Synapse lässt sich durch Spannungspulse wahlweise binär oder quasianalog einstellen.

In der direkten Wechselwirkung mit der physikalischen Umwelt ermöglichen neuromorph arbeitende Schaltungen eine hoch effiziente Interaktion durch eine „natürliche“ von Ereignissen getriebene Verarbeitung. In einem nächsten Schritt werden die kognitiven Prozesse der Großhirnrinde in Hardware abgebildet. Der genaue Ablauf komplexer Prozesse im Gehirn ist selbst für Neurowissenschaftler noch ein Geheimnis. Sehr gut verstanden sind allerdings die wesentlichen Grundprinzipien in der „Signalverarbeitung“: Stochastizität, Plastizität, Asynchronität, Konnektivität und Heterogenität. Diese dienen als Anregung für die Konzeption sogenannter neuroinspirierter Systeme. Ein bereits erwähntes Beispiel ist das Rechnen-im-Speicher, bei dem Rechenoperationen im direkten Verbund mit dem Speicherzellenfeld erfolgen. Spannend wird es, wenn der beschriebene Einsatz memristiver Bauelemente für neuartige neuromorphe Computer mit der Ebene der Algorithmen verbunden wird, in der ebenfalls neuroinspirierte Prinzipien Anwendung finden. In der Biologie sind fehlerhafte Prozesse, zu- fällige Ausfälle und stark verrauschte Daten die Regel. Trotzdem, oder gerade deswegen, beeindruckt die Natur immer wieder, zu welchen Dingen sie fähig ist. Approximative Berechnungen und ereignisgesteuerte Verarbeitung dünnbesetzter Matrizen sind erste Schritte, die signifikant bessere Energieeffizienz auf moderne Rechnerarchitekturen zu übertragen. Letztendlich sind Ingenieure und Physiker aber noch gemeinsam mit den Neurowissenschaftlern auf der Suche nach dem „Berechnungsalgorithmus“ im menschlichen Gehirn. Ein tiefgreifendes Verständnis dieser kognitiven Prozesse ist Quelle für viele Anregungen und Innovationen im Bereich neuer Bauelemente, innovativer Schaltungskonzepte und revolutionärer Rechnerarchitekturen. Im Vergleich zu den beeindruckenden Fortschritten im Bereich der künstlichen neuronalen Netze sind die visionären Arbeiten hin zu natürlicher Intelligenz noch auf einem weiten Weg. Dennoch sind die erzielten Forschungsergebnisse vielversprechend und Innovationsmotor auf vielen Ebenen hin zu den autonomen, selbstlernenden Systemen.

Die Expertise der beteiligten Institute ermöglichte die Einwerbung des Projekts „Neuroinspirierte Technologien der künstlichen Intelligenz für die Elektronik der Zukunft“, kurz NEUROTEC, beim Bundesministerium für Bildung und Forschung. Hier werden seit

Bild 6: Beladung des Diffusionsofens mit Siliziumscheiben von 150 mm Durchmesser. Foto: Peter Winandy

2019 schwerpunktmäßig Technologien zur Realisierung neuromorpher Rechnerarchitekturen adressiert. Zusammen mit regional ansässigen Firmen der Hochtechnologie, der aixACCT GmbH, der AIXTRON SE, der Surface systems + technology GmbH & Co. KG und der Synopsys GmbH, arbeiten die Wissenschaftlerinnen und Wissenschaftler von RWTH und Forschungszentrum Jülich an neuen memristiven Materialien, neuen Nanotechnologie-Prozessen, neuartigen Simulationswerkzeugen und Charakterisierungsmethoden und an Konzepten der Integration der memristiven Bauelemente in CMOS-Chips für neuromorphe Rechner, siehe Bild 5. Die generischen neuromorphen Konzepte bauen aufeinander auf: Dies sind die erwähnten memristiv umgesetzten Rechnen-im-Speicher-Matrizen und assoziative Speicherblöcke sowie Methodiken zum Design neuromorpher Systeme basierend auf ebendieser Hardware. Weitere Aktivitäten finden sich in den kompetitiven FET-Open-Projekten QUEFORMAL und WIPLASH, in denen Wissenschaftler und Wissenschaftlerinnen von RWTH und AMO ebenfalls Aspekte des Rechnens-im-Speicher und der Plastizität erforschen. Im H2020- Projekt MNEMOSENE und im ITN-Projekt MANIC arbeiten Wissenschaftlerinnen und Wissenschaftler von RWTH und Forschungszentrum Jülich zu Aspekten des neuromorphen Rechnens. Die Institute der RWTH und am Forschungszentrum Jülich sind nicht nur gut aufgestellt für die Forschung an disruptiven Technologien zur Realisierung von KI-Systemen, sondern auch in der Entwicklung neuartiger Algorithmen und der Erforschung der Anwendung von KI-Systemen. In den kommenden Jahren sollen diese beiden Bereiche „Technologien für neuromorphe Hardware“ und „Künstlich intelligente Systeme“ weiter ausge-

baut und noch stärker mit einander vernetzt werden. Auf der Anwenderseite ermöglichen neuromorphe Rechnerkonzepte die Entwicklung energieeffizienter oder energieautarker Systeme. Darunter fallen Objekterkennungssysteme, die in Verkehr und Logistik von zentraler Bedeutung sind sowie selbstlernende Systeme für den Einsatz in der Spracherkennung und in der Medizintechnik. Denkbare Anwendungen sind hier Cochlea-Implantate im Körper, Hörgeräte am Körper, tragbare Blutzuckerregulationssysteme oder Systeme zur Schmerzmittelapplikation.

Univ.-Prof. Dr.-Ing. Tobias Gemmeke ist Inhaber des Lehrstuhls für Integrierte digitale Systeme und Schaltungsentwurf. Dr.-Ing. Susanne Hoffmann-Eifert ist Gruppenleiterin am Institut für energie-effiziente Informationstechnologie des Forschungszentrums Jülich. Dr. rer. nat Alexander Krüger ist Projektleiter des BMBF-Projektes NEUROTEC am Forschungszentrum Jülich. Univ.-Prof. Dr.-Ing. Max Lemme ist Inhaber des Lehrstuhls für Elektronische Bauelemente und Geschäftsführer der AMO GmbH. Univ.-Prof. Dr.-Ing. Rainer Waser ist Inhaber des Lehrstuhls für Werkstoffe der Elektrotechnik II und Leiter des Instituts für elektronische Materialien am Forschungszentrum Jülich. Dr. ir. Dirk Wouters ist Gruppenleiter am Lehrstuhl für Werkstoffe der Elektrotechnik II.