Schnelle Lösung großer Gleichungssysteme

Transkript

1 Schnelle Lösung großer Gleichungssysteme Anton Schüller 1 Ulrich Trottenberg 1,2 Roman Wienands 2 1 Fraunhofer-Institut Algorithmen und Wissenschaftliches Rechnen SCAI 2 Mathematisches Institut der Universität zu Köln Version

2 Inhaltsverzeichnis Vorbemerkung: Große lineare Gleichungssysteme im Schulunterricht 5 Überblick 5 1 Große Gleichungssysteme Anwendungsbeispiele, die auf große Gleichungssysteme führen Fortschritt durch Mathematik und schnelle Rechner bei der Lösung großer Gleichungssysteme Schnelle und weniger schnelle Verfahren Darstellung großer linearer Gleichungssysteme Direkte Verfahren zur Lösung linearer Gleichungssysteme Einführung Cramersche Regel und Determinanten Rundungsfehler Idee des Gaußschen Eliminationsverfahrens Zielsystem: Matrix in Dreiecksgestalt Der erste Eliminationsschritt Fortführung des Verfahrens Nachteile des Gaußschen Eliminationsverfahrens Iterative Lösung von linearen Gleichungssystemen Jacobi-Verfahren und Gauss-Seidel-Verfahren Explizite Formeln für Jacobi- und Gauss-Seidel-Verfahren Zwei konkrete Beispiele

3 Inhaltsverzeichnis Das SOR-Verfahren Zur Konvergenz iterativer Verfahren Zur Konvergenz des Jacobi-Verfahrens, starkes Zeilensummenkriterium Ein Beispiel Zusammenhang zum Gauss-Seidel-Verfahren Ableitungen von Funktionen, Differentialgleichungen, Randwertaufgaben Ableitung einer Funktion Berechnung von Ableitungen, Differenzenquotienten Beispiele für Ableitungen von Funktionen Einfache Rechenregeln für Ableitungen Gewöhnliche Differentialgleichungen Funktionen mehrerer Veränderlicher, partielle Ableitungen, partielle Differentialgleichungen Diskretisierung (gewöhnlicher und partieller) Randwertaufgaben mit Differenzenverfahren Eine gewöhnliche Randwertaufgabe 2. Ordnung Diskretisierung Approximation der Differentialgleichung Resultierendes Gleichungssystem Matrixdarstellung Konvergenz einfacher iterativer Verfahren zur Lösung des GLS Die Poisson-Gleichung mit Dirichletschen Randbedingungen Diskretisierung Approximation von u Aufstellung des zugehörigen Gleichungssystems Diskretisierungsgenauigkeit Matrixdarstellung Matrixdarstellung bei zeilenweiser Nummerierung Interpretation als Bandmatrix

4 Inhaltsverzeichnis Einfache Verfahren zur Lösung des diskreten linearen Gleichungssystems Unterrichtsmaterialien Foliensätze Foliensatz zu Anwendungen großer Gleichungssysteme und zur Motivation Foliensatz zur Einführung in das Lösen großer Gleichungssysteme Computerprogramme Computerprogramm: Rechenzeiten bei Determinantenberechnung nach dem Laplaceschen Entwicklungssatz Computerprogramm: Rechenzeiten bei Determinantenberechnung durch Transformation auf Dreiecksgestalt Computerprogramm zur Determinantenberechnung durch Transformation auf Dreiecksgestalt Computerprogramm zum Rechenzeitverhalten des Gaußschen Eliminationsverfahrens bei der Lösung linearer Gleichungssysteme Computerprogramm: Gaußsches Eliminationsverfahren zur Lösung eines linearen Gleichungssystems Computerprogramm: Gauss-Seidel-Verfahren zur Lösung (diagonaldominanter) linearer Gleichungssysteme Computerprogramm: Gauss-Seidel- und SOR-Verfahren zur numerischen Lösung der zweidimensionalen Poissonschen Randwertaufgabe Computerprogramm: Full-Multigrid-Verfahren zur numerischen Lösung der zweidimensionalen Poissonschen Randwertaufgabe Arbeitsblätter Arbeitsblatt: Große Gleichungssysteme und Wettervorhersage Arbeitsblatt: Fortschritte durch Mathematik und Rechnerentwicklung in den letzten 30 Jahren Arbeitsblatt: Gaußsches Eliminationsverfahren Arbeitsblatt: Jacobi-Verfahren Arbeitsblatt: Gauss-Seidel-Verfahren Arbeitsblatt: Defekt einer Näherungslösung Arbeitsblatt: Konvergenzeigenschaften des Jacobi- und des Gauss-Seidel- Verfahrens

5 5 Vorbemerkung: Große lineare Gleichungssysteme im Schulunterricht Große Gleichungssysteme kommen in der Praxis sehr häufig vor. Kontinuierliche Aufgaben (z.b. Differential- und Integralgleichungen) werden durch Diskretisierung in große Gleichungssysteme mit Tausenden, ja Millionen von Unbekannten überführt, um Probleme aus Meteorologie (Wetter- und Klimavorhersage), Strömungsmechanik (z.b. Entwurf von Autos oder Flugzeugen mit möglichst niedrigem Luftwiderstand und Treibstoffverbrauch), Strukturmechanik und vielen anderen Anwendungsfeldern zu lösen. In der Schule bleiben die betrachteten Gleichungssysteme deutlich kleiner, und es wird häufig nicht deutlich, für welche Anwendungsfelder große Gleichungssysteme in der Praxis überhaupt eine Rolle spielen und warum die Verfügbarkeit effizienter Lösungsverfahren für derartige Problemstellungen von großer praktischer Bedeutung ist. Auch ist allgemein kaum bekannt, dass die Fortschritte innerhalb der Angewandten Mathematik Hand in Hand mit den immer schneller gewordenen Rechnern heute die Lösung von Problemstellungen ermöglichen, die noch vor 30 Jahren als kaum lösbar erschienen. Hierzu hat insbesondere auch die Entwicklung schneller Verfahren zur Lösung großer Gleichungssysteme maßgeblich beigetragen. Auf derartige Anwendungen und Entwicklungen gehen wir gleich zu Beginn des vorliegenden Unterrichtsmoduls in den Abschnitten ein. Dabei vergleichen wir auch verschiedene unterschiedlich effiziente Verfahren anhand ihrer Rechenzeiten für ein typisches Beispiel. Das beigefügte Unterrichtsmaterial eignet sich für eine Unterrichtsreihe in der Jahrgangsstufe 11 (G9) bzw. 10 (G8). Für die Diskretisierung von Differentialgleichungen (mit zugehörigen Randwerten) wird die Definition der Ableitung über den Differenzenquotienten verwendet wird. Die Anteile, die sich auf die Kapitel 1 und 2 beziehen, können aber teilweise auch bereits wesentlich früher eingesetzt werden, z.b. im Zusammenhang mit der Lösung von Gleichungssystemen in Klasse 8, im Differenzierungsbereich Mathematik/Naturwissenschaft der Mittelstufe (ab Klasse 8) oder im Rahmen einer Projektwoche ab Klasse 8. Das gesamte Material kann auch als Einführung in die Lösung großer Gleichungssysteme in einem Projektkurs der Oberstufe eingesetzt werden. In diesem Fall könnten die Schüler sich die Inhalte selbständig mit diesem Skript erarbeiten. Die Entwicklung dieses Unterrichtsmoduls wurde unterstützt durch eine Projektförderung durch die WestLB-Stiftung Zukunft NRW, für die wir uns ganz herzlich bedanken.

6 Überblick In Abschnitt 1.1 diskutieren wir exemplarisch einige Anwendungen, die auf die Lösung großer Gleichungssysteme führen. Abschnitt 1.2 zeigt am Beispiel der Lösung eines großen Gleichungssystems, welche Fortschritte in den vergangenen 30 Jahren durch neue Methoden der Angewandten Mathematik einerseits und durch die Entwicklung immer leistungsfähigerer Rechner andererseits erzielt werden konnten. In Abschnitt 1.4 beschreiben wir, wie wir große lineare Gleichungssysteme darstellen. Dabei werden auch die Begriffe Matrix und Vektor eingeführt. Kapitel 2 beschäftigt sich mit direkten Verfahren zur Lösung linearer Gleichungssysteme. Zunächst wird am Beispiel der Cramerschen Regel gezeigt, dass explizite Lösungsformeln nicht immer sinnvoll sind, weil der Rechenaufwand zu ihrer Auswertung mit steigender Anzahl von Unbekannten viel zu schnell wachsen kann. Außerdem gehen wir in einem kurzen Exkurs auch auf die mögliche Problematik von Rundungsfehlern ein. Der Rest dieses Kapitels ist dem Gaußschen Eliminationsverfahren gewidmet. Seine Idee und die einzelnen Schritte werden ausführlich dargestellt. Vor- und Nachteile dieses Verfahrens werden diskutiert. Kapitel 3 beschäftigt sich mit einfachen iterativen Lösungsverfahren. Jacobi- und Gauss- Seidel-Verfahren werden an Beispielen eingeführt. Hierbei wird vorausgesetzt, dass der Begriff eines iterativen Verfahrens bereits bekannt ist. Als Einführung in die Idee eines iterativen Verfahrens bietet sich etwa das Heronsche Verfahren zur Wurzelberechnung an. Eine einfache Erweiterung des Gauss-Seidel-Verfahrens führt zum SOR-Verfahren. Abschließend gehen wir auf die Konvergenzeigenschaften des Jacobi- und des Gauss-Seidel- Verfahrens ein und diskutieren das starke Zeilensummenkriterium im Detail. Das Auftreten großer Gleichungssysteme in Anwendungen unterschiedlichster Art hängt sehr häufig zusammen mit der numerischen Lösung von partiellen Differentialgleichungen mit geeigneten Anfangs- oder Randbedingungen. Um diesen Zusammenhang deutlich zu machen, führen wir in Kapitel 4 die Begriffe der Ableitung einer Funktion einer oder mehrerer Veränderlicher sowie der gewöhnlichen und partiellen Differentialgleichung kurz und anhand einiger Beispiele ein. Diese Einführung ist bewusst kurz gehalten und hat nicht die Absicht, eine auch nur halbwegs vollständige Einführung in die Theorie zu geben. Der Übergang von einer Randwertaufgabe, bestehend aus einer (elliptischen) Differentialgleichung und einfachen Randbedingungen, in ein großes Gleichungssystem wird dagegen anhand eines ein- und eines zwei-dimensionalen Beispiels detailliert beschrieben. Die Idee dabei ist, Ableitungen wieder durch Differenzenquotienten zu ersetzen, dabei aber auf den Grenzübergang h 0 zu verzichten. Die in Kapitel 3 eingeführten iterativen Lösungsverfahren können zur Lösung der so entstehenden Gleichungssysteme direkt eingesetzt werden. Kapitel 5 enthält eine Sammlung/Beschreibung verschiedener Materialien, die für den Einsatz im Unterricht oder für das Selbststudium hilfreich sind. Hierbei handelt es sich einerseits um eine Reihe von Computerprogrammen, welche die im Skript eingeführten (und weitere) Lösungsverfahren realisieren und unter verschiedenen Aspekten beleuchten (vgl. Abschnitt 5.2). Hinzu kommen einige Arbeitsblätter samt entsprechender Musterlösungen (vgl. Abschnitt 5.3). 6

7 Kapitel 1 Große Gleichungssysteme 1.1 Anwendungsbeispiele, die auf große Gleichungssysteme führen 1. Wetterprognose: Das mathematische Modell, das der globalen Wetterprognose zugrundeliegt, ist ein System von partiellen Differentialgleichungen zur Bestimmung das Wetter charakterisierender Funktionen, z.b. Windgeschwindigkeit (Vektor aus 3 Komponenten) Druck Feuchtigkeit Temperatur Für die tägliche Wettervorhersage muss dieses System, in das eine Vielzahl von Messwerten als Startwerte eingehen, mit Hilfe numerischer Verfahren gelöst werden. Hierzu wird ein Gitter durch den Raum, der die Erde umgibt, gelegt. In den Gitterpunkten werden dann Näherungswerte für die Lösungsfunktionen berechnet. Bei dem heute benutzten Wettermodell besteht das Gitter in vertikaler Richtung aus 40 parallelen Kugelschalen. In jeder dieser Kugelschalen haben die Gitterpunkte Abstände, die in Äquatornähe etwa 30 km betragen. Dies ergibt ungefähr 16 Millionen Gitterpunkte des räumlichen Gitters. Ähnlich wie der Raum durch ein Gitter, wird die Zeit in Zeitschritte unterteilt. Für eine 10 Tage Prognose braucht man rund 6500 Zeitschritte. In jedem Zeitschritt wird u.a. ein lineares Gleichungssystem mit 16 Millionen Unbekannten (für den Druck in den räumlichen Gitterpunkten) gelöst. Um regelmäßig aktuelle Vorhersagen machen zu können, stehen für die Lösung dieses Problems nur wenige Stunden zur Verfügung. Deshalb müssen extrem schnelle Lösungsverfahren eingesetzt werden. 2. Klimaprognosen: In Klimaprognosen beträgt ein typischer Vorhersagezeitraum nicht nur 10 Tage wie bei der Wettervorhersage, sondern z.b. 50 oder 100 Jahre. Das Modell für die Simulation der Atmosphäre ist dem der Wettervorhersage sehr ähnlich. Hinzu kommen bei Klimasimulationen aber auch noch detaillierte Modelle zur Simulation der Ozeane. Da erheblich längere Zeiträume zu berechnen sind, 7

8 Große Gleichungssysteme 8 verwendet man bei Klimasimulationen wesentlich gröbere Gitter mit erheblich weniger Gitterpunkten als bei der Wettervorhersage (Abstand zweier Gitterpunkte in Äquatornähe: mehrere 100 km). Trotzdem beträgt die Rechenzeit selbst auf sehr schnellen Rechnern mehrere Monate. Die Vorhersagen über das Klima in den kommenden 100 Jahren schwanken um bis zu etwa 3 o C. Dabei sind die tatsächlichen Fehlerquellen für diese relativ großen Abweichungen bis heute nicht genau bekannt. Zwei mögliche Fehlerquellen sind die großen Abstände zwischen den Gitterpunkten bzw. zu ungenaue physikalische/meteorologische Modelle. 3. Numerischer Windkanal: Hiermit wird ein vollständiger, also dreidimensionaler (3D) Entwurf von Großraumflugzeugen auf Rechnern durchgeführt. Die dabei benötigten 3D-Gitter bestehen heute aus vielen Millionen Gitterpunkten. In jedem Gitterpunkt werden die Werte von 5 unbekannten Funktionen (Geschwindigkeiten in x-, y- und z-richtung, Druck, Energie) berechnet. Weitere Anwendungsbeispiele, bei denen große Gleichungssysteme auftreten, die in möglichst kurzer Zeit mit Hilfe effizienter mathematischer Methoden auf Computern gelöst werden, zeigt Abb. 1. Abbildung 1: Einige weitere Anwendungsfelder, in denen große Gleichungssysteme auftreten, die auf effiziente Art und Weise gelöst werden müssen.

9 Große Gleichungssysteme Fortschritt durch Mathematik und schnelle Rechner bei der Lösung großer Gleichungssysteme Abb. 2 zeigt die Fortschritte, die in den letzten 30 Jahren einerseits durch die Angewandte Mathematik in Form immer effizienterer Algorithmen und andererseits durch die Entwicklung immer schnellerer Rechner erreicht worden sind, an dem durchaus typischen Beispiel der Lösung eines großen Gleichungssystems, das bei der numerischen Behandlung einer Differentialgleichung auftritt, die Wärmeleitung und Diffusion beschreibt, Abbildung 2: Fortschritte durch Mathematik und Rechnerentwicklung in den vergangenen 30 Jahren. Auf der horizontalen Achse ist der allgemein bekannte Fortschritt durch die Rechnerentwicklung aufgetragen. Jeder weiß, dass Rechner in den vergangenen Jahrzehnten um ein Vielfaches (für dieses Anwendungsbeispiel um den Faktor 4000) schneller geworden sind. Kaum bekannt ist hingegen, dass auf der Seite der Mathematik durch neue, schnellere Algorithmen Fortschritte in vergleichbarer Größenordnung erzielt worden sind. Bei dem Beispiel in Abb. 2 dauerte die Lösung des gegebenen Problems auf demselben langsamen Rechner von 1980 im Jahre 2005 nur noch 10 sec statt sec, wenn man die 2005 bekannten schnellen mathematischen Algorithmen einsetzt statt der 1980 gebräuchlichen. Tatsächlich nutzt man heute natürlich nicht nur diese schnellen Algorithmen, sondern auch die heute vorhandenen viel schnelleren Rechner. So führen Fortschritte auf Seiten der Mathematik und der Rechnerentwicklung dazu, dass ein Problem, dessen Lösung 1980 noch etwa sec (das sind rund 55 Stunden) dauerte, im Jahre 2005 in einem Bruchteil einer Sekunde gelöst werden konnte.

10 Große Gleichungssysteme Schnelle und weniger schnelle Verfahren Ziel dieses Abschnitts ist es, einen Eindruck über schnelle und weniger schnelle Verfahren zur Lösung von linearen Gleichungssystemen zu gewinnen, wie sie bei der Diskretisierung partieller Differentialgleichungen auftreten. Wir betrachten als Beispiel die Poissonsche Randwertaufgabe (vgl. Abschnitt 4.4.7), bei der hier zur Bestimmung einer Näherungslösung ein Gitter mit je n Punkten in x- und in y-richtung verwendet wird (vgl. Abschnitt 4.4). Wie wir in Abschnitt sehen werden, ergibt sich für n = 1024 ein lineares Gleichungssystem mit N = (n 1) Unbekannten. Tab. 1 vergleicht die für die Lösung dieses Gleichungssystems benötigte Anzahl an Rechenoperationen und die benötigte Rechenzeit für verschiedene Verfahren auf einem Standard-PC. Sie gibt anschaulich die Leistungssteigerung wieder, die mit Hilfe von neuen Methoden der Numerischen Mathematik erzielt wurde. Verfahren Anzahl der Operationen Rechenzeit Cramersche Regel N! Gaußsches Eliminationsverfahren N 2 14 h für Bandmatrizen Überrelaxationsverfahren, SOR (1960) N min Mehrgitter-Verfahren (1980) N 1 sec Tabelle 1: Rechenzeiten verschiedener Verfahren zur Lösung eines Gleichungssystems mit rund 1 Million Unbekannten, das bei der numerischen Lösung einer einfachen zweidimensionalen Differentialgleichung entsteht. 1.4 Darstellung großer linearer Gleichungssysteme Gegeben sei ein lineares Gleichungssystem mit N Gleichungen und N Unbekannten a 11 x 1 + a 12 x a 1N x N = b 1 a 21 x 1 + a 22 x a 2N x N = b =. a N1 x 1 + a N2 x a NN x N = b N. Wir schreiben dieses Gleichungssystem auch in der Form a 11 a 12 a 1N x 1 a 21 a 22 a 2N x 2... = a N1 a N2 a NN x N b 1 b 2. b N oder ganz kurz Ax = b

11 Große Gleichungssysteme 11 mit der Matrix a 11 a 12 a 1N a 21 a 22 a 2N A =.. und den Vektoren x = x 1 x 2. und b = b 1 b 2.. a N1 a N2 a NN x N b N Beispiel 1.1 Das Gleichungssystem mit N=3 Unbekannten können wir mit auch schreiben als Ax = b A = x 1 + 4x 3 = 3 5x 1 + 2x 2 + x 3 = 1 2x 1 + 4x 2 = 6 oder und b = x 1 x 2 x (1.1) =

12 Kapitel 2 Direkte Verfahren 2.1 Einführung Cramersche Regel und Determinanten Man kann die Lösung eines linearen Gleichungssystems direkt als Formel hinschreiben. Wir werden in diesem Abschnitt sehen, wie diese Formel aussieht. Wir werden allerdings auch sehen, dass diese Formel nur in Ausnahmefällen hilfreich sein wird, weil der Rechenaufwand, den man braucht, um diese Formel auszuwerten, sehr schnell riesengroß wird. Cramersche Regel: Wenn das aus N Gleichungen mit N Unbekannten bestehende lineare Gleichungssystem Ax = b (A ist dann eine N N-Matrix) genau eine Lösung hat, lässt sich diese Lösung wie folgt berechnen: x i = det A i(b) det A. (2.1) Dabei entsteht die Matrix A i (b), indem man in der Matrix A die i-te Spalte durch den Vektor b ersetzt. Hierbei bezeichnet det A die sogenannte Determinante der Matrix A, die oft auch mit A bezeichnet wird, und det A i (b) bezeichnet entsprechend die Determinante der Matrix A i (b). Um mit der Cramerschen Regel die Lösung eines Gleichungssystems berechnen zu können, müssen wir jetzt nur noch wissen, wie sich die Determinanten berechnen lassen. Determinanten für N=1 und N=2: Determinanten sind nur für quadratische Matrizen definiert. Die Determinante einer quadratischen Matrix ist immer eine Zahl. Für N = 1, d.h. für eine 1 1-Matrix A = (a) ist die Determinante gleich dem einzigen Element dieser Matrix: det(a) = a für alle a IR. 12

13 Direkte Verfahren 13 ( ) a b Für eine 2 2-Matrix A = gilt c d ( ) a b det A = A = det = c d a b c d = ad bc Beispiel 2.1 Cramersche Regel an einem Beispiel von 2 Gleichungen mit 2 Unbekannten: Wir betrachten das Gleichungssystem mit A = 5x 1 + 2x 2 = 1 2x 1 + 4x 2 = 6 ( ) und b = Wollen wir die Cramersche Regel zur Lösung dieses ( ) Gleichungssystems ( ) benutzen, so benötigen wir die drei Determinanten det A, det A 1 und A , wie sie zu Beginn dieses 6 Abschnitts eingeführt wurden (vgl. Erläuterung zu (2.1)). Damit erhalten wir ( ) 1 det A x 1 = = det A 5 2 = = = 8 16 = ( ) 1 det A x 2 = = det A 5 2 = = = = ( 1 6 Determinanten für N 3: Die Determinante einer 3 3-Matrix A = ). a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 lässt sich folgendermaßen berechnen: a 11 a 12 a 13 det A = a 21 a 22 a 23 a 31 a 32 a 33 a = a 22 a a 32 a 33 a 12 a 21 a 23 a 31 a 33 + a 13 a 21 a 22 a 31 a 32 = a 11 (a 22 a 33 a 23 a 32 ) a 12 (a 21 a 33 a 23 a 31 ) + a 13 (a 21 a 32 a 22 a 31 ) Hierbei haben wir die Berechnung der Determinante einer 3 3-Matrix auf die Berechnung von mehreren Determinanten von 2 2-Matrizen zurückgeführt. Dies kann man verallgemeinern. Allgemein gilt für N N-Matrizen mit N 2: deta = und deta = N ( 1) i+j a ij det A ij i=1 N ( 1) i+j a ij det A ij j=1 (sogenannte Entwicklung nach der j-ten Spalte, d.h. hier ist j eine beliebige, aber feste Spalte) (sogenannte Entwicklung nach der i-ten Zeile, d.h. hier ist i eine beliebige, aber feste Zeile)

14 Direkte Verfahren 14 wobei A ij die (N 1) (N 1)-Matrix ist, die durch Streichen der i-ten Zeile und der j-ten Spalte aus A entsteht (Laplacescher Entwicklungssatz). Die oben angegebene Berechnung einer 3 3-Matrix entspricht einer Entwicklung nach der ersten Zeile. Beispiel 2.2 Cramersche Regel an einem Beispiel von 3 Gleichungen mit 3 Unbekannten: Wir betrachten das Gleichungssystem aus Beispiel 1.1: mit A = x 1 + 4x 3 = 3 5x 1 + 2x 2 + x 3 = 1 2x 1 + 4x 2 = und b = Nach der Cramerschen Regel benötigen wir für die Lösung dieses Gleichungssystems die 4 Determinanten det A, det A , det A die wir wie folgt berechnen können: det A = = det A = 1 ( ) + 4 ( ) , det A = = = (A 1 1 entsteht wieder aus A, indem wir die erste Spalte von A durch b ersetzen) = = 3 ( ) + 4 ( ) = 3 ( 4) + 4 (4 12) = = 44,

15 Direkte Verfahren 15 3 A = = = 1 ( ) 3 ( ) + 4 ( ) = 1 ( 6) 3 ( 2) + 4 (30 2) = = 112 A = = = 1 ( ) + 3 ( ) = = 56 Als Lösung für unser Gleichungssystem erhalten wir damit A x 1 = = 44 A 60 = A x 2 = = 112 A 60 = A x 3 = = 56 A 60 = An diesem Beispiel deutet sich bereits an, dass der Rechenaufwand für die Cramersche Regel bei Gleichungssystemen mit mehr als zwei Unbekannten recht hoch wird. Noch deutlicher wird dies bei größeren Werten von N. Im folgenden Beispiel berechnen wir (nur zur Abschreckung!) die Determinante einer 4 4-Matrix.

16 Direkte Verfahren 16 Beispiel 2.3 Berechnung der Determinante einer 4 4-Matrix: In diesem Beispiel entwickeln wir alle auftretenden Determinanten nach der ersten Zeile = ( = ) ( ) ( ) ( ) = 1 (4 ( ) 9 ( ) + 16 ( )) 2 (1 ( ) 9 ( ) + 16 ( )) +3 (1 ( ) 4 ( ) + 16 ( )) 4 (1 ( ) 4 ( ) + 9 ( )) = 1 (4 (25 24) 9 (10 28) + 16 (12 35)) 2 (1 (25 24) 9 (5 32) + 16 (6 40)) +3 (1 (10 28) 4 (5 32) + 16 (7 16)) 4 (1 (12 35) 4 (6 40) + 9 (7 16)) = 1 (4 1 9 ( 18) + 16 ( 23)) 2 (1 1 9 ( 27) + 16 ( 34)) + 3 (1 ( 18) 4 ( 27) + 16 ( 9)) 4 (1 ( 23) 4 ( 34) + 9 ( 9)) = ( ) + 3 ( ) 4 ( ) = ( 300) + 3 ( 54) 4 (32) = = 108 Dieses Beispiel zeigt, dass die Berechnung von Determinanten über die Entwicklung nach Zeilen oder Spalten sehr viel Rechenaufwand erfordert, wenn nicht zufällig viele Elemente der Matrix 0 sind. Rechenaufwand für große Werte von N: Berechnet man die Determinanten in der Formel (2.1) zur Bestimmung der Lösung eines linearen Gleichungssystems bei einem

17 Direkte Verfahren 17 Gleichungssystem mit N Unbekannten wie oben angegeben mit dem Laplaceschen Entwicklungssatz, so hat man eine Anzahl von Multiplikationen und Additionen auszuführen, die proportional zu N! = N (N 1) (N 2) (N 3) ist. Damit wächst auch die Rechenzeit proportional zu N!. Schon für N = 50 erhalten wir das ernüchternde Ergebnis, dass die Berechnung der Determinante auf einem schnellen Rechner rund Jahre benötigen würde. So kann die Lösung x jedenfalls nicht gewonnen werden (außer für kleine N wie N = 2 oder N = 3 und in Spezialfällen). Effizientere Berechnung der Determinante einer Matrix: Ist eine Matrix eine rechte obere oder linke untere Dreiecksmatrix, so ist ihre Determinante gleich dem Produkt ihrer Diagonalelemente. Beispiel = = = = 100 Die Determinanten von Dreiecksmatrizen kann man also ganz einfach berechnen. Ferner kann man zeigen: Das Addieren des Vielfachen einer Zeile (oder Spalte) zu einer anderen Zeile (oder Spalte) ändert den Wert der Determinante nicht (wir verzichten hier auf einen Beweis). Dies kann man benutzen, um die Berechnung der Determinante einer allgemeinen Matrix auf die Berechnung der Determinante einer Dreiecksmatrix zurückzuführen. Wir demonstrieren dies am Beispiel der 4 4-Matrix aus Beispiel 2.3. Beispiel 2.5 Addieren wir in das ( 1)-fache der ersten Zeile zur zweiten und dritten Zeile sowie das ( 8)-fache der ersten Zeile zur vierten Zeile, so erhalten wir = Die ersten drei Zeilen der Matrix haben jetzt bereits obere Dreiecksgestalt. Zu bearbeiten bleibt lediglich noch die vierte Zeile. Um das zweite Element der vierten Zeile zu elimi-

18 Direkte Verfahren 18 nieren, addieren wir das (9/2)-fache der zweiten Zeile zur vierten Zeile und erhalten = addieren wir nun noch das ( ) 9 -fache der 3. Zeile zur 4. Zeile, so erhalten wir = = = 108 Offensichtlich ist diese Art der Berechnung der Determinante um ein Vielfaches schneller als die Berechnung mit Hilfe des Laplaceschen Entwicklungssatzes über die Entwicklung nach Unterdeterminanten. Bei die Berechnung der Lösung eines Gleichungssystems mit N Unbekannten sind dann aber immer noch N + 1 Determinanten von N N-Matrizen zu berechnen. Das Gaußsche Eliminationsverfahren, das wir in Abschnitt 2.2 kennenlernen werden, löst ein solches Gleichungssystem mit einem Aufwand, der etwa der Berechnung lediglich einer solchen Determinante entspricht. Die Cramersche Regel spielt daher bei der praktischen Lösung von großen Gleichungssystemen keine Rolle Rundungsfehler Rundungsfehler können bei linearen Gleichungssystemen, wenn man unbedacht vorgeht, manchmal einen katastrophalen Einfluss haben. Man kann das bereits an sehr kleinen Gleichungssystemen mit wenigen Unbekannten beobachten. Beispiel 2.6 Wir betrachten das Gleichungssystem Ax = b mit (A b) = Das Gaußsche Eliminationsverfahren liefert bei 4-stelliger Genauigkeit, d.h. mit dezimalen Gleitkommazahlen, deren Mantisse vierstellig ist, die exakte Lösung x 1 = 1, x 2 = 5, x 3 = 1. Wird die gleiche Rechnung jedoch mit 3-stelligen Gleitkommazahlen durchgeführt, so kommt folgende, völlig unsinnige Lösung heraus: x 1 = 3.53, x 2 = 0, x 3 = 1. Mit geeigneten Varianten des Gaußschen Eliminationsverfahrens kann man derartige Katastrophen verhindern, und daran ist man in der Praxis natürlich interessiert.

19 Direkte Verfahren 19 Wir werden hier keine derartigen problematischen Gleichungssysteme betrachten. Trotzdem ist es interessant zu wissen, wann dieses Problem auftreten kann. Bei zwei Gleichungen mit zwei Unbekannten beschreibt jede Gleichung eine Gerade. Sind diese Geraden nahezu parallel, dann können winzige Änderungen in den Koeffizienten der Geradengleichung (oder entsprechend im gegebenen Gleichungssystem) dazu führen, dass sich der Schnittpunkt der Geraden (d.h. die Lösung des Gleichungssystems) erheblich verschiebt. Auch bei der zeichnerischen Lösung wird in derartigen Fällen die genaue Bestimmung des Schnittpunktes zweier Geraden problematisch. Analog ist es im dreidimensionalen Fall kritisch, wenn die Ebenen, die durch die Gleichungen beschrieben werden, fast parallel sind, oder wenn die Schnittgeraden von je zwei Ebenen nahezu parallel sind. 2.2 Idee des Gaußschen Eliminationsverfahrens Gegeben sei das lineare Gleichungssystem mit A = a 11 a 1N... a N1 a NN Ax = b (2.2), b = b 1. b N. Ferner nehmen wir an, dass das Gleichungssystem genau eine Lösung hat Zielsystem: Matrix in Dreiecksgestalt Die Grundidee des Gaußschen Eliminationsverfahrens ist, das obige Gleichungssystem so umzuformen, dass die Lösungsgesamtheit unverändert bleibt (äquivalente Umformung) und das Zielsystem die folgende Gestalt hat r 11 x 1 + r 12 x r 1N x N = y 1 0 r 22 x r 2N x N = y r 33 x r 3N x N = y = r NN x N = y N, (2.3) also ein Dreiecksschema ist. Man kann dies auch in Matrixform als Rx = y mit einer oberen Dreiecksmatrix r 11 r r 1N x 1 y 1 0 r r 2N R = und x = x 2., y = y r NN x N y N

20 Direkte Verfahren 20 schreiben. Das Gleichungssystem Rx = y ist dann leicht zu lösen. Dabei setzen wir voraus, dass alle Zahlen in der Hauptdiagonalen der Matrix von Null verschieden sind. Wir beginnen mit der letzten Zeile und bestimmen x N. Diesen Wert setzen wir nun in die vorletzte Zeile ein und können dann leicht x N 1 ermitteln usw. Im letzten Auflösungsschritt berechnen wir, da wir alle Werte x N, x N 1,..., x 2 bereits kennen, den Wert von x 1. Damit sind alle Lösungswerte bekannt. Dieses Vorgehen können wir folgendermaßen notieren: x N = 1 r NN y N x N 1 = 1 r N 1,N 1 (y N 1 r N 1,N x N ) x N 2 = 1 r N 2,N 2 (y N 2 r N 2,N 1 x N 1 r N 2,N x N ). x 1 = 1 r 11 (y 1 r 12 x 2 r 13 x 3... r 1N x N ). Dies können wir auch kompakt schreiben als x i = 1 r ii ( y i N j=i+1 r ij x j ), i = N, N 1,..., 1. (2.4) Man beachte, dass der Summenausdruck in Gleichung (2.4) den Wert 0 hat, wenn das Summationsintervall leer ist, d.h. wenn i + 1 > N ist (tritt hier bei i = N ein.) Man beachte ferner, dass die Rekursion (2.4) beim größten Indexwert (i = N) beginnt und beim kleinsten (i = 1) endet. Sie läuft also rückwärts, gegen die natürliche Reihenfolge der natürlichen Zahlen. Wir nennen den obigen Prozess Rückwärtseinsetzen (engl. back substitution ) Der erste Eliminationsschritt Um das zu lösende Gleichungssystem (2.2) auf die gewünschte Dreiecksform (2.3) zu bringen, ohne die Lösungsmenge zu ändern, lösen wir die erste Gleichung nach x 1 auf und setzen diesen Ausdruck in die anderen Gleichungen ein. Hierbei haben wir vorausgesetzt, dass a 11 0 ist. (Genau dasselbe tun wir übrigens, wenn wir das a i1 /a 11 fache der ersten Zeile zur i-ten Zeile addieren.) Allgemein erhalten wir so a (1) ij = a ij a i1 a 11 a 1j (j = 2,..., N) a (1) i1 = 0 b (1) i = b i a i1 b 1. a 11 Damit haben wir die Unbekannte x 1 aus allen außer der ersten Gleichung eliminiert und erhalten das GLS A (1) x = b (1) : a 11 a 12 a 13 a 1N 0 a (1) 22 a (1) 23 a (1) 2N 0 a (1) 32 a (1) 33 a (1) 3N a (1) N2 a (1) N3 a (1) NN x = b 1 b (1) 2 b (1) 3. b (1) N

21 Direkte Verfahren Fortführung des Verfahrens Das weitere Eliminationsverfahren läuft entsprechend ab: Die für Ax = b beschriebene Idee wird jetzt sinngemäß auf (A (1) x (1) = b (1) ) angewendet, genauer: auf das Teilsystem (Restsystem) a (1) 22 a (1) 23 a (1) 2N a (1) 32 a (1) 33 a (1) 3N... a (1) N2 a (1) N3 a (1) NN x (1) 2 x (1) 3. x (1) N = b (1) 2 b (1) 3. b (1) N. Unter der Voraussetzung, dass a (1) 22 0 ist, werden jetzt die Elemente unterhalb von a (1) 22 zu Null transformiert. Insgesamt setzt sich das Gaußsche Eliminationsverfahren aus N 1 Eliminationsschritten zusammen, durch welche ausgehend von Ax = b sukzessive die Spalten der Matrix unterhalb des Diagonalelements zu 0 gemacht (eliminiert) werden. Das Endsystem hat dann die gewünschte Dreiecksgestalt. Dieses Verfahren geht theoretisch solange gut, wie die Elemente a (k 1) kk (k = 1,..., N 1) von Null verschieden bleiben, da ja jedesmal durch sie geteilt wird. Sollte im Verlauf dieses Eliminationsprozesses ein solches Diagonalelement Null werden, so können wir die Reihenfolge der Gleichungen noch vertauschen. Beispiel 2.7 Wir betrachten das lineare Gleichungssystem mit A = 5x 1 + 2x 2 + x 3 = 1 2x 1 + 4x 2 + 2x 3 = 6 x 1 + x 2 + 4x 3 = und b = Führen wir den Eliminationsprozess so durch, wie wir ihn oben beschrieben haben, so erhalten wir nach der Elimination der Unbekannten x 1 aus der zweiten und dritten Gleichung das Gleichungssystem /5 8/5 0 3/5 19/5 x = 1 28/5 14/5 Nach dem zweiten Eliminationsschritt haben wir entsprechend das Gleichungssystem /5 8/5 x = 28/ /2 7/4 Damit haben wir das angestrebte Zielschema erhalten und können es nun durch Rückwärtseinsetzen auflösen. Wir erhalten x 3 = 7/4 7/2 = 1 2 x 2 = 28/5 8/5 1/2 16/5 = = x 1 = 1 1/2 2 3/2 5 = 5/2 5 = 1 2..

22 Direkte Verfahren Nachteile des Gaußschen Eliminationsverfahrens Das Gaußsche Eliminationsverfahren ist ein direktes Verfahren, das i.a. verwendet wird, falls A eine vollbesetzte Matrix ist. Bei vollbesetzten Matrizen wächst der Rechenaufwand des Gaußschen Eliminationsverfahrens im Wesentlichen mit der dritten Potenz der Anzahl der Unbekannten (Schreibweise: W = O(N 3 )). In der Praxis treten sehr häufig Matrizen auf, bei denen nur wenige Diagonalen von 0 verschieden sind (Bandmatrizen). Die bei der Diskretisierung der Poisson-Gleichung entstehenden GLS etwa haben eine solche Struktur. Hier reduziert sich der Aufwand des Gaußschen Eliminationsverfahren auf N 2. Aber auch dies ist immer noch viel zu hoch für viele Anwendungen aus der Praxis.

23 Kapitel 3 Iterative Lösung von linearen Gleichungssystemen 3.1 Jacobi-Verfahren und Gauss-Seidel-Verfahren In der Praxis hat A häufig eine spezielle Struktur und/oder ist schwach besetzt (engl. sparse), d.h. die meisten Elemente von A sind 0. N ist eventuell sehr groß, z.b Dies bedeutet, dass man Gleichungssysteme mit einer Million von Unbekannten (oder mehr) zu lösen hat. In solchen Fällen sind iterative Lösungsverfahren eine interessante Alternative. Bei ihnen startet man mit irgendeiner Startnäherung für die Unbekannten (im Zweifelsfall nimmt man an, dass alle Unbekannten 0 sind) und reduziert den Fehler sukzessiv durch eine geeignete Iterationsvorschrift. Wir werden im nächsten Abschnitt zwei einfache iterative Verfahren kennenlernen Explizite Formeln für Jacobi- und Gauss-Seidel-Verfahren Beispiel 3.1 Für N = 3 betrachten wir das Gleichungssystem a 11 a 12 a 13 x 1 b 1 a 21 a 22 a 23 x 2 = b 2 a 31 a 32 a 33 x 3 b 3 Unter der Voraussetzung, dass a ii 0 (i = 1, 2, 3), können wir jeweils die i-te Gleichung nach x i auflösen und erhalten x 1 = 1 a 11 (b 1 a 12 x 2 a 13 x 3 ) x 2 = 1 a 22 (b 2 a 21 x 1 a 23 x 3 ) (3.1) x 3 = 1 a 33 (b 3 a 31 x 1 a 32 x 2 ). 23

24 Iterative Lösung von linearen Gleichungssystemen 24 Wenn eine Startnäherung x (0) = x (0) 1 x (0) 2 x (0) 3 gegeben ist, können wir diese in die rechte Seite von (3.1) einsetzen und so gemäß eine neue Näherung x (1) 1 = 1 a 11 (b 1 a 12 x (0) 2 a 13 x (0) 3 ) x (1) 2 = 1 a 22 (b 2 a 21 x (0) 1 a 23 x (0) 3 ) (3.2) x (1) 3 = 1 a 33 (b 3 a 31 x (0) 1 a 32 x (0) 2 ), x (1) = berechnen. Dies ist der erste Schritt des Jacobi-Verfahren (JAC), das auch als Gesamtschrittverfahren bezeichnet wird. Werden in der Iterationsvorschrift (3.2) auf der rechten Seite nicht nur Werte x (0) k, sondern - soweit verfügbar - die neuen, bereits berechneten Werte x (1) k eingesetzt, erhält man den ersten Iterationsschritt des Gauss-Seidel-Verfahrens (GS), das auch unter dem Namen Einzelschrittverfahren bekannt ist: x (1) 1 = 1 (b 1 a 12 x (0) 2 a 13 x (0) 3 ) a 11 x (1) 1 x (1) 2 x (1) 3 x (1) 2 = 1 a 22 (b 2 a 21 x (1) 1 a 23 x (0) 3 ) (3.3) x (1) 3 = 1 a 33 (b 3 a 31 x (1) 1 a 32 x (1) 2 ). Für allgemeines N (genauer: für Ax = b mit A IR N,N, a ii 0, (i = 1,..., N)) lautet die Iterationsvorschrift von JAC: ( ) N x (n+1) i = 1 a ii b i a ik x (n) k (i = 1,..., N). (3.4) k=1, k i Dabei sind die x (0) k (k = 1,..., N) Startnäherungen (z.b. alle 0) und n = 0, 1, 2,... bezeichnet den Iterationsindex. Werden in der Iterationsvorschrift (3.4) auf der rechten Seite nicht nur Werte x (n) k, sondern - soweit verfügbar - die neuen, bereits berechneten Werte x (n+1) k eingesetzt, erhält man GS: ( ) x (n+1) i = 1 a ii i 1 b i k=1 a ik x (n+1) k N a ik x (n) k=i+1 k (i = 1,..., N). (3.5)

25 Iterative Lösung von linearen Gleichungssystemen Zwei konkrete Beispiele Wir betrachten zunächst das GLS 10x 1 + x 2 = 1 x x 2 = 10 mit der exakten Lösung x 1 = 0 und x 2 = 1. Wir beginnen mit der Startnäherung x (0) 1 = x (0) 2 = 0. Die Iterationsvorschrift für JAC lautet und wir können daraus leicht berechnen x (n+1) 1 = 1 x(n) 2 10 x (n+1) 10 x(n) 1 2 = 10, Für GS haben wir die Iterationsvorschrift (x (0) 1, x (0) 2 ) = (0, 0) (x (1) 1, x (1) 2 ) = (0.1, 0) (x (2) 1, x (2) 2 ) = (0, 0.99) (x (3) 1, x (3) 2 ) = (10 3, 0) (x (4) 1, x (4) 2 ) = (0, ) (x (5) 1, x (5) 2 ) = (10 5, 1). und wir erhalten daraus 1 = 1 x(n) 2 10 x (n+1) x (n+1) 2 = 10 x(n+1) 1 10, (x (0) 1, x (0) 2 ) = (0, 0) (x (1) 1, x (1) 2 ) = (0.1, 0.99) (x (2) 1, x (2) 2 ) = (10 3, ) (x (3) 1, x (3) 2 ) = (10 5, ). Beide Verfahren konvergieren offenbar gegen die richtige Lösung x 1 = 0 und x 2 = 1, wobei in diesem Fall GS schneller als JAC zu sein scheint. Als zweites Beispiel betrachten wir das Gleichungssystem x =

26 Iterative Lösung von linearen Gleichungssystemen 26 In diesem Beispiel berechnet sich dann etwa x (n+1) zu und man erhält hieraus x (n+1) 1 = (4 x (n) x (n) 3 + }{{} 2 )/ }{{} 10 b 1 a 11 x (n+1) 2 = (4 x (n) x (n) 3 + }{{} 3 )/ }{{} 10 b 2 a 22 x (n+1) 3 = (6 x (n) x (n) 2 + }{{} 1 )/ }{{} 12 b 3 x (0) = x (2) = x (1) = x (3) = a 33,. Bei GS ist im Unterschied zu JAC wie oben beschrieben immer mit den neuesten verfügbaren Näherungen zu rechnen: x (n+1) 1 = (4 x (n) x (n) 3 + }{{} 2 )/ }{{} 10 b 1 a 11 x (n+1) 2 = (4 x (n+1) x (n) 3 + }{{} 3 )/ }{{} 10 b 2 x (n+1) 3 = (6 x (n+1) x (n+1) 2 + }{{} 1 )/ }{{} 12 b 3 a 22 a 33. Wir finden x (0) = x (2) = x (1) = x (3) = Die exakte Lösung dieses GLS beträgt auf zwei Stellen gerundet x 1 = 0.60, x 2 = 0.74 und x 3 = Nach drei Iterationsschrittenen sind wir zwar näher an die exakte Lösung herangekommen, aber wir brauchen sicherlich noch weitere Schritte, um eine gute Genauigkeit zu erzielen. 3.2 Das SOR-Verfahren Das SOR (Successive OverRelaxation) Verfahren erhält man aus GS durch eine kleine, aber außerordentlich wirkungsvolle Verallgemeinerung, indem man die Korrektur, die ein

27 Iterative Lösung von linearen Gleichungssystemen 27 Iterationsschritt von GS liefert, mit einem geeigneten Faktor ω multipliziert. Dazu wird die Iterationsvorschrift (3.5) von GS als ein erster Zwischenschritt betrachtet, der die Größe x (n) i liefert. ( ) i 1 N x (n) i = 1 a ii b i a ik x (n+1) k a ik x (n) k (i = 1,..., N). (3.6) k=1 Im SOR-Verfahren erhält man jetzt x (n+1) i x (n+1) i = x (n) i k=i+1 durch + ω( x (n) i x (n) i ). (3.7) Dabei ist ω ein Parameter, der problemangepaßt gewählt wird. Für ω > 1 (Überrelaxation) verstärkt man die Korrektur x (n+1) i x (n) i von x (n) i die der entsprechende Iterationsschritt von GS liefern würde, für ω < 1 (Unterrelaxation) schwächt man sie ab. Für ω = 1 erhält man wieder GS. 3.3 Zur Konvergenz iterativer Verfahren Zur Konvergenz des Jacobi-Verfahrens, starkes Zeilensummenkriterium Gegeben sei ein GLS Ax = b mit einer Matrix A, die aus den Elementen a ij besteht (i, j = 1,..., N). Die Bedingung N a ik < a ii (i = 1,..., N). k = 1 k i heißt starkes Zeilensummenkriterium. (Wenn diese Bedingung erfüllt ist, d.h. wenn in jeder Zeile i = 1,..., N der Betrag des Diagonalelementes a ii größer als die Summe der Beträge der Nichtdiagonalelemente ist, sagt man auch, die Matrix A ist stark diagonaldominant.) Man kann zeigen: Ist für eine Matrix A das starke Zeilensummenkriterium erfüllt (d.h. überwiegt in der Matrix A die Hauptdiagonale in obigem Sinn), dann konvergiert das Jacobi-Verfahren gegen die eindeutig bestimmte Lösung von Ax = b. Jeder Iterationsschritt des Jacobi-Verfahrens reduziert dann den Fehler mindestens um den Faktor N k = 1 k i a ii a ik Ein Beispiel Für die Matrix A =

28 Iterative Lösung von linearen Gleichungssystemen 28 (vgl. Beispiel in Abschnitt 3.1.2) ist das starke Zeilensummenkriterium erfüllt, denn < 10, < 10, < 12. Nach der Aussage im letzten Abschnitt konvergiert also das Jacobi-Verfahren für jedes GLS Ax = b mit dieser Matrix A. Jeder Iterationsschritt reduziert den Fehler dann mindestens um den Faktor { 4 max , , } = = 0.8 < Zusammenhang zum Gauss-Seidel-Verfahren Bemerkung 3.1 Man kann beweisen, dass die Konvergenz von GS aus der Konvergenz von JAC folgt, wenn das starke Zeilensummenkriterium erfüllt ist. Das starke Zeilensummenkriterium ist also auch hinreichend für die Konvergenz von GS. Es sei jedoch hier bemerkt, dass es Fälle gibt, in denen JAC konvergiert, nicht aber GS, und umgekehrt.

29 Kapitel 4 Ableitungen, Differentialgleichungen, Randwertaufgaben 4.1 Ableitung einer Funktion Gegeben sei eine Funktion u(x), die für alle reellen Werte x definiert sei. Ferner lasse sich im Punkt x 0 eindeutig eine Tangente an u legen (dies wird im folgenden allgemein vorausgesetzt!). Dann definieren wir die Ableitung der Funktion u in einem Punkt x 0 als die Steigung m der Tangente von u im Punkt x 0 und bezeichnen die Ableitung mit u (x 0 ). y y=u(x) x 0 x Abbildung 1: Tangente im Punkte x 0 an eine Funktion u(x) 29

30 Ableitungen, DGLs, RWAs 30 Beispiele: 1. Die Gerade u(x) = mx + b ist in jedem Punkt ihre eigene Tangente. Sie hat die Steigung m. Damit gilt für die Ableitung der Geraden in jedem Punkt x: u (x) = m. 2. Die konstante Funktion u(x) = b ist eine spezielle Funktion mit der Steigung m = 0. Folglich gilt für sie in jedem Punkt u (x) = 0. Existiert die Ableitung z.b. in jedem Punkt, kann man u wieder als Funktion von x begreifen und die Ableitung der Ableitung (d.h. die zweite Ableitung von u) bestimmen. Offenbar ist für jede lineare Funktion u(x) = mx + b die zweite Ableitung identisch gleich 0, da die erste Ableitung eine Konstante ist, d.h. u (x) = Berechnung von Ableitungen, Differenzenquotienten Will man die Ableitung einer allgemeineren Funktion im Punkt x 0 berechnen, so kann man die Steigung der Tangente approximieren, indem man die Steigung der Sekante durch die Punkte (x 0, u(x 0 )) und (x 0 + h, u(x 0 + h)) berechnet und dann h gegen 0 streben lässt (vgl. Abb. 2). Das heißt: u (x 0 ) = lim h 0 u(x 0 + h) u(x 0 ) h. (4.1) y y=u(x) u(x +h) 0 u(x +h) 0 u(x ) 0 u(x ) 0 h x 0 x +h 0 x Abbildung 2: Tangente und Sekante einer Funktion Tatsächlich kann man auch dies als die Ableitung der Funktion u im Punkt x 0 definieren, sofern der Grenzwert existiert und eindeutig ist.

31 Ableitungen, DGLs, RWAs 31 Ganz analog kann man auch die Sekante durch die Punkte (x 0, u(x 0 )) und (x 0 h, u(x 0 h)) verwenden und erhält dann: u (x 0 ) = lim h 0 u(x 0 ) u(x 0 h) h. (4.2) Die Ausdrücke u(x 0 + h) u(x 0 ) u(x 0 ) u(x 0 h) und h h werden auch als (rechtsseitiger und linksseitiger) Differenzenquotient bezeichnet Beispiele für Ableitungen von Funktionen Beispiel 4.1 Die Funktion u(x) = x hat für x = 0 keine eindeutig bestimmte Tangente. Daher gilt für ihre Ableitung 1 für x < 0 u (x) = +1 für x < 0. nicht definiert für x = 0 Beispiel 4.2 Die Ableitung der Funktion u(x) = x n berechnen wir als u (x) = u(x + h) u(x) lim h 0 h = (x + h) n x n lim h 0 h x n + nhx n 1 + n(n 1) h 2 x n n(n 1) h n 2 x 2 + nh n 1 x + h n x n 2 2 = lim h 0 h nhx n 1 + n(n 1) h 2 x n n(n 1) h n 2 x 2 + nh n 1 x + h n 2 2 = lim h 0 = lim(nx n 1 + h 0 = nx n 1. h n(n 1) hx n n(n 1) h n 3 x 2 + nh n 2 x + h n 1 ) 2 Beispiel 4.3 Ohne Beweis vermerken wir, dass die Ableitungen der Funktionen sin(x), cos(x) und e x gegeben sind durch (sin x) = cos(x) (cos x) = sin(x) (e x ) = e x Damit gilt für die zweiten Ableitungen dieser Funktionen (sin x) = sin(x) (cos x) = cos(x) (e x ) = e x

32 Ableitungen, DGLs, RWAs Einfache Rechenregeln für Ableitungen Seien u(x) und v(x) zwei Funktionen von x, deren Ableitungen im Punkte x 0 existieren. Dann gilt Beispiele: (u(x) + v(x)) = u (x) + v (x) (cu(x)) = cu (x) c = const. IR (u(x)v(x)) = u (x)v(x) + u(x)v (x). (7x 3 ) = 7(x 3 ) = 7 3x 2 = 21x 2 (5x 2 + 7x 3 ) = (5x 2 ) + (7x 3 ) = 5(x 2 ) + 21x 2 = 10x + 21x 2 (x 2 sin x) = (x 2 ) sin x + x 2 (sin x) = 2x sin x + x 2 cos x 4.2 Gewöhnliche Differentialgleichungen Als gewöhnliche Differentialgleichung (DGL) n-ter Ordnung bezeichnen wir eine Gleichung, in der die n-te Ableitung der Funktion u(x) vorkommt. Ferner können in dieser Gleichung auch u(x) und niedrigere Ableitungen von u(x) sowie weitere x-und u-abhängige Terme vorkommen. Einige einfache Beispiele für Differentialgleichungen sind: 1. u (x) = 0 Lösungen dieser DGL sind alle konstanten Funktionen; denn die Steigung (Ableitung) jeder konstanten Funktion ist u (x) = x Lösungen dieser DGL sind die Funktionen u(x) = 1 2 x2 + c mit einer Konstanten c; denn leitet man diese Funktionen ab, so erhält man u (x) = x. 3. u (x) = cos(x) Lösungen dieser DGL sind die Funktionen u(x) = sin(x) + c mit einer Konstanten c. Auch dies kann man durch Ableiten überprüfen. 4. u (x) = u(x) Lösungen dieser DGL sind die Funktionen u(x) = a sin(x) + b cos(x). Auch dies überprüft man leicht durch Ableiten dieser Funktionen. 5. u (x) + u (x) u (x) u 2 (x) = r(x) mit einer gegebenen Funktion r(x). Offenbar sind in den ersten 4 Beispielen die Lösungen der Differentialgleichungen nicht eindeutig bestimmt. Dies ist typisch. Um eindeutige Lösungen erhalten zu können, ist in der Regel die Angabe einer oder mehrerer zusätzlicher Bedingungen erforderlich.

33 Ableitungen, DGLs, RWAs Funktionen mehrerer Veränderlicher, partielle Ableitungen, partielle Differentialgleichungen Wir betrachten jetzt eine Funktion u, die von zwei Variablen x und y abhängt. Dann können wir die sogenannten partiellen Ableitungen von u nach x bzw. von u nach y untersuchen. Betrachtet man die Ableitung von u(x, y) nach x, nimmt man y als konstanten Parameter an und kann dann die Ableitung bezüglich der Variablen x wie gehabt berechnen. Bezüglich der Variablen y verfährt man genauso. Wir nehmen dabei hier und im folgenden jeweils an, dass die Ableitungen existieren. Beispiele: 1. u(x, y) = x Dann gilt 2. u(x, y) = xy 2 Dann ist u x (x, y) = 1 u y (x, y) = 0 u x (x, y) = y 2 u y (x, y) = 2xy und für die zweiten partiellen Ableitungen nach x und y gilt u xx (x, y) = 0 u yy (x, y) = 2x. Als partielle Differentialgleichungen bezeichnet man eine Gleichung, in der partielle Ableitungen einer Funktion mehrerer Veränderlicher vorkommen. Beispiele: 1. Für eine Funktion u(x, y) betrachten wir die partielle DGL u x (x, y) = 0. Offensichtlich erfüllt jede Funktion u(x, y) = f(y) diese partielle DGL. 2. Die partielle DGL u xx + u yy = 0 wird z.b. erfüllt von den Funktionen u(x, y) = const. u(x, y) = αx + βy (α, β IR) u(x, y) = α sin(x) e y + β cos(x) e y und vielen weiteren.

34 Ableitungen, DGLs, RWAs Mögliche Lösungen der partiellen DGL u xx + u yy = 6xy sind u.a. die Funktionen u(x, y) = x 3 y u(x, y) = xy 3 u(x, y) = αx 3 y + (1 α)xy 3 + βu hom (α, β IR), wobei u hom (x, y) eine Lösung der Gleichung (u hom ) xx + (u hom ) yy = 0 ist. Dies kann man durch einfaches Nachrechnen verifizieren. Auch in diesen Beispielen ist die Lösung der DGL offenbar nicht eindeutig bestimmt. Partielle Differentialgleichungen können ganz unterschiedliche Eigenschaften haben. Man unterscheidet elliptische, parabolische und hyperbolische Differentialgleichungen. Wir verzichten an dieser Stelle darauf, ein auch nur halbwegs vollständige Einführung in die Theorie und numerische Behandlung partieller Differentialgleichungen zu geben. Wir betrachten stattdessen in den folgenden Abschnitten exemplarisch zwei sogenannte Randwertaufgaben, deren Lösung unter geeigneten (natürlichen) Voraussetzungen auf die wir hier nicht näher eingehen existiert und eindeutig ist. Bei diesen Randwertaufgaben sind zusätzlich zu den DGLs vorgegebene Randbedingungen zu erfüllen. 4.4 Diskretisierung (gewöhnlicher und partieller) Randwertaufgaben mit Differenzenverfahren In diesem Abschnitt stellen wir je eine gewöhnliche und eine partielle Randwertaufgabe vor und diskutieren, wie sich ihre Lösungen näherungsweise numerisch berechnen lassen. Das erste Beispiel ist eine sehr einfache gewöhnliche Randwertaufgabe (RWA). Wir beschreiben den einfachsten numerischen Lösungsansatz, der auf ein lineares Gleichungssystem mit einer tridiagonalen Matrix führt. Das zweite Beispiel ist eine ebenfalls einfache, aber fundamental wichtige partielle Randwertaufgabe. Ihre effiziente numerische Behandlung ist nicht trivial. Einfache iterative Lösungsverfahren, wie sie in den vorangegangenen Abschnitten beschrieben wurden, können jedoch sehr einfach zur Lösung des bei der Diskretisierung entstehenden linearen Gleichungssystems eingesetzt werden Eine gewöhnliche Randwertaufgabe 2. Ordnung Wir betrachten zunächst die gewöhnliche Differentialgleichung u (x) = f(x) (x [0, 1]) (4.3)