Skip to main content
SpringerLink
Log in

Neuronale Netze

  • Chapter
  • First Online:
Grundkurs Künstliche Intelligenz

Part of the book series: Computational Intelligence ((CI))

Zusammenfassung

Nach etwa 30 Jahren Forschung an neuronalen Netzen ist mit Deep Learning der Durchbruch gelungen. Mit dem Ziel, die wichtigsten Ideen hinter Deep Learning zu verstehen, starten wir bei biologischen neuronalen Netzen und dem Hopfield Modell. Dann führen wir den bis heute fundamentalen Backpropagation Algorithmus ein um schließlich Deep Learning und dessen Anwendungen darzustellen.

This is a preview of subscription content, log in via an institution to check access.

Access this chapter

Log in via an institution
Chapter
USD 29.95
Price excludes VAT (USA)
  • Available as PDF
  • Read on any device
  • Instant download
  • Own it forever
eBook
USD 29.99
Price excludes VAT (USA)
  • Available as EPUB and PDF
  • Read on any device
  • Instant download
  • Own it forever
Softcover Book
USD 37.99
Price excludes VAT (USA)
  • Compact, lightweight edition
  • Dispatched in 3 to 5 business days
  • Free shipping worldwide - see info

Tax calculation will be finalised at checkout

Purchases are for personal use only

Institutional subscriptions

Notes

  1. 1.

    Die Bionik beschäftigt sich mit der Entschlüsselung von „Erfindungen der belebten Natur“ und ihrer innovativen Umsetzung in der Technik (s. Wikipedia).

  2. 2.

    Auch der Autor wurde von dieser Welle erfasst, die ihn 1987 von der Physik in die KI führte.

  3. 3.

    Für eine deutliche Unterscheidung zwischen Trainingsdaten und anderen Werten eines Neurons werden wir im Folgenden die Anfragevektoren immer mit \({\boldsymbol{q}}\) (von engl. query) und die gewünschten Antwortvektoren mit \({\boldsymbol{t}}\) (von engl. target) bezeichnen.

  4. 4.

    Historisch wurde Backpropagation mit der Sigmoidfunktion implementiert. Mittlerweile haben sich jedoch andere Funktionen als besser bewährt (siehe Abschn. 9.5.3).

  5. 5.

    Der Begriff „tief“ ist hier zu verstehen im Sinne von tiefem Eindringen in das Netzwerk.

  6. 6.

    Anschauliche Darstellungen solcher Merkmale inklusive Erklärung finden sich auf http://mlss.tuebingen.mpg.de/2015/slides/fergus/Fergus_1.pdf.

  7. 7.

    Im Fall eines Grauwertbilds.

  8. 8.

    Mehr dazu auf https://www.math.ias.edu/tml/dlasagenda

  9. 9.

    Will man Kanten von Weiss nach Schwarz in gleicher Weise erkennen, dann muss man nach Anwendung von K den Absolutbetrag des Ergebnisses nehmen.

  10. 10.

    Dokumentation mit vielen Beispielen auf https://keras.io

  11. 11.

    Ein Beispiel mit Bilddaten in JPG-Dateien findet sich in Aufgabe 9.14.

  12. 12.

    Im Backpropagation-Algorithmus aus Abschn. 9.5 sind dies die Werte \(\delta ^{(p)}_j\).

  13. 13.

    openai.com

  14. 14.

    https://kirkouimet.medium.com/my-mind-blowing-conversations-openais-latest-ai-gpt-3-235ba5fb9453

  15. 15.

    Die Support-Vektor-Maschinen sind keine neuronalen Netze. Aufgrund der historischen Entwicklung und ihrer mathematischen Verwandtschaft zu linearen Netzen ist es didaktisch sinnvoller, sie hier zu behandeln.

Literatur

  1. Anderson, J.; Rosenfeld, E.: Neurocomputing: Foundations of Research. Cambridge, MA : MIT Press, 1988. – Sammlung von Originalarbeiten

    Google Scholar 

  2. Hopfield, J.J.: Neural networks and physical systems with emergent collective computational abilities. In: Proc. Natl. Acad. Sci. USA 79 (1982), April, S. 2554–2558. – Wiederabdruck in [AR88] S. 460-464

    Google Scholar 

  3. Ritter, H.; Martinez, T.; Schulten, K.: Neuronale Netze.Addison Wesley, 1991

    Google Scholar 

  4. Rojas, R.: Theorie der neuronalen Netze. Springer, 1993

    Google Scholar 

  5. Hopfield, J.J.; Tank, D.W.: “Neural” Computation of Decisions in Optimization Problems. In: Biological Cybernetics (1985), Nr. 52, S. 141–152. –Springer

    Google Scholar 

  6. Zell, A.: Simulation Neuronaler Netze. Addison Wesley, 1994. – Im Buch beschriebener Simulator SNNS, bzw. JNNS: www-ra.informatik.uni-tuebingen.de/SNNS

  7. Kohonen, T.: Correlation matrix memories. In: IEEE Transactions on Computers (1972), Nr. C-21, S. 353–359. –Wiederabdruck in [AR88] S. 171-174

    Google Scholar 

  8. Palm, G.: On Associative Memory. In: Biological Cybernetics 36 (1980), S. 19-31

    Google Scholar 

  9. Palm, G.: Memory capacities of local rules for synaptic modification. In: Concepts in Neuroscience 2 (1991), Nr. 1, S. 97–128. – MPI Tübingen

    Google Scholar 

  10. Bentz, Hans J.: Ein Gehirn für den PC. In: c’t (1988), Nr. 10, S. 84-96

    Google Scholar 

  11. Hertz, J.; Krogh, A.; Palmer, R.: Introduction to the theory of neural computation.Addison Wesley, 1991

    Google Scholar 

  12. Bishop, C.M.: Pattern recognition and machine learning. Springer New York:, 2006

    Google Scholar 

  13. Rumelhart, D.E.; Hinton, G.E.; R.J., Williams: Learning Internal Representations by Error Propagation.in [RM86], 1986

    Google Scholar 

  14. Rumelhart, D.; McClelland, J.: Parallel Distributed Processing. Bd. 1. MIT Press, 1986

    Google Scholar 

  15. Sejnowski, T.J.; Rosenberg, C.R.: NETtalk: a parallel network that learns to read aloud / John Hopkins University. 1986 (JHU/EECS-86/01). – Forschungsbericht. –Wiederabdruck in [AR88] S. 661-672

    Google Scholar 

  16. Ertel, W.; Schumann, J.; Suttner, Ch.: Learning Heuristics for a Theorem Prover using Back Propagation. In: Retti, J. (Hrsg.) ; Leidlmair, K. (Hrsg.): 5. Österreichische Artificial-Intelligence-Tagung.Berlin, Heidelberg : Informatik-Fachberichte 208, Springer-Verlag, 1989, S. 87-95

    Google Scholar 

  17. Suttner, Ch.; Ertel, W.: Automatic Acquisition of Search Guiding Heuristics. In: 10th Int. Conf. on Automated Deduction, Springer-Verlag, LNAI 449, 1990, S. 470-484

    Google Scholar 

  18. Riedmiller, M.; Braun, H.: A direct adaptive method for faster backpropagation learning: The RPROP algorithm. In: Proceedings of the IEEE International Conference on Neural Networks, 1993, S. 586-591

    Google Scholar 

  19. Ertel, W.: Advanced Mathematics for Engineers.Vorlesungsskript Hochschule Ravensburg-Weingarten: http://www.hs-weingarten.de/~ertel/vorlesungen/mae/matheng-skript.pdf, 2015

  20. LeCun, Y.; Bengio, Y.; Hinton, G.: Deep Learning.In: Nature 521 (2015), Nr. 7553, S. 436-444

    Google Scholar 

  21. Goodfellow, I.; Bengio, Y.; Courville, A.: Deep Learning. MIT Press, 2016. –http://www.deeplearningbook.org

  22. Vincent, P.; Larochelle, H.; Lajoie, I.; Bengio, Y.; Manzagol, P.:Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion. In: J. Mach. Learn. Res. 11 (2010), S. 3371–3408. – ISSN 1532-4435

    Google Scholar 

  23. He, K.; Zhang, X.; Ren, S.; Sun, J.: Deep residual learning for image recognition.In: Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, S. 770-778

    Google Scholar 

  24. Benenson, R.: What is the class of this image?http://rodrigob.github.io/are_we_there_yet/build/classification_datasets_results.html, Februar 2016

  25. LeCun, Y.; Bottou, L.; Bengio, Y.; Haffner, P.: Gradient-based learning applied to document recognition. In: Proceedings of the IEEE 86 (1998), Nr. 11, S. 2278–2324. – MNIST-Daten: http://yann.lecun.com/exdb/mnist

  26. Netzer, Y.; Wang, T.; Coates, A.; Bissacco, A.; Wu, B.; Ng, A.: Reading digits in natural images with unsupervised feature learning. In: NIPS workshop on deep learning and unsupervised feature learning Bd. 2011, 2011, S. 4. – SVHN-Daten: http://ufldl.stanford.edu/housenumbers

  27. Vinyals, O.; Toshev, A.; Bengio, S.; Erhan, D.: Show and tell: A neural image caption generator. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, S. 3156-3164

    Google Scholar 

  28. Russakovsky, O.; Deng, J.; Su, H.; Krause, J. u. a.: ImageNet Large Scale Visual Recognition Challenge.In: International Journal of Computer Vision (IJCV) 115 (2015), Nr. 3, S. 211–252. –http://image-net.org

  29. Zhao, H.; Shi, J.; Qi, X.; Wang, X.; Jia, J.:Pyramid Scene Parsing Network. In: CVPR, 2017

    Google Scholar 

  30. Zhao, H.; Qi, X.; Shen, X.; Shi, J.; Jia, J.:ICNet for Real-Time Semantic Segmentation on High-Resolution Images. In: ECCV, 2018

    Google Scholar 

  31. Fawaz, H.; Forestier, G.; Weber, J.; Idoumghar, L.; Muller, P.-A.:Deep learning for time series classification: a review. In: Data Mining and Knowledge Discovery 33 (2019), Nr. 4, S. 917-963

    Google Scholar 

  32. Leviathan, Y.; Matias, Y.: Google Duplex: an AI system for accomplishing real-world tasks over the phone. Google AI blog, https://research.google/pubs/pub49194/, 2018

  33. Bergstra, J.; Bardenet, R.; Bengio, Y.; Kégl, B.:Algorithms for hyper-parameter optimization. In: Advances in Neural Information Processing Systems, 2011, S. 2546-2554

    Google Scholar 

  34. Maclaurin, D.; Duvenaud, D.; Adams, R.: Gradient-based hyperparameter optimization through reversible learning. In: arXiv preprint arXiv:1502.03492 (2015)

  35. Bickerman, Greg; Bosley, Sam; Swire, Peter; Keller, Robert: Learning to create jazz melodies using deep belief nets. In: First International Conference on Computational Creativity, 2010

    Google Scholar 

  36. Karpathy, Andrej: The Unreasonable Effectiveness of Recurrent Neural Networks. Mai 2015. – http://karpathy.github.io/2015/05/21/rnn-effectiveness/

  37. Gatys, L.; Ecker, A.; Bethge, M.: A neural algorithm of artistic style.In: arXiv:1508.06576 (2015). – http://www.boredpanda.com/computer-deep-learning-algorithm-painting-masters

  38. Goodfellow, I.; Pouget-Abadie, J.; Mirza, M.; Xu, B.; Warde-Farley, D.; Ozair, S.; Courville, A.; Bengio, Y.: Generative adversarial nets. In: Advances in neural information processing systems, 2014, S. 2672-2680

    Google Scholar 

  39. Schölkopf, S.; Smola, A.: Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond. MIT Press, 2002

    Google Scholar 

  40. Bishop, C.M.: Neural networks for pattern recognition. Oxford University Press, 2005

    Google Scholar 

  41. Burges, C. J.: A Tutorial on Support Vector Machines for Pattern Recognition. In: Data Min. Knowl. Discov. 2 (1998), Nr. 2, S. 121-167

    Google Scholar 

  42. Anderson, J.; Pellionisz, A.; Rosenfeld, E.: Neurocomputing (vol. 2): directions for research.Cambridge, MA, USA : MIT Press, 1990

    Google Scholar 

  43. Esteva, A.; Kuprel, B.; Novoa, R. u. a.: Dermatologist-level classification of skin cancer with deep neural networks.In: Nature 542 (2017), Nr. 7639, S. 115-118

    Google Scholar 

  44. Litjens, G.; Sánchez, C.; Timofeeva, N. u. a.: Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis.In: Nature Scientific Reports 6 (2016), S. 26286

    Google Scholar 

  45. Radford, A.; Narasimhan, K.; Salimans, T.; Sutskever, I.: Improving language understanding by generative pre-training. (2018)

    Google Scholar 

  46. Brown, T.B.; Mann, B.; Ryder, N. u. a.: Language models are few-shot learners. arXiv:2005.14165, (2020)

Download references

Author information

Authors and Affiliations

  1. Institut für Künstliche Intelligenz, Hochschule Ravensburg-Weingarten, Weingarten, Deutschland

    Wolfgang Ertel

Authors
  1. Wolfgang Ertel
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to Wolfgang Ertel .

Rights and permissions

Reprints and permissions

Copyright information

© 2021 Der/die Autor(en), exklusiv lizenziert durch Springer Fachmedien Wiesbaden GmbH , ein Teil von Springer Nature

About this chapter

Check for updates. Verify currency and authenticity via CrossMark

Cite this chapter

Ertel, W. (2021). Neuronale Netze. In: Grundkurs Künstliche Intelligenz. Computational Intelligence. Springer Vieweg, Wiesbaden. https://doi.org/10.1007/978-3-658-32075-1_9

Download citation

Publish with us

Policies and ethics

Search

Navigation