Presentation Transcript

1. 1. Einleitung • Inhalt dieses Kapitels • 1.1 Grundbegriffe des Knowledge Discovery in Databases • Motivation, Begriffe, Schritte des KDD-Prozesses, Fokussieren, Vorverarbeitung, Transformation, Data Mining, Evaluation • 1.2 Typische KDD-Anwendungen • Astronomie, Erdwissenschaften, Marketing, Investment, Betrugserkennung, Individualisierte Werbeanzeigen, Electronic Commerce, Datenschutz • 1.3 Inhalt und Aufbau der Vorlesung Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

2. 1. 1 Motivation riesige Datenmengen werden automatisch gesammelt Bei welchen Telefonkunden besteht der Verdacht eines Betrugs? • Zu welcher Klasse gehört dieser Stern? Welche Assoziationen bestehen zwischen denin einem Supermarkt gekauften Waren? solche Analysen lassen sich nicht mehr manuell durchführen Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

3. 1.1 Definition KDD [Fayyad, Piatetsky-Shapiro & Smyth 96] • Knowledge Discovery in Databases (KDD)ist der Prozeß der (semi-)automatischen Extraktion von Wissen aus Datenbanken, das • gültig • bisher unbekannt • und potentiell nützlich ist. • Bemerkungen • (semi)-automatisch: im Unterschied zu manueller Analyse. Häufig ist trotzdem Interaktion mit dem Benutzer nötig. • gültig: im statistischen Sinn. • bisher unbekannt: bisher nicht explizit, kein „Allgemeinwissen“. • potentiell nützlich: für eine gegebene Anwendung. Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

4. 1.1 Abgrenzung KDD • Statistik • modellbasierte Inferenzen • Schwerpunkt auf numerischen Daten [Berthold & Hand 1999] • Maschinelles Lernen • Suchverfahren • Schwerpunkt auf symbolischen Daten • [Mitchell 1997] • Datenbanksysteme • Skalierbarkeit für große Datenmengen • neue Datentypen (z.B. Webdaten) • Integration mit kommerziellen Datenbanksystemen • [Chen, Han & Yu 1996] Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

5. Knowledge Pattern Evaluation Data Mining Task-relevant Data Selection Data Warehouse Data Cleaning Data Integration Data Mining Trans- formation Vorverar-beitung Evaluation Fokussieren Muster Wissen Datenbank 1.1 KDD-Prozeß Prozeßmodell nach Han Databases Prozeßmodell nach Fayyad, Piatetsky-Shapiro & Smyth Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

6. Bsp.-Anwendung 1.1 Fokussieren • Verständnis der gegebenen Anwendung • z.B. Tarifgestaltung in der Telekommmunikations-Branche • Definition des Ziels des KDD • z.B. Segmentation der Kunden • Beschaffung der Daten • z.B. aus operationaler DB zur Abrechnung • Klärung der Verwaltung der Daten • File System oder DBS? • Selektion der relevanten Daten • z.B. 100 000 ausgewählte Kunden mit allen Anrufen in 1999 Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

7. 1.1 Fokussieren • “File Mining” • Daten meist in Datenbanksystem (DBS) • Data Mining bisher auf speziell vorbereiteten Files • Integration des Data Mining mit DBS • Vermeidung von Redundanzen und Inkonsistenzen • Nutzung der DBS-Funktionalität (z.B. Indexstrukturen) • Basisoperationen zum Data Mining • Standard-Operationen für eine Klasse von KDD Algorithmen • effiziente DBS - Unterstützung • schnellere Entwicklung neuer KDD Algorithmen • bessere Portabilität der Algorithmen Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

8. 1.1 Vorverarbeitung • Integration von Daten aus unterschiedlichen Quellen • einfache Übersetzungen von Attributnamen (z.B. KNr --> KundenSchl) • Nutzen von Anwendungswissen um ähnliche Daten zusammenzufassen (z.B. regionale Zuordnung von Postleitzahlen) • Konsistenzprüfung • Test anwendungsspezifischer Konsistenzbedingungen • Bereinigung von Inkonsistenzen • Vervollständigung • Ersetzen von unbekannten Attributwerten durch Defaults • Verteilung der Attributwerte soll i.A. erhalten bleiben! • Vorverarbeitung ist häufig einer der aufwendigsten KDD-Schritte Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

9. Report Data Warehouse Generator Operationelle DB Integrieren Bedient Laden OLAP Aktualisieren Data Mining 1.1 Vorverarbeitung • Data Warehouse [Chaudhuri & Dayal 1997] • dauerhafte • integrierte Sammlung von Daten • aus unterschiedlichen Quellen • zum Zweck der Analyse bzw. Entscheidungsunterstützung Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

10. 1.1 Transformation • Diskretisierung numerischer Attribute • unabhängig von der Data-Mining-Aufgabe z.B. Aufteilung des Wertebereichs in Intervalle gleicher Länge • abhängig von der Data-Mining-Aufgabe z.B. Aufteilung in Intervalle so, daß der Informationsgewinn in Bezug auf die Klassenzugehörigkeit maximiert wird • Erzeugen abgeleiteter Attribute • durch Aggregation über Mengen von Datensätzen z.B. von einzelnen Anrufen zu „Gesprächsminuten tagsüber, Wochentag, Stadtgespräch“ • durch Verknüpfung mehrerer Attribute z.B. Umsatzänderung = Umsatz 2000 - Umsatz 1999 Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

11. 1.1 Transformation • Attribut-Selektion • manuellwenn Anwendungswissen über die Bedeutung der Attribute und über die gegebene Data-Mining-Aufgabe bekannt ist • automatischBottom-Up (ausgehend von der leeren Menge jeweils ein Attribut hinzufügen)Top-Down (ausgehend von der Gesamtmenge der Attribute jeweils ein Attribut entfernen) z.B. so, daß die Diskriminierung der Klassen optimiert wird • zuviele Attribute führen zu Ineffizienz und evtl. Ineffektivität des Data Mining • manche Transformationen können durch OLAP-Systeme realisiert werden Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

12. • • • • • • • • • • • • • b b a b b a a a b b a a • • • • • • • • • • • • 1.1 Data Mining • Definition [Fayyad, Piatetsky-Shapiro, Smyth 96] • Data Mining ist die Anwendung effizienter Algorithmen, die die in einer Datenbank enthaltenen Muster liefern. • Data-Mining-Aufgaben Clustering Klassifikation A und B --> C Assoziationsregeln Generalisierung andere Aufgaben: Regression, Entdecken von Ausreißern . . . Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

13. 1.1 Data Mining • Anwendungen • Clustering Customer Segmentation, Strukturierung von Mengen von Webdokumenten • Klassifikation • Bewertung der Kreditwürdigkeit, Automatische Analyse astronomischer • Beobachtungen • AssoziationsregelnReorganisation eines Supermarkts, Cross-Selling der Produkte einer Firma • GeneralisierungBeschreibung von Clustern, Kundengruppenanalyse Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

14. 1.1 Evaluation • Ablauf • Präsentation der gefundenen Musterhäufig durch entsprechende Visualisierungen • Bewertung der Musterdurch den Benutzer • falls schlechte Bewertung:erneutes Data Mining mit • anderen Parametern • anderem Verfahren • anderen Daten • falls gute Bewertung: Integration des gefundenen Wissens in die Wissensbasis Nutzung des neuen Wissens für zukünftige KDD-Prozesse Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

15. 1.1 Evaluation • Bewertung der gefundenen Muster • Vorhersagekraft der Muster • Verwendete Daten sind Stichprobe aus der Grundgesamtheit aller Daten. • Wie gut lassen sich die in diesen „Trainingsdaten“ gefundenen Muster auf zukünftige Daten verallgemeinern? • Vorhersagekraft wächst mit Größe und Repräsentativität der Stichprobe. • Interessantheit der Muster • Muster schon bekannt? • Muster überraschend? • Muster für viele Fälle anwendbar? Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

16. 1.2 Typische KDD-Anwendungen • Astronomie • SKICAT-System [Fayyad, Haussler & Stolorz 1996] • Architektur • Technik der Klassifikation: Entscheidungsbaum-Klassifikator • Evaluation • wesentlich schneller als manuelle Klassifikation • Klassifikation auch von sehr entfernten (lichtschwachen) Objekten Entfernen von Rauschen Bildsegmentierung Manuelle Analyse Klassifikation Feature-Extraktion Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

17. 1.2 Typische KDD-Anwendungen • Marketing • Kundensegmentierung [Piatetsky-Shapiro, Gallant & Pyle 2000] • Ziel: Aufteilung der Kunden in Segmente mit ähnlichem Kaufverhalten • Nutzen • Ideen für Produkt-Pakete (Product Bundling) • Entwickeln einer neuen Preispolitik (Pricing) • Projektablauf • Entwicklung verschiedener automatischer Modelle (Bayesian Clustering) zu komplex, keine Berücksichtigung von Anwendungswissen • manuelle Entwicklung einer Entscheidungsliste aufgrund der gewonnenen Erkenntnisse • Umsetzung der Erkenntnisse im Marketing der Firma • Integration der Entscheidungsliste in Software-Umgebung Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

18. 1.2 Typische KDD-Anwendungen • Electronic Commerce • Elektronische Vergabe von Kreditkarten • [Himelstein, Hof & Kunii 1999] • Bisher • manuelle Analyse der Kreditwürdigkeit • erfordert Zugriffe auf verschiedene Datenbanken • dauert u.U. Wochen • Mit Data-Mining • Analyse des Kunden in wenigen Sekunden • wesentlich schnellerer Service • erlaubt es einer Kreditkartenfirma, zahlreiche neue Kunden zu gewinnen • Technik: Entscheidungsbaum-Klassifikator Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

19. 1.2 Typische KDD-Anwendungen • Purchase Circles [Beck 1999] • Idee • Methode • Gruppieren der Käufe nach PLZen und Domains • Aggregation dieser Daten • Konstruktion von Bestseller-Listen, die in dieser Kundengruppe populärer sind als in der Gesamtheit aller Kunden Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

20. 1.2 Typische KDD-Anwendungen • Datenschutz • große Gefahren des Mißbrauchs der Data-Mining-Techniken • insbesondere dann, wenn persönliche Daten ohne Kenntnis der betreffenden Person gesammelt und analysiert werden • Datenschutz (privacy) muß im Kontext des KDD neu diskutiert werden! • Beispiel Amazon.com • [http://www.amazon.com/exec/obidos/subst/misc/policy/privacy.html] • sammelt persönliche Daten „... when you search, buy, bid, post, participate in a contest or questionnaire, or communicate with customer service.“ • erlaubt dem Kunden, die persönlichen Daten zu überprüfen und zu korrigieren • bildet z.B. Purchase Circles nur für mindestens 200 Kunden Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

21. 1.3 Inhalt und Aufbau der Vorlesung • Inhalt der Vorlesung • Lehrziele • Überblick über KDD • Kenntnis der wichtigsten Aufgaben und Verfahren mit Vor- und Nachteilen • Auswahl und Einsatz eines Verfahrens für eine gegebene Anwendung • Entwicklung eigener Verfahren für eine gegebene Anwendung • kurze Einführung der Grundlagen aus den Bereichen Statistik und Datenbanksysteme (DBS) • Schwerpunkt auf dem zentralen KDD-Schritt des Data Mining • Betonung der Fragestellungen aus DBS-Sicht • Skalierbarkeit für große Datenmengen • neue Datentypen (z.B. Webdaten) • Integration mit kommerziellen Datenbanksystemen Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

22. 1.3 Inhalt und Aufbau der Vorlesung • Aufbau der Vorlesung (1) • 1.Einleitung • 2. Grundlagen des KDD Statistik, Datenbanksysteme • 3. Clustering partitionierende und hierarchische Verfahren, Verfahren aus DBS-Sicht, neue Anforderungen und Techniken des Clustering • 4. Klassifikation • Bayes-, nächste-Nachbarn- und Entscheidungsbaum-Klassifikatoren, skalierbare Entscheidungsbaum-Klassifikatoren Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

23. 1.3 Inhalt und Aufbau der Vorlesung • Aufbau der Vorlesung (2) • 5. Assoziationsregeln • einfache Assoziationsregeln, Algorithmus Apriori, Einbeziehung von Taxonomien, numerische Attribute • 6.Generalisierung Data Warehouses, Data Cubes, effiziente Anfragebearbeitung, attributorientierte Induktion, inkrementelle Generalisierung • 7. Besondere Datentypen und -anwendungen Temporal Data Mining, Spatial Data Mining, Text und Web Mining • 8. Andere Paradigmen • induktive Logik-Programmierung, genetische Algorithmen, neuronale Netze Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

24. 1.3 Inhalt und Aufbau der Vorlesung • Literatur • Textbuch der Vorlesung • Ester M., Sander J., „Knowledge Discovery in Databases: Techniken und Anwendungen“, Springer Verlag, September 2000. • Weitere Bücher • Berthold M., Hand D. J. (eds.), „Intelligent Data Analysis: An Introduction“, Springer Verlag, Heidelberg, 1999. • Han J., Kamber M., „Data Mining: Concepts and Techniques“, Morgan Kaufmann Publishers, August 2000. • Mitchell T. M., „Machine Learning“, McGraw-Hill, 1997. • Witten I. H., Frank E., „Data Mining: Practical Machine Learning Tools and Techniques with Java Implementations“, Morgan Kaufmann Publishers, 2000. Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001

25. 1.3 Inhalt und Aufbau der Vorlesung • Organistaion der Lehrveranstaltung • Vorlesung • PD Dr. Martin Ester, www.dbs.informatik.uni-muenchen.de/~ester • Mi, 8.30 Uhr - 11.00 Uhr, Raum 0.37, Oettingenstr. 67 • Übung • Markus Breunig, www.dbs.informatik.uni-muenchen.de/~breunig • Mo, 14.00 Uhr - 16.00 Uhr, Raum 1.27, Oettingenstr. 67 • Besonderheiten • praktische Übungen mit Data-Mining-Tool Clementine (SPSS) • Vorträge zu Data-Mining-Projekten von SPSS, Siemens, DaimlerChrysler • Schein • erfolgreiche Bearbeitung von mindestens 3 von 4 bewerteten Übungsblättern • mündliche Prüfung oder Klausur Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001