Termine

Theorie

Zusammenfassung zu KW 44 / Bowles Kap.4 erste Hälfte:

• nachlesen: https://www.analyticsvidhya.com/blog/2016/01/complete-tutorial-ridge-lasso-regression-python/
• "if you are using regression without regularization, you have to be very special!"

Diese Begriffe sollte man einordnen und erklären können:

• zu Kap 4, erste Hälfte (vgl. Hausaufgabe):
  • l1-, l2-Norm
  • Unterschied lars, lasso glmnet/ElasticNet
    • (Vorsicht Verwechslung: ElasticNet hat *nichts* zu tun mit https://de.wikipedia.org/wiki/Elasticsearch)
  • Welche Regularisierungs-Parameter haben wir zur Verfügung?
  • Mit welchen Maßen beurteilen wir die Qualität eines Modells?

• Begriffe aus Kap 3 FP | FN | TP | TN | precision | recall | accuracy | accuracy paradoxon | sensitivity | specificity | prevalence | f1-score | AUC | ROC | confusion matrix | error rate | test set | training set | validation set | cross validation
• Grundlagen-Begriffe feature | feature vector | attribute | target | outcome | unabhängige Variable | abhängige Variable | nominal | kategorial | ordinal | class label | field | quantitative | continuous

• Orientierungswissen: Erkläre den Unterschied zwischen
  • überwachtes und unüberwachtes Lernen
  • Regressions-Problem und Klassifikations-Problem
  • kategorialen, ordinalen und numerischen Features

Überblick JB zu Bowles Solving the Penalized Linear Regression Problem (p.132)

• für Interessierte: Bowles erklärt es im Detail, bitte selbst nachlesen
• für Nur-Anwender und Blackbox-User: https://scikit-learn.org/stable/modules/linear_model.html
  • Was ist der Unterschied zwischen:
    • https://scikit-learn.org/stable/modules/linear_model.html#ridge-regression
    • https://scikit-learn.org/stable/modules/linear_model.html#lasso
    • https://scikit-learn.org/stable/modules/linear_model.html#least-angle-regression
    • https://scikit-learn.org/stable/modules/linear_model.html#lars-lasso
  • in dsci nicht behandelt:
    • 1.1.9. Orthogonal Matching Pursuit (OMP)
    • 1.1.10. Bayesian Regression
    • 1.1.13. Perceptron
    • 1.1.14. Passive Aggressive Algorithms
  • Vertiefung für Interessierte:
    • https://scikit-learn.org/stable/modules/linear_model.html#robustness-regression-outliers-and-modeling-errors
    • https://scikit-learn.org/stable/modules/linear_model.html#polynomial-regression-extending-linear-models-with-basis-functions

Überblick JB zu Bowles Extensions to Linear Regression (p.151)

Ggf. Demo XXX: Flugdatenschreiber

Ziel: Mini-Projektplan zu den frühen Phasen im CRISP-DM Model: Business Understanding | Data Undestanding | Data Preparation

Hausaufgabe: Bis KW 47 ein Notebook für einen bekannten Datensatz erstellen

Ziel: Eine Musterlösung für einen Datensatz von Bowles

• Selber mit Bibliotheken machen, was Bowles in plain Python macht!
• Vorher bei Bowles nachlesen, was er zu diesem Datensatz sagt - auch incl. Kap. 5
• ggf. auch im Web nach Infos zu diesem Datensatz suchen

Datensatz:

• für KW 47 zunächst Abalone
• Vorschau: später dann auch Titanic; mit dem Datensatz spielen, z.B. auch Alter als unabhängige Variable betrachten

Warum tun wir es selbst?

• Bestandsaufnahme: Was war schon dran, was fehlt noch - im Kurs, bei jedem selbst ;-)
• Selber machen (aus früheren Notebooks zusammenklauben): Wiederholung, Vergessen verhindern, selbst ein Ergebnis produzieren - und Erfolgserlebnis haben!

dabei auch Visualisierungen aus https://pandas.pydata.org/pandas-docs/version/0.25/user_guide/visualization.html einsetzen.

Checkliste explorative Datenanalyse

für den gesamten Datensatz

• read csv
  • mit Headline?
  • Datensatz ist ohne Headline, also Headline hinzufügen
    • abalone = pd.read_csv('abalone.data.csv', names=['Sex', 'Length', 'Diameter', 'Height', 'Whole weight', 'Shucked weight', 'Viscera weight', 'Shell weight', 'Rings'])
    • Alternative: Spalten nachträglich (um)benennen
  • Auszug einlesen, z.B. jede dritte Zeile, zufällige Zeilen (bei großen Datensätzen)
  • Was tun mit Null-Werten
    • anzeigen, wie viele
    • automatisch auffüllen: Wie?
    • display(abalone['Sex'].value_counts())
  • nur bestimmte Spalten
    • kann man auch mit regex als Gruppe bestimmen; gut bei vieeelen Datensätzen
• "Form"
  • breit? lang?
    • abalone.shape
• Wertebereiche
  • Welche Attribute haben welchen Datentyp?
    • abalone.info(verbose=True)
  • Attribut Kontonummer als Integer? Falsch! ggf. in string ändern

für jedes Attribut

• pandas.describe
  • standard: numerisch
  • extra abfragen: nominal
• nominal: unique Werte
• missing values
• plotten
• optisch Verteilung feststellen (https://sichtungderdinge.wordpress.com/2012/06/12/statistik-und-auswertung-quantitativer-daten-in-spss/) :
  • z.B. mit Histogramm, ggf. mit binning
    • z.B. für AbaloneSex
  • Unimodale (eingipflige), symmetrische Verteilung
  • Unimodal (eingipflige), rechtsschiefe oder linksschiefe Verteilung
  • Bimodal (Kamelhöcker…) – hier ist es schwer, einen aussagekräftigen Mittelwert zu bestimmen.
  • U-förmig (’n U halt…) aussagekräftiger Mittelwert, zentrale Tendenz auch hier schwer machbar.
  • L-förmig (abfallend)
  • unbalanciert
    • https://de.wikipedia.org/wiki/Gini-Koeffizient ?
• Ausreißer erkennen?
  • bezogen auf Quantile
  • Busines understanding: Was ist in meinem Fall ein Ausreißer?
  • ggf. Algorithmen in scikit nachschauen
  • erkennen: ok; bewerten?
• fehlerhafte Werte erkennen
• box plot

für je 2 Attribute

• plots aus https://pandas.pydata.org/pandas-docs/version/0.25/user_guide/visualization.html einsetzen.
  • scatterplot
  • heatmap
  • parallel plot
  • u.V.m.

Checkliste Modellbildung

Welche Art von Problem gilt es zu lösen?

Daten-Vorbereitung

• Normalisierung
• Standardisierung
  • bei Bowles z.T. "normalization" genannt
• längere Diskussion bei Bowles: nachschauen

Mikro-Projekt "Banane"

Zweck: an einer 08/15-Aufgabe sehr methodisch den kompletten Pfad von Datenschöpfung, Feature Engineering, Modellkonstruktion bis hin zur Modellevaluation durch gehen - idealerweise mit möglichst wenig Code, aber viel Grips und Erklärung.

Aufgabe:

• Vorhersage des Nettogewichtes von Bananen auf Grundlage von Basisdaten

Lernziele:

• das bisherige Wissen auf ein triviales Spiel-Beispiel anwenden
• Aufbau nach CRISP-DM
• möglichst wenig Code-Zeilen verwenden
• Nutzung von sklearn.linear_model.ElasticNetCV

Quelle:

• inspiriert durch Hans Lohninger: http://www.statistics4u.com/fundstat_germ/data_bananas.html, für unsere Übung aber leicht verändert: csv

Notebook Teil 1: "Projektplan" erstellen

• zuerst Notebook-Struktur aufsetzen; Überschriften und Vorgehen nach CRISP-DM Model - zumindest was davon unbedingt wichtig ist
• dann normalsprachliche Skizze "das ist zu tun"
• minimaler Code, um zu zeigen, dass es nicht nur eine Word-Datei ist ;-) :
  • ipynb in der virtuellen Maschine
  • Datensatz einlesen
  • head, describe, shape
  • erst in Teil 2 des Projekts: Visualisierungen, ggf. feaure engineering, Lernen, Prädiktion, Evaluation etc.
• auf Moodle hochladen (s.u.)
• 50% der Bewertung - d.h. eine sehr gute normalsprachliche Skizze ist für das Bestehen ausreichend
  • unbedingt Bowles referieren
  • gerne auch die Übungs-Notebooks aus der Veranstaltung
  • auch CRISP

Notebook Teil 2: Codieren

• Wiederverwendung von Notebook Teil 1
• erst am Schluss den Code einfügen (d.h. man kann das Notebook grundsätzlich auch ohne Code abgeben)
• Copy & Paste ist üblich und ok. Aber auch für Code-Schnipsel gilt: unbedingt penibel die Quelle angeben, sonst ist es ein Plagiat!
• auf Moodle hochladen (s.u.)
• 50% der Bewertung
• Besonderheiten
  • Datensatz einlesen, train-test-split selbst durchführen:
    • Test-Daten: id ist durch 4 teilbar
    • Train-Daten: alle anderen
  • Lern-Algorithmus: 3.2.4.1.1. sklearn.linear_model.ElasticNetCV

Abgabe:

• Mikro-Projekt Bananen, Teil 1: Skizze
• auf Moodle hochladen: Mikro-Projekt Bananen, Teil 2: Ausarbeitung
• Laufzeit knapp 1 Woche, genaue Abgabefrist siehe Moodle

Feedback Hausaufgabe

Versuch: Zusammenfassen zu einem gemeinsamen Notebook auf Cocalc, geht das zumindest mit 4 Leuten?

anschauen Uploads

auch "Upload" JB: http://jbusse.de/2019_ws_dsci/Vortrag_GdW_2019-11-28.html

Multinominale Regression

Erzeuge synthetischen Datensatz:

• erzeuge random
  • 2 numerische Attribute: Breite (resp. Durchmesser), Höhe
  • 1 kategorialer Wert Körper-Typ: WPZK (Würfel, Pyramide, Zylinder, Kegel)
• mit Rauschen errechnen, um physikalische Messfehler zu simulieren:
  • Oberfläche, Volumen (Formeln im Netz)
  • Verhältnis Höhe / Breite (abhängige, aber irrelevante Variable)
• mit möglichst weitgehendem Einsatz von Bibliotheken
• keine NaN, keine Ausreißer, keine Fehlwerte
• Beispiel-Datensätze:
  • http://www.jbusse.de/2019_ws_dsci/Bauklötze-train-test_2019-12-09T1430.zip (minimal, ohne Oberfläche: geht auch ;-) )

ML Problem: target: klassifiziere in Körpertyp aus:

• Aufgabe
  • gegeben Breite und Höhe
  • gesucht: Körper-Typ WPZK
• feature engineering (kennen wir aus "Banane")
• zunächst auf nur 2 Körper filtern: Würfel und Kegel
• später alle 4 Körper: multinominale Regression

Soweit möglich mit Bibliotheken realisieren:

• Daten bereitstellen
  • synthetischen Datensatz herstellen
  • train-test-split
• mit Train trainieren
  • Vorverarbeiteung
    • feature generation
    • scaler.train
  • Modell trainieren mit https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html, penalty = ‘elasticnet’
• Modell auf Test anwenden
  • feature generation
  • scaler.transform
  • modell.predict
• Modell evaluieren

Titanic Delve, adaptiert durch BUJ

Dataset Quelle: https://www.cs.toronto.edu/~delve/data/titanic/desc.html, verändert durch BUJ

• Dieses Titanic-Dataset unterscheidet sich ganz offensichtlich von anderen bekannten Datasets bei Kaggle, Chris Albon etc.
• Wir arbeiten nicht mit dem Original, BUJ hat ein paar Zellen geändert ;-)

Dataset Download:

• Moodle > titanic_dsci_2019-12-18.zip

Klassifikationsproblem:

• wie üblich: Target ist "survived"
• vorherzusagen aus den anderen Spalten

Bibliotheken:

• https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html und/oder sklearn.linear_model.LogisticRegressionCV
  • multi_class="multinomial"
  • penalty="elasticnet"
  • random_state=42
  • l1_ratios= [ 0.1, 0.5, 0.9 ]
    • (Vereinfachung: nur den Wert 0.5 untersuchen)
  • fit_intercept=False
  • cv=5
  • Score: accuracy
• (Hinweis: ElasticNet ist eigentlich nicht die optimale Solver-Wahl für diese Aufgabe. Aber wir haben ElasticNet genau angeschaut, und nehmen schlechte Scores im Rahmen der Lehrveranstaltung inkauf).
• Visualisierung mit jakevdp.github.io > seaborn

Abschnitte:

• Explorative Datenanalyse
• Daten-Vorverabeitung
• Modellgenerierung mit Cross-Validation
• Erstellung des finalen Modells
• Qualitätsbeurteilung
  • confusion matrix, accuracy
  • AUC + ROC
• Zusatz-Aufgabe für Interessierte
  • Visualisieren Sie die Werte des Attributs coefs_paths_ ; interpretieren Sie auf dieser Grundlage das erstellte Modell (Transfer von Bowles Kap. 4 und 5)

Kurze Vorstellung des geplanten Vorgehens am 15.1.2020

• Jeder TN bespricht mit JB seinen "Projektplan", JB git Feedback

Abgabe bis 15.2.

• ein gezippter Ordner, in dem alle benötigten Daten und Notebooks flach enthalten sind (d.h. Daten werden aus dem lokalen Verzeichnis mit relativem Pfad eingelesen).
• Ordner-Name: Name in Ihrer Hochschul-email, z.B. s-jbuss2