|
Hauptseminar mit Übungen zum SoSe 2010:
Selected Topics in Machine Learning and Reverse Engineering
Allgemeines
Dozenten:
|
|
Prof. Dr. Fabian Theis
Zimmer 02.08.039
Tel.: +49 (89) 289-17961
Email: theis@ma.tum.de |
|
|
Prof. Dr. Oliver Junge
Zimmer 02.08.040
Tel.: +49 (89) 289 17987
Email: junge@ma.tum.de |
Betreuer:
|
|
Daniel Schmidl
Zimmer 02.08.039
Tel.: +49 (89) 289-17961
Email: dschmidl@ma.tum.de
|
|
|
Dominik Wittmann
Zimmer 02.08.039
Tel.: +49 (89) 289-17961
Email: dominik.wittmann@helmholtz-muenchen.de
|
Beginn:
|
|
20.04.2010
|
Zeiten:
|
|
Dienstags, 16:00 - 17:30
|
Raum:
|
|
MI 00.09.022
|
Verwendbarkeit:
|
|
Masterstudiengang Mathematik
|
ECTS-Credits:
|
|
2
|
Wochenstunden:
|
|
2V + 0Ü
|
Sprache:
|
|
Deutsch/Englisch
|
Vorkenntnisse:
|
|
MA1001 (Analysis 1), MA1002 (Analysis 2), MA1101 (Lineare Algebra 1), MA1102 (Lineare Algebra 2), MA1401 (Einführung in die Wahrscheinlichkeitstheorie), Softwaregrundkenntnisse in MATLAB/Octave
|
Themengebiet:
|
|
Im Zeitalter ständig wachsender Computerresourcen und Speichermöglichkeiten wird die
Analyse riesiger Datensätze immer wichtiger. Dies ist in den verschiedensten Bereichen, wie etwa auf dem Finanzmarkt,
im Marketing, in der Biologie oder auch der Medizin, von größtem Interesse. Eine Methode zur automatischen Analyse
dieser Datensätze ist das so genannte Machine Learning. Der Kurs behandelt sowohl überwachte, wie auch unüberwachte
Lernmethoden. Diese umfassen EM- und k-means Algorithmen, graphische Modelle, Bayesianische Schätzmodelle, Suport Vector
Maschinen, Principal Component und Independent Component Analysen, Reinforcement Learning, aber auch Verfahen zur Rekonstruktion von Systemen anhand gemessener
Daten über Zustände und Verhaltensweisen. Der Fokus dieses Kurses liegt jedoch in der Einführung grundlegender
Methoden zur Analyse großer Datensätze.
|
Ablauf:
Die Teilnehmer sollen sich durch angeleitetes Selbststudium an eine wissenschaftliche Arbeitsweise gewöhnen. Dazu bearbeitet jeder
Student ein Thema und fasst dieses in einem ca. 60-minütigen Vortrag zusammen. Der Vortragende wird dabei einige der behandelten
Algorithmen implementieren und deren Ergebnisse angewandt auf experimentelle Datensätze präsentieren. Darüber hinaus
erstellt er zusammen mit seinem Betreuer eine Übungsaufgabe für die übrigen Studenten, welche in der darauffolgenden Stunde
als kurze Wiederholung gelöst wird. Neben der fachlichen Thematik liegt das Ziel des Kurses vor allem in der Stärkung
der Diskussionsfähigkeit.
Übungen:
Der Vortragende erstellt unter Anleitung des Betreuers eine Übungsaufgabe für die übrigen Studenten, deren Lösung
in der darauffolgenden Stunde als kurze Wiederholung des Stoffs von ihm präsentiert wird. Alle Studenten sollten
wöchentlich einen Lösungsvorschlag für die jeweilige Übungsaufgabe einreichen. Zum Bestehen des Kurses müssen
mindestens die Hälfte der Aufgaben bearbeitet, d.h. eingereicht, werden.
Inhalte:
| Topic 0: |
|
Overview of Supervised Learning - needs to be read by everyone before taking the course. |
| |
| Reference: | C.M. Bishop; Pattern recognition and machine learning. Springer-Verlag, New York, 2006, chapter 1 and 2. |
|
| Topic 1: |
|
Linear Models for Classification - discriminant functions, probabilistic generative models, and Bayesian logistic regression. |
| |
| Reference: | C.M. Bishop; Pattern recognition and machine learning. Springer-Verlag, New York, 2006, chapter 4. |
| Vortrag: | Paulo Waelkens |
| Date: | 20.04.2010 |
| Handout: | PDF (1.74 MB) |
| Data: | mat (1 kb) |
| Sol.: | m-File (4 kB) |
|
| Topic 2: |
|
Kernel Methods - construction of kernels, radial basis functions, and Gaussian processes. |
| |
| Reference: | C.M. Bishop; Pattern recognition and machine learning. Springer-Verlag, New York, 2006, chapter 6. |
| Vortrag: | Christian Kirst |
| Date: | 27.04.2010 |
| Handout: | PDF (360 kB) |
| Data: | mat (529 kb) |
| Sol.: | zip (5 kb) |
|
| Topic 3: |
|
Sparse Kernel Machines - maximum margin classifier and relevance vector machines |
| |
| Reference: | C.M. Bishop; Pattern recognition and machine learning. Springer-Verlag, New York, 2006, chapter 7. |
| Vortrag: | entfällt |
| Date: | 04.05.2010 |
|
| Topic 4: |
|
Graphical Models - Bayesian networks, Markov random fields, and inference in graphical models. |
| |
| Reference: | C.M. Bishop; Pattern recognition and machine learning. Springer-Verlag, New York, 2006, chapter 8. |
| Vortrag: | Verena Albrecht |
| Date: | 11.05.2010 |
| Handout: | PDF (266 kB) |
| Data: | txt (393 kB) |
| Sol.: | m-File (1 kb) |
|
| Topic 5: |
|
Mixture Models and the Expectation Maximization (EM) Algorithm - K-means clustering, mixture of Gaussians, and the EM algorithm. |
| |
| Reference: | C.M. Bishop; Pattern recognition and machine learning. Springer-Verlag, New York, 2006, chapter 9. |
| Vortrag: | Alexander Schmid |
| Date: | 18.05.2010 |
| Handout: | PDF (695 kB) |
| Data: | jpg (20 kB) |
| Sol.: | zip (23 kb) |
|
| Topic 6: |
|
Sequential Data - Markov models, hidden Markov models, and linear dynamical systems. |
| |
| Reference: | C.M. Bishop; Pattern recognition and machine learning. Springer-Verlag, New York, 2006, chapter 13. |
| Vortrag: | Bendix Koopmann |
| Date: | 01.06.2010 |
| Handout: | PDF (508 kB) |
| Data: | zip (8 kB) |
| Sol.: | zip (10 kb) |
|
| Topic 7: |
|
Association Rules and Cluster Analysis - methods include basket analysis and data-clustering by segmentation, hierarchical, and partitional clustering. |
| |
| Reference: | T. Hastie, R. Tibshirani, and J. Friedman The elements of statistical learning: data mining, inference and prediction. Springer-Verlag, New York, 2001, chapter 14.1 - 14.3. |
| Vortrag: | Larissa Hammerstein |
| Date: | 08.06.2010 |
| Handout: | PDF (958 kB) |
| Data: | zip (4 kB) |
| Sol.: | zip (5 kb) |
|
| Topic 8: |
|
Reinforcement Learning I - agent based action-reaction algorithms. |
| |
| References: | A. Barto and R. Sutton; Reinforcement Learning - An Introduction. MIT Press, Cambridge, 1998 |
| D.P. Bertsekas and J. Tsitsiklis; Neuro-Dynamic Programming. Athena Scientific, Belmont, 1996. |
| Shalabh Bhatnagar, Richard S. Sutton, Mohammad Ghavamzadeh, and Mark Lee; Natural actor-critic algorithms. Automatica, 2009. |
| H.R. Maei, C. Szepesvari, S. Bhatnagar, D. Silver, D. Precup, and R.S. Sutton; Convergent Temporal-Difference Learning with Arbitrary Smooth Function Approximation. NIPS, 2009. |
| Vortrag: | Andrea Elbrächter |
| Date: | 15.06.2010 |
| Handout: | PDF (791 kB) |
| Data: | PDF (20 kb) |
|
| Topic 9: |
|
Reinforcement Learning II - agent based action-reaction algorithms. |
| |
| References: | A. Barto and R. Sutton; Reinforcement Learning - An Introduction. MIT Press, Cambridge, 1998 |
| D.P. Bertsekas and J. Tsitsiklis; Neuro-Dynamic Programming. Athena Scientific, Belmont, 1996. |
| S. Russell and P. Norvig; Künstliche Intelligenz - Ein moderner Ansatz. Pearson Studium, 2004. |
| Shalabh Bhatnagar, Richard S. Sutton, Mohammad Ghavamzadeh, and Mark Lee; Natural actor-critic algorithms. Automatica, 2009. |
| H.R. Maei, C. Szepesvari, S. Bhatnagar, D. Silver, D. Precup, and R.S. Sutton; Convergent Temporal-Difference Learning with Arbitrary Smooth Function Approximation. NIPS, 2009. |
| Vortrag: | Leonhard Schiele |
| Date: | 22.06.2010 |
| Handout: | PDF (2.7 MB) |
| Data: | zip (4 kb) |
| Sol.: | zip (8 kb) |
|
| Topic 10: |
|
Principal and Independent Component Analysis - dimension-reduction in high- dimensional data-sets, separating multivariate signals in additive subcomponents, uniqueness of the factorization, analysis with additional noise in the data-set. |
| |
| References: | Pattern recognition and machine learning. Springer-Verlag, New York, 2006, chapter 12.1 and 12.2. |
| O. Hyvärinen; Independent component analysis. Neural Networks, 2000. |
| A. Hyvärinen J. Karhunen, and E. Oja; Independent Component Analysis. John Wiley and Sons, 2001, chapter 6.1, 6.4, 6.5, 7, and 8. |
| Vortrag: | Felix Boekstegers |
| Date: | 29.06.2010 |
| Handout: | PDF (729 kB) |
| Data: | zip (168 kb) |
| Sol.: | zip (168 kb) |
|
| Topic 11: |
|
Reconstruction of boolean models |
| |
| References: | P. D'haeseleer, S. Liang, and R. Somogyi; Genetic network inference: from co-expression clustering to reverse engineering. Bioinformatics, 2000. |
| S. Liang; Reveal, a general reverse engineering algorithm for interference of genetic network architectures. Pacific Symposium on Biocomputing, 1998. |
| H. Lähdesmäki I. Shmulevich, and O. Yli-Harja; On Learning Gene Regulatory Networks Under the Boolean Network Model. Machine Learning, 2003. |
| T. Akutsu, S. Miyano, and S. Kuhara; Inferring qualitative relations in genetic networks and metabolic pathways. Bioinformatics, 2000. |
| Vortrag: | Dennis Rickert |
| Date: | 06.07.2010 |
| Handout: | PDF (354 kB) |
|
Template für Latex-Vorträge:
Software Links:
Literatur:
Books:
[1]
|
|
A. Barto and R. Sutton; Reinforcement Learning - An Introduction. MIT Press, Cambridge, 1998.
|
[2]
|
|
D.P. Bertsekas and J. Tsitsiklis; Neuro-Dynamic Programming. Athena Scientific, Belmont, 1996.
|
[3]
|
|
C.M. Bishop; Pattern recognition and machine learning. Springer-Verlag, New York, 2006.
|
[4]
|
|
T. Hastie, R. Tibshirani, and J. Friedman; The elements of statistical learning: data mining, inference and prediction. Springer-Verlag, New York, 2001.
|
[5]
|
|
A. Hyvärinen J. Karhunen, and E. Oja; Independent Component Analysis. John Wiley and Sons, 2001.
|
[5]
|
|
S. Russell and P. Norvig; Künstliche Intelligenz - Ein moderner Ansatz. Pearson Studium, 2004.
|
Articles:
[1]
|
|
O. Hyvärinen; Independent component analysis. Neural Networks, 13 (4-5), 2000.
|
[2]
|
|
Shalabh Bhatnagar, Richard S. Sutton, Mohammad Ghavamzadeh, and Mark Lee; Natural actor-critic algorithms. Automatica, 45 (11), 2009.
|
[3]
|
|
H.R. Maei, C. Szepesvari, S. Bhatnagar, D. Silver, D. Precup, and R.S. Sutton; Convergent Temporal-Difference Learning with Arbitrary Smooth Function Approximation. NIPS, 2009.
|
[4]
|
|
P. D'haeseleer, S. Liang, and R. Somogyi; Genetic network inference: from co-expression clustering to reverse engineering. Bioinformatics, 16 (8), 2000.
|
[5]
|
|
S. Liang; Reveal, a general reverse engineering algorithm for interference of genetic network architectures. Pacific Symposium on Biocomputing, 3 (18-29), 1998.
|
[6]
|
|
H. Lähdesmäki I. Shmulevich, and O. Yli-Harja; On Learning Gene Regulatory Networks Under the Boolean Network Model. Machine Learning, 52 (1), 2003.
|
[7]
|
|
T. Akutsu, S. Miyano, and S. Kuhara; Inferring qualitative relations in genetic networks and metabolic pathways. Bioinformatics, 16 (8), 2000.
|
|
|
Zurück
zu Veranstaltungen |
|
|
