Perlen der BioinformatikPearls of Bioinformatics: Reproducibility

Aktuelle HinweiseNews

Allgemeine InformationenGeneral Information

Auf Wunsch der Hörer finden Vorlesung und Übung jeweils 1h früher statt: Vorlesung Di+Do 9-11, Übung Mi 11-13. Die Veranstaltungen sind jeweils in Raum On request of the participants the lecture and class will start 1h earlier: Lecture Tue+Thu, 9-11, class Wed 11-13. Lecture and class will be in room Amalienstr. 17, A 406.

Dozent:Lecturer:

Ralf Zimmer

Dr. Gergely Csaba + Dr. Evi Berchtold

Markus Joppich + Markus Gruber

Constantin Ammar + Alexander Grün

Umfang:Credits

SWS 4V+2Ü (9 ECTS)

Zeit und Ort:Time and Place

DiTue	9-11	Amalienstr. 17, A 105
DoThu	9-11	Amalienstr. 17, A 105

Übungen:Exercises

2 SWS Übung zur VorlesungExercise class
Assistenten: Dr. Gergely Csaba, Constantin Ammar, Dr. Evi Berchtold, Markus Gruber, Alexander Grün, Markus Joppich

11-13

Amalienstr. 17, A105

Anmeldung Registration

Wer an der Modulprüfung teilnehmen will, muss sich zur Vorlesung und den Übungen bis zum 14. Oktober 2019 anmelden To enroll for the course and the exam please register until Oct 14, 2019 via the form. .

Inhalt der VorlesungContent of the lecture

Reproduzierbarkeit ist in allen Wissenschaften ein großes Problem, insbesondere für die Bioinformatikforschung und für ihre biomedizinische Anwendungen. Die Nicht-Reproduzierbarkeit von Ergebnissen hat drastische Auswirkungen auf wissenschaftliche Erkenntnisse und auf beabsichtigte Anwendungen von Methoden der Bioinformatik. Das betrifft insbesondere statistische Methoden, maschinelles Lernen, Deep Learning künstliche Intelligenz. Das Problem ist bekannt und gut erkannt, wird in der Regel aber ibei vielen Standardanalysen nicht beachtet.
Das Modul "Bioinformatik Perlen: Reproduzierbarkeit" behandelt diese Probleme auf verschiedenen Ebenen. Es gibt einen Überblick über die Probleme, stellt grundlegende Konzepte vor und diskutiert Beispiele für aktuelle Forschungsfragen und Hochdurchsatzmesstechniken wie RNAseq, differentielle Genexpressionsanalyse, Anreicherung von Genmengen, mit ATAC-Seq adressierte Regulationsmechanismen, individuelle Genomvariationen, die mit neuen Einzelzell-Sequenzierungstechniken gemessen werden, und die Quantifizierung der Auswirkungen transkriptomischer und regulatorischer Mechanismen auf Proteinebene mittels Massenspektrometrie. Reproducibility is a major problem in all sciences, in particular for bioinformatics research and biomedical applications. Recent estimates claim drastic impacts on scientific findings and the intended applications of bioinformatics methods, in particular for statistical methods, machine learning, deep learning, and artificial intelligence approaches. The problem is well-known and well-recognized, but typically not observed in standard practice.
The module "Bioinformatics Pearls: Reproducibility" addresses these issues on various levels. It gives an overview of problems, introduces basic concepts and discusses examples using current research issues and high-throughput measurement techniques such as RNAseq, differential gene expression analysis, gene set enrichment, regulatory mechanisms addressed with ATAC-seq, individual variation measured with new single-cell sequencing techniques, and estimating effects of transcriptomic and regulatory mechanisms on the protein level using quantitative mass spectrometry. Dieses Master-Level-Modul untersucht statistische Probleme in der Bioinformatik, Big Data Analyse und Machinellem Lernen. Wir diskutieren statistische Signifikanz, Zuverlässigkeit und Robustheit, um Probleme mit der Reproduzierbarkeit zu lösen. Der Kurs ist in 5-6 Module à 3 Wochen gegliedert, die jeweils Vorlesungen, Kurse und praktische Projektarbeit beinhalten. Wir beginnen mit (grundlegenden) statistischen Themen und damit verbundene Themen wie P-Werte vs. Konfidenzintervalle, Simpsons-Paradox, Researcher degree of freedom, Dimensionsreduktion wie PCA, SVDs, t-SNE und umap. Wir diskutieren klassische Fallstricke und lernen Regeln für Forscher, Autoren und Gutachter kennen, um sie zu vermeiden. Wir stellen Standardstrategien auf Basis von R, BioConductor-und Tidyverse sowie praktische Themen wie reproduzierbare Skripte und Programme (Rmarkdown) und Daten-Visualisierung. Darüber hinaus diskutieren wir Problem von Signifikanzschätzungen und statistischer Annahmen. Sowohl die technischen Fragen als auch Signifikanz und Visualisierung werden anhand der Quantifizierung von (differentieller) Genexpression mittels RNA-Seq diskutiert.
Ausgehend von diesen grundlegenden Konzepten diskutieren wir verschiedene Themen anhand aktueller Publikationen und Daten. Dabei wird diskutiert, ob die Reproduzierbarkeits-Regeln eingehalten und Fallstricke vermieden wurden. Experimente, die experimentellen Daten und die angewandten Datenanalyseverfahren werden vorgestellt. Veröffentlichte Ergebnisse sollen mit den zugehörigen Daten reproduziert werden.
Zu den behandelten Themen gehören: ATAC-Seq, Einzelzell-Sequenzierung (sc-RNAseq) und Proteomik/Massenspektrometrie. This master level module investigates statistical problems in bioinformatics big data analysis and machine learning. We learn about statistical significance, reliability and robustness to address reproducibility issues. The course is structured into 5-6 modules à 3 weeks each containing lectures, classes and practical project work. We start with (basic) statistical topics and associated issues such as p-values vs confidence intervals, Simpsons paradox, researchers degree of freedom and look at PCA, SVDs, t-SNE, and umap. We discuss classical pitfalls and learn about rules for researches, authors, and reviewers to avoid them. We introduce standard frameworks based on R, BioConductor and tidyverse as well as practical issues such as reproducible scripting (Rmarkdown) as well as visualization (figures). In addition, we discuss more theoretical issues of significance estimations and statistical assumptions. Both the technical as well as the significance and visualization issues will be discussed using standard (differential) gene expression estimation using RNA-seq.
Based on these foundations we discuss several topics using current publications and data to check whether rules have been observed and whether pitfalls have been avoided. We (try to) reproduce published findings using the associated data and learn about the experiments, the experimental data, and the applied data analysis techniques adhering to the standards introduced before.
Topics addressed include: ATAC-seq, single cell sequencing (sc-RNAseq) and proteomics/mass spectrometry.
Blocks/Topics:
A “Block” introduces a topic: problem, state-of-the-art methods to address the problem, statistical problems and pitfalls, working on a typical data analysis and a research problem of the topic. Each block consists of lectures, homework assignments, plenary discussion sessions, and practical work. Each block concludes with a milestone in form of a report of results on exercises adhering to the reproducibility standards.

RNAseq, differential gene expression analysis
gene set enrichment,
ATACseq
single cell sequencing
Mass spectrometry

Blöcke/Themen:
Ein "Block" führt in ein Thema ein: Problemstellung, moderne Methoden zur Lösung des Problems, statistische Probleme und Fallstricke, Arbeit an einer typischen Datenanalyse und einem Forschungsproblem des Themas. Jeder Block besteht aus Vorträgen, Hausaufgaben, Diskussionsrunden im Plenum und praktische Übungen. Jeder Block endet mit einem Meilenstein in Form eines Ergebnisberichts über die Datenanalyse und dem Forschungsproblem, der den Standards der Reproduzierbarkeit entsprechen.

RNAseq, Differentielle Genexpressionsanalyse
Anreicherung von Genmengen
ATACseq
Sequenzierung von Einzel-Zellen
Massenspektrometrie

Übung Exercise class

In der Übung werden die Themen aus der Vorlesung durch praktische Übungen vertieft. Dazu werden konkrete Problemstellungen in Hausaufgaben bearbeitet und in der Übung besprochen und diskutiert. The class will discuss the topics via exercises and tasks to deepen the understanding and practical application of the lecture. For this, homework assignments have to be worked on and handed in. Solutions and problems will be discussed in the class.

Material/Folien/ÜbungMaterial/slides/exercise

Die Folien zur Vorlesung und die Übungsblätter sind hier zu finden. Slides of the lecture and the exercise material can be found here.

Literatur zur VorlesungLiterature for the lecture

Susan Holmes and Wolfgang Huber, Modern Statistics for Modern Biology, Cambridge University Press, 2019.

Harvey Motulsky, Essential Biostatistics, Oxford University Press, 2016

Harvey Motulsky, Intuitive Biostatistics, Oxford University Press, 2018

David Spiegelhalter, The Art of Statistics: Learning from Data, Pelican Books, 2019