forked from kmpf/uap
-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathTODO.txt
110 lines (78 loc) · 3.54 KB
/
TODO.txt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
========================
TODOs für die uap v0.0.2
========================
01.03.2018 - List of steps/tools needed for example workflows
----
Zombie-Prozesse? (Don't do)
---------------------------
* uap scheint Prozesse zu erzeugen die weiterlaufen nachdem der Hauptprozesse
getötet wurde. Warum werden die Kinderprozesse nicht gestoppt wenn der Eltern
Prozess gestoppt wird?
* qdel von Jobs hinterlässt noch laufende Prozesse (produzierbar auch mit normalen Pipes)
Dokumentation (Alexander + Christoph + Sven)
--------------------------------------------
Es wäre super wenn wir eine FAQ Seite für die häufigsten
Fehlermeldungen haben würden (für Alexander aber auch alle anderen).
Die Doku des fastq_source Steps sollte ein Beispiel für ein YAML
dictionary enthalten.
Generell muss die Doku auf fehlenden Inhalt Kontroll gelesen werden.
--even-if-dirty Zweck beschreiben
Docker (Alexander/Christoph) (Geringste Prio)
---------------------------------------------
Docker Support einbauen mittels Dockerfiles. Sitze ich gerade dran (Christoph).
Pfadangaben für Dateien die aus uap geladen werden (Sven)
---------------------------------------------------------
absolute Pfadangaben für alle open() calls.
Dateien und Verzeichnisse werden in Abhängigkeit vom Ort, von dem die uap ausgeführt wird, geschrieben... absoluten Dateipfad erzeugen und benutzen?
Debugging (???)
---------------
Submit Script in Annotation Datei speichern. (Done)
Prosa Log nach STDERR mittels logger
Evtl. Subcommand fürs zusammensuchen von Ausgabedaten des Runs.
Weitere Ideen
-------------
* Verteilen von uap über PyPI (Python Package Repos)
Mailinglist/GitHub Issue Tracker
--------------------------------
* Vorbereiten das wir für Fehlermeldungen erreichbar sind
Documentation
=============
* FAQ für häufig Fehler
* Problem: steps.rst wird dynamisch durch stepdoc.py erzeugt
* Lösung: conf.py erweitern mit stepdoc.py damit die Doku automatisch aktualisiert wird?
** funktioniert nicht. immer manuell ausführen?
** nicht alle Inhalte sind dann perfekt formatiert, manuelle Bearbeitungen gehen nach dem neu erzeugen verloren
* Verwendung von AbstractStep::runs() beschreiben in Doku anstatt von self.declare_run() und execute()
** http://uap.readthedocs.io/en/latest/extension.html
* Bemerkung zur scheinbar sporadischen Verwendung von fifos, dd usw? Tool abhängige Nutzung von FIFOs
* narrowpeak_to_bed fehlt als Datei in Repository (ist noch bei mit lokal)
Examples
--------
* abändern der Beispiele für neue Version
* zwei Klassen von Beispielen (mit ungefährer CPU-/Speicher-/Dauer-Abschätzung)
** kleine (weniger rechenintensive) Beispiele
** richtige (rechenintensive/speicherhungrige) Beispiele
Logging
=======
* Fehlermeldungen kürzen
** "Pipeline crashed"
* Stacktrace nur anzeigen wenn log-level auf z.B. debug
Fehler
======
Fehler mit .yaml-out dokumentieren
Steps
=====
* hg19 download reparieren (index_homo_sapiens) einen Download Step erstellen
für mehrere Dateien/Runs
* add_option(dd-blocksize) wo nötig
** dd blocksize default-mäßig auf Linux default 256k -> als add_option in jeden Schritt der dd nutzt
Umbenennungen/Aufräumen
-----------------------
* tools/ Verzeichnis aufräumen. Welche Dateien von dort werden noch benötigt?
* Verzeichnis "old_steps" unter include/steps: Löschen? Merken des commits im Wiki und dann löschen
Git Repository
==============
Organisieren eines git Repositories für uap (Jörg/Jana)
Problems:
- if different sources contain identically named samples they are probably gone
overwrite there output files handled wrong