Ασκήσεις-Εργασίες

Eδώ μπορείτε να βρείτε ένα οδηγό για εγκατάσταση spark σε pseudo distributed environment. Pseudo Distributed spark 2.4.4 installation
Εδώ μπορείτε να βρείτε μια εισαγωγή σε flask Apis και οδηγίες για τη δημιουργία μια εφαρμογής ανταλλαγής μηνυμάτων μεταξύ δύο χρηστών σε spark. FlaskApis
Η εκφώνηση της εξαμηνιαίας εργασίας βρίσκεται εδώ.
Θα χρειαστείτε και τα αρχεία που θα βρείτε σε αυτό το tarball.
Μπορείτε να χρησιμοποιήσετε προαιρετικά ένα από τα παρακάτω templates κώδικα:
Σε java
Σε python
Η εργασία θα μετρήσει 4 μονάδες και θα γίνει σε ομάδες των 2 ή 3 ατόμων.
Ημερομηνία παράδοσης της αναφοράς: Μετά την εξεταστική του Φεβρουαρίου.
Η επίδειξη της εργασίας θα γίνει μετά την εξεταστική του Φεβρουαρίου, σύμφωνα με πρόγραμμα που θα ακνακοινωθεί.
H αναφορά και ο κώδικας θα παραδίδονται σαν ένα tarball ηλεκτρονικά στη διεύθυνση
http://www.cslab.ece.ntua.gr/courses/distribu/submit
Ως filename χρησιμοποιείστε τα επώνυμα των μελών της ομάδας σας, π.χ. koziris_doka.tar.gz

Υποδομή για την εργασία

H υποδομή που θα χρησιμοποιήσετε για το project προσφέρεται από την υπηρεσία ~okeanos-knossos. Για να αποκτήσετε πρόσβαση:

1. Δηλώστε ομάδες 2 ή 3 ατόμων εδώ:
   Φόρμα δήλωσης ομάδων
2. Ένα μέλος της ομάδας θα κάνει αίτηση συμμετοχής στο projectdistributed2020.cslab.ece.ntua.gr στον παρακάτω σύνδεσμο για να αποκτήσει δικαίωμα να διαχειρίζεται τα VMs της ομάδας. Για τη δημιουργία academic account στην υπηρεσία ~okeanos-knossos απαιτείται mail στο central
   Distributed 2019 Project
   Πατήστε "JOIN" και όταν εγκριθεί η αίτησή σας, θα λάβετε ενημερωτικό e-mail και θα μπορείτε να δημιουργήσετε τα VMs σας.
3. Μέσω του GUI του ~okeanos-knossos (cyclades), κάθε ομάδα θα δημιουργήσει 5 VΜs (Ubuntu Server LTS), καθένα από τα οποία θα έχει 2 cores, 2GB μνήμης και 30GB δίσκου. Σας δίνεται μία public IP, την οποία θα συνδέσετε με ένα από τα VMs σας για να μπορεί οποιοδήποτε μέλος της ομάδα να έχει πρόσβαση μέσω ssh. Επίσης θα δημιουργήσετε ένα private network στο οποίο θα συνδέσετε όλα σας τα VΜs ώστε να μπορούν αυτά να επικοινωνούν μεταξύ τους χρησιμοποιώντας private διευθύνσεις.
4. Στήνετε στα μηχανήματα ό,τι χρειάζεστε και είστε έτοιμοι για testing.