Τα μεγάλα σχέδια δεδομένων του Facebook περιλαμβάνουν αποθήκες, ταχύτερη ανάλυση

Το Facebook μπορεί να διακρίνει τα δεδομένα που έχει στους χρήστες του για ένα δισεκατομμύριο χρήστες για τις διαφημιστικές του αποδόσεις. η ανάλυση που πραγματοποιεί ο ιστότοπος σε αυτά τα δεδομένα αναμένεται να συνεχίσει να δημιουργεί πολλές προκλήσεις κατά τη διάρκεια του επόμενου έτους, δήλωσε ένας μηχανικός.

Τα προβλήματα που αναγκάστηκε να αντιμετωπίσει το "πολύ νωρίτερα από την ευρύτερη βιομηχανία" να βελτιώσουμε την πρόσβαση και να εδραιώσουμε διαφορετικούς τύπους δεδομένων στα πολλαπλά κέντρα δεδομένων του Facebook και να σχεδιάσουμε νέα συστήματα λογισμικού ανοιχτού κώδικα για να επεξεργαστούμε αυτά τα δεδομένα, Ra «Το Facebook είναι μια εταιρεία δεδομένων και το πιο προφανές πράγμα που σκέφτονται οι άνθρωποι σε αυτό το μέτωπο είναι οι διαφημίσεις που στοχεύουν» δήλωσε σε μια διάσκεψη του κλάδου στο Σαν Φρανσίσκο, να μιλήσετε για την υποδομή back-end του Facebook, για αναλύσεις δεδομένων και για έργα ανοιχτού κώδικα.

Η εργασία πίσω από τα σκηνικά σχετίζεται με την υποδομή αναλύσεων του Facebook, η οποία έχει σχεδιαστεί για να επιταχύνει την ανάπτυξη προϊόντων και να βελτιώσει την εμπειρία των χρηστών μέσω βαθιάς ανάλυσης όλων των διαθέσιμων δεδομένων, είτε αποτελείται από τις δράσεις που λαμβάνει ο χρήστης στον ιστότοπο, εφαρμογές που χρησιμοποιούν στο Facebook σε διαφορετικές συσκευές

Το Facebook χρησιμοποιεί επί του παρόντος αρκετά διαφορετικά συστήματα λογισμικού ανοιχτού κώδικα γνωστά ως Hadoop, Corona και Prism για να επεξεργαστεί και να αναλύσει τα δεδομένα του, τα οποία η εταιρεία θα επικεντρωθεί στην παραγωγή πιο γρήγορα και πιο αποδοτικά κατά τους επόμενους έξι έως δώδεκα μήνες, δήλωσε ο Murthy

Πολλές από τις προκλήσεις της εταιρείας συνδέονται με αυτό που η Facebook αναφέρεται ως αποθήκη δεδομένων της, η οποία συνδυάζει δεδομένα από πολλαπλές πηγές σε μια βάση δεδομένων όπου μπορεί να αναλυθεί η δραστηριότητα των χρηστών στο σύνολό τους, όπως η παροχή ημερήσιας έκθεσης σχετικά με τον αριθμό των φωτογραφιών που έχουν επισημανθεί σε μια συγκεκριμένη χώρα ή η εξέταση του αριθμού των χρηστών σε μια συγκεκριμένη περιοχή που ασχολούνται με τις σελίδες που τους συστήνονται.

Η ανάλυση έχει σχεδιαστεί για να βελτιστοποιήσει τις εμπειρίες των χρηστών και να ανακαλύψει τι τους αρέσει και δεν τους αρέσει οι χρήστες, αλλά όλο και περισσότερο φορολογείται καθώς το Facebook έχει πρόσβαση σε όλο και περισσότερα δεδομένα σχετικά με τους χρήστες του, δήλωσε ο Murthy. Αυτήν τη στιγμή, η αποθήκη Facebook παίρνει 500 terabytes νέων δεδομένων κάθε μέρα, ή 500.000 gigabytes. Η αποθήκη έχει αυξηθεί σχεδόν 4000 φορές σε μέγεθος τα τελευταία τέσσερα χρόνια, "μπροστά από την αύξηση των χρηστών του Facebook", δήλωσε ο Murthy.

Για να αντιμετωπίσει αυτά τα προβλήματα, το Facebook έχει αναπτύξει το λογισμικό του Prism, βασικές λειτουργίες ανάλυσης σε όλα τα κέντρα δεδομένων της εταιρείας σε όλο τον κόσμο και χωρίζουν τις αναλύσεις σε "κομμάτια", δήλωσε ο Murthy. Με αυτόν τον τρόπο, η εκτέλεση μιας ανάλυσης, για παράδειγμα, κάποιας μέτρησης που σχετίζεται με τις ειδήσεις των χρηστών δεν θα φράξει την αποθήκη γενικότερα.

«Σκεφτόμαστε όλο και περισσότερο πώς να καταγράψουμε αυτά τα δεδομένα», ανέφερε. > Η εταιρεία εργάζεται επίσης σε ένα σύστημα που λαμβάνει μια εντελώς διαφορετική προσέγγιση για να ζητήσει από την αποθήκη να δώσει χρόνο απόκρισης μέσα σε λίγα δευτερόλεπτα, δήλωσε ο Murthy.

Ένας άλλος τομέας στο Facebook εξετάζει συνεχώς τη βελτίωση είναι η " "Που χειρίζεται τις πιο βασικές, καθημερινές επεξεργασίες δεδομένων, για παράδειγμα, αρέσει, σχόλια και ενημερώσεις κατάστασης, για να διατηρηθεί ομαλά η λειτουργία του κοινωνικού δικτύου. Μερικές από τις ερωτήσεις που εξετάζουν οι μηχανικοί και οι αναλυτές της εταιρείας είναι: να υπολογίσουμε πώς να προβλέψουμε την πραγματική αύξηση σε αυτό το είδος δεδομένων και πόσα υπολογιστικά στοιχεία θα έπρεπε πραγματικά να καταβάλει το Facebook, δήλωσε ο Murthy.

"Μπορούμε να προβλέψουμε τι θα είναι έξι μήνες από τώρα;"

Εν τω μεταξύ, το Facebook συμμετέχει επίσης σε μια μακροπρόθεσμη προσπάθεια για να καταστήσει τους φυσικούς διακομιστές πιο αποδοτικούς. Η εταιρεία ξεκίνησε το Open Compute Project το 2011, με στόχο να σχεδιάσει modularized servers που δίνουν στους πελάτες μεγαλύτερο έλεγχο στη δικτύωση, τη μνήμη, τα τροφοδοτικά και άλλα εξαρτήματα που εισέρχονται στους διακομιστές τους. Επεκτάθηκε για να ενσωματώσει επεξεργαστές ARM τον Ιανουάριο.