Ιστοσελίδες

Το Yahoo βοηθά το Ινστιτούτο Τεχνολογίας της Ινδονησίας για να δημιουργήσει ένα εργαστήριο cluster Hadoop

Ernesto Sirolli: Want to help someone? Shut up and listen!

Ernesto Sirolli: Want to help someone? Shut up and listen!
Anonim

Το Apache Hadoop είναι ένα σχέδιο κατανεμημένων υπολογιστών ανοικτού κώδικα Apache Software Foundation που υποστηρίζει το Yahoo

Το Yahoo τρέχει μεγάλο αριθμό κρίσιμων λειτουργιών χρησιμοποιώντας το Hadoop και δεν μπορεί να κάνει όλη την έρευνα που απαιτείται γύρω από την Hadoop μέσα στην εταιρεία, δήλωσε ο Prabhakar Raghavan, ανώτερος αντιπρόεδρος και επικεφαλής του Yahoo Labs μια τηλεφωνική συνέντευξη την Πέμπτη

Η Yahoo ανακοίνωσε τον Ιούνιο του περασμένου έτους τη δική της διανομή του Hadoop, αναφέροντας το ενδιαφέρον της κοινότητας Apache Hadoop ότι δημοσιεύει την έκδοση του Hadoop που δοκιμάζει και αναπτύσσει με δικά της μεγάλα clusters. εργαστήριο στο M umbai θα βοηθήσουν τους ερευνητές του Ινστιτούτου να μελετήσουν τομείς όπως οι τεχνικές αναζήτησης και κατάταξης, η εξόρυξη πληροφοριών και η επεξεργασία φυσικής γλώσσας.

Οι ακαδημαϊκοί ερευνητές που επιθυμούν να διερευνήσουν θέματα που σχετίζονται με το Διαδίκτυο δεν έχουν συνήθως πρόσβαση σε υπολογιστικούς πόρους και terabyte τα δεδομένα που απαιτούνται για την έρευνα σχετικά με τα προβλήματα Web-scale, δήλωσε ο Raghavan.

Ξεκινώντας από την παροχή ερευνητών Hadoop στο πανεπιστήμιο Carnegie Mellon με έναν υπερυπολογιστή 4000 επεξεργαστών το 2007, η Yahoo βοήθησε άλλα πανεπιστήμια στις ΗΠΑ να δημιουργήσουν Hadoop

Η Raghavan δεν έδωσε περισσότερες λεπτομέρειες για το cluster που εγκαταστάθηκε στο IIT, λέγοντας ότι οι servers με εκατοντάδες επεξεργαστές και η δυνατότητα χειρισμού terabytes δεδομένων έχουν αναπτυχθεί εκεί.

Εκτός από το IIT Bombay, το Yahoo συμβάλλει στη δημιουργία παρόμοιων συμπλεγμάτων σε ακαδημαϊκά ιδρύματα στη Γερμανία και τη Σιγκαπούρη, δήλωσε ο Ραγκχάαν. Αυτά είναι τα πρώτα τρία ακαδημαϊκά ιδρύματα εκτός των ΗΠΑ, όπου η Yahoo βοηθά στη δημιουργία τέτοιων συμπλεγμάτων, πρόσθεσε.

Το Yahoo σχεδιάζει να συνδέσει αργότερα μερικά από τα clusters σε όλο τον κόσμο για να δημιουργήσει μια "μεγαλύτερη χρησιμότητα". Πριν από αυτό, οι δυνατότητες διαχείρισης του συστήματος της Hadoop πρέπει να ενισχυθούν για να αποφευχθεί το ενδεχόμενο ένας φοιτητής σε ένα ίδρυμα να συντρίψει το έργο σε άλλο ίδρυμα, ανέφερε ο Raghavan.

Το Yahoo συνεργάστηκε το 2008 με τα εργαστήρια Computational Research Laboratories (CRL) Tata Group, για να προσφέρει εγκαταστάσεις υπερυπολογιστών δωρεάν σε ακαδημαϊκά ιδρύματα στην Ινδία που ερευνούν υπολογιστές μεγάλης κλίμακας, ιδιαίτερα γύρω από τον Hadoop. Η συνεργασία αυτή συνεχίζεται, αλλά επικεντρώνεται στην υπερυπολογιστή υψηλής απόδοσης, δήλωσε ο Raghavan.

Η συνεργασία με τα ακαδημαϊκά ιδρύματα του Hadoop βοηθά το Yahoo να δημιουργήσει μια ομάδα μηχανικών εξοικειωμένων με την πλατφόρμα Hadoop, σύμφωνα με τον Raghavan. Ορισμένοι από αυτούς έχουν μάλιστα προσληφθεί από το Yahoo, πρόσθεσε.

Το Yahoo έχει επίσης επωφεληθεί από ιδέες που έχουν προκύψει από ακαδημαϊκά ιδρύματα που πραγματοποιούν έρευνες χρησιμοποιώντας τον Hadoop, δήλωσε ο Raghavan. Ωστόσο, δεν έδωσε συγκεκριμένες ιδέες που αντλήθηκαν από αυτή τη συνεργασία με ακαδημαϊκά ιδρύματα.