Yahoo Tumutulong sa IIT Bombay I-set up ang Hadoop Cluster Lab

Ang Yahoo ay tumutulong sa Indian Institute of Technology Bombay na mag-set up ng isang Hadoop cluster lab sa Mumbai sa pamamagitan ng pagbibigay ng kumpol ng mga server na tumatakbo sa open-source Hadoop software.

Apache Hadoop ay isang open-source na ipinamamahagi-computing proyekto ng Ang Apache Software Foundation na sumusuporta sa Yahoo.

Yahoo ay nagpapatakbo ng isang malaking bilang ng mga kritikal na operasyon nito gamit ang Hadoop, at hindi ito maaaring gawin ang lahat ng pananaliksik na kinakailangan sa paligid ng Hadoop sa loob ng kumpanya, sinabi Prabhakar Raghavan, senior vice president at pinuno ng Yahoo Labs isang pakikipanayam sa telepono sa Huwebes.

Yahoo inihayag noong Hunyo noong nakaraang taon ang sarili nitong pamamahagi ng Hadoop, na binabanggit ang interes mula sa komunidad ng Apache Hadoop na inuulat ang bersyon ng Hadoop na mga pagsusulit nito at inilalagay sa sarili nitong mga malalaking kumpol.

Ang kumpol lab sa M Ang tuldok ay tutulong sa mga mananaliksik sa mga lugar ng pag-aaral ng instituto tulad ng mga diskarte sa paghahanap at pagraranggo, pagkuha ng impormasyon at pagproseso ng natural na wika.

Ang mga mananaliksik na akademiko na gustong magsaliksik ng mga isyu na may kaugnayan sa Web ay karaniwang hindi nakakuha ng access sa mga mapagkukunang compute at terabytes ng Ang data na kinakailangan para sa pananaliksik sa mga problema sa Web-scale, sinabi ni Raghavan.

Simula sa pagbibigay ng mga mananaliksik ng Hadoop sa Carnegie Mellon University na may 4,000-processor supercomputer noong 2007, tinulungan ng Yahoo ang iba pang mga unibersidad sa US na i-set up ang Hadoop

Raghavan ay hindi nagbigay ng higit pang mga detalye sa kumpol na naka-install sa IIT, sinasabi lamang na ang mga server na may daan-daang CPU at kakayahan upang mahawakan ang terabytes ng data ay na-deploy doon.

Bukod sa IIT Bombay, Yahoo ay tumutulong sa pag-set up ng mga katulad na kumpol sa akademikong institusyon sa Alemanya at Singapore, sinabi ni Raghavan. Ang mga ito ang unang tatlong akademikong institusyon sa labas ng U.S. kung saan tinutulungan ng Yahoo ang pag-set up ng naturang mga kumpol, idinagdag niya.

Yahoo plano upang mamaya network ang ilan sa mga kumpol sa buong mundo upang lumikha ng isang "mas malaking utility". Bago iyon, kailangang palakasin ang kakayahan ng pangangasiwa ng sistema ng Hadoop upang maiwasan ang isang estudyante sa isang institusyon na pag-crash ng trabaho sa ibang institusyon, sinabi ni Raghavan.

Nakikipagtulungan ang Yahoo noong 2008 sa Computational Research Laboratories (CRL), isang lab na pinapatakbo ng India Tata Group, upang mag-alok ng mga pasilidad na supercomputing na libre sa mga institusyong pang-akademiko sa India na nagsasaliksik sa malaking iskala, lalo na sa paligid ng Hadoop. Ang pakikipagtulungan ay nagpapatuloy, ngunit nakatuon sa mataas na pagganap na supercomputing, sinabi ni Raghavan.

Ang pakikipagtulungan sa mga akademikong institusyon sa Hadoop ay tumutulong sa Yahoo na bumuo ng isang pool ng mga inhinyero na pamilyar sa Hadoop platform, ayon kay Raghavan. Ang ilan sa mga ito ay kahit na tinanggap ng Yahoo, idinagdag niya.

Yahoo ay nakinabang din mula sa mga ideya na lumabas mula sa mga akademikong institusyong paggawa ng pananaliksik gamit ang Hadoop, sinabi ni Raghavan. Gayunman, hindi siya nagbigay ng tiyak na mga pagkakataon ng mga ideya na kinuha mula sa pakikipagtulungan na ito sa mga institusyong pang-akademiko.