Komponentit

Mga Vendor ng Database Magdagdag ng MapReduce ng Google

What is MapReduce?

What is MapReduce?
Anonim

Greenplum at Aster Data Systems, dalawang startup na kasangkot sa malakihan ang pagtatasa ng data, inihayag sa linggong ito na ang kanilang mga produkto ay sumusuporta sa MapReduce, isang programming technique na orihinal na binuo ng Google para sa parallel processing ng malalaking data set sa hardware ng kalakal.

Software developers ay madalas na maging mas komportable sa mga wika tulad ng Java at C ++ kaysa sa ang database ng SQL, sinabi ni Mayank Bawa, cofounder at CEO ng Aster, tagagawa ng isang cluster database system na naghihiwalay sa workloads sa maraming discrete tiers.

"Karamihan sa mga developer ay nakikipagpunyagi sa mga nuances ng paggawa ng isang database ng sayaw sa kanilang mga direksyon," siya sumulat sa isang blog post. "Sa katunayan, ang SQL maestro ay kinakailangan upang magsagawa ng mga kagiliw-giliw na mga query para sa mga transformation ng data (sa panahon ng pagproseso ng ETL o pag-extract-Load-Transform processing) o data mining (sa panahon ng analytics)."

Enter MapReduce, ang layunin ng "trivially parallelizable framework upang kahit na ang mga developer ng novice (aka interns) ay makakapagsulat ng mga programa sa iba't ibang mga wika (Java / C / C ++ / Perl / Python) upang pag-aralan ang data na independiyenteng ng scale," ayon kay Bawa. tagagawa ng isang database na sinasabi nito ay maaaring sukatan sa isang petabyte ng impormasyon, sinabi sa linggong ito na ang isang MapReduce framework ay magiging bahagi ng dataflow engine nito bilang ng Setyembre.

Ang twin announcements nagdala ng isang pagtango ng pag-apruba mula sa isang malapit tagamasid ng database "Sa sarili nitong paraan, ang MapReduce ay maaaring gumawa ng maraming mahahalagang gawain sa pagmamanipula at pag-aaral ng data. Ang pagsasama nito sa SQL ay dapat lamang dagdagan ang paggamit nito at kapangyarihan," ang isinulat ni Curt Monash ng Monash Research, sa blog ng DBMS2.

"Hindi kinakailangan ang MapReduce para sa tabu lar pamamahala ng data. Iyon ay mahusay na parallelized sa iba pang mga paraan, "idinagdag niya." Ngunit kung nais mong bumuo ng hindi tabular na mga istraktura tulad ng mga index ng teksto o mga graph, MapReduce lumiliko out upang maging isang malaking tulong. "