Get Started for FREE
Sign up with Facebook Sign up with X
I don't have a Facebook or a X account
 Your new post is loading...
Your new post is loading...
Scoop.it!
|
|
Scooped by Aurélien BADET |
Scoop.it!
En 2004, Google a publié un article présentant son algorithme de calcul à grande échelle, MapReduce, ainsi que son système de fichier en cluster, GoogleFS. Rapidement (2005) une version open source voyait le jour sous l’impulsion de Yahoo.
Aujourd’hui il est difficile de se retrouver dans la jungle d’Hadoop pour les raisons suivantes :
Ce sont des technologies jeunes.
Beaucoup de buzz et de communication de sociétés qui veulent prendre le train Big Data en marche.
Des raccourcis sont souvent employés (non MapReduce ou un équivalent n’est pas suffisant pour parler d’Hadoop).
Beaucoup d’acteurs différents (des mastodontes, des spécialistes du web, des start-up, …).
Dans une distribution Hadoop on va retrouver les éléments suivants (ou leur équivalence) HDFS, MapReduce, ZooKeeper, HBase, Hive, HCatalog, Oozie, Pig, Sqoop, …
Ces solutions sont des projets Apache et donc disponibles mais l’intérêt d’un package complet est évident : compatibilité entre les composants, simplicité d’installation, support, …
Dans cet article on évoquera les trois distributions majeures que sont Cloudera, HortonWorks et MapR, toutes les trois se basant sur Apache Hadoop.
On peut toutefois les distinguer en fonction de la distance qu’elles prennent avec cette base :
MapR : noyau Hadoop mais repackagé et enrichi de solutions propriétaires.
Cloudera : fidèle en grande partie sauf pour les outils d’administration.
HortonWorks : fidèle à la distribution Apache et donc 100% open source.
Il existe d’autres distributions, voire des offres cloud, mais qui n’offrent pas l’ensemble des fonctionnalités d’une plate forme Hadoop ou ne sont pas open source (ou a minima gratuites) comme Intel Distribution for Hadoop ou bien Greenplum (Pivotal HD).
|
|
Scooped by Aurélien BADET |
Scoop.it!
L'Open Source monte en puissance à la fois sur des fonctions traditionnelles comme la gestion de contenu sur le Web et surtout sur les nouveaux usages tels que le Big Data. Voici dix projets Open Source qui ont fait leurs preuves en 2012 et qui devraient encore croître en 2013.
|
|
Scooped by Aurélien BADET |
Scoop.it!
|
|
Scooped by Aurélien BADET |
Scoop.it!
Une base de données ouverte aux concurrents et à terme au public, en collaboration avec ses rivaux, c’est ce que met en place Nike, qui juge le procédé plus efficace pour tous.
« Il y a des domaines dans lesquels il faut rivaliser et d’autres dans lesquels il faut collaborer. » Ces mots ont été prononcés par Hannah Jones, vice-présidente du département innovation et activité durable de Nike, dans une salle de conférence comble à l’occasion de la conférence Financial Times Innovate 2012 qui s’est tenue à Londres début novembre.
On n’associerait pas forcément l’industrie extrêmement concurrentielle des vêtements de sport aux entreprises collaboratives et à l’informatique décisionnelle collective. Pourtant, d’après la représentante de Nike, c’est précisément ce que son entreprise essaye de réaliser, en appliquant l’approche open source à l’analyse des Big Data, les grands volumes de données.
|
|
Scooped by Aurélien BADET |
Scoop.it!
Gilles Babinet, ancien du CNN (Conseil National Du Numérique) et actuellement responsable des enjeux de l'économie numérique, pour la France auprès de la Commission européenne a été interviewé par mes amis de TinkerView au sujet des Big Data, de la déconnexion des institutions (gouvernement) par rapport à l'ère du numérique, de la CNIL etc etc... …
|
|
Scooped by Aurélien BADET |
Scoop.it!
Vous étiez une centaine à assister au Data Tuesday de l’Open Source Face au déluges des données il y a quelques jours. Pour les organisateurs, la rencontre a permis de "mettre en exergue les liens étroits qui existent entre la communauté Data et celle de l’Open Source."
L’événement se déroulait fin février à Paris. Vous pouvez à présent télécharger les présentations des huit intervenants, au format ZIP.
Quelles sont ces présentations ?
- Stéfane Fermigier - Abilian > Data et Open Source
- Charlie Clairmont – Altic > L’écosystème Open Source au services des Big Data
- Nicolas Chauvat - Logilab > Utilisation d’Open Data avec Cubic Web
- Vincent Picavet - Oslandia > Spatial n’est pas spécial
- Jean Paul Smets - Nexedi > Shacache.org - la mémoire du code
- Olivier Grisel - ENSTA > Présentation du projet Scikit learn - machine learning en pyhton
- Nicolas Baldeck - OpenMeteoData > Supercalculateur associatif pour faire tourner un modèle météo libre
- Florian Douetteau - Dataiku > Construire son Data Lab Open Source en pratique
|
|
Scooped by Aurélien BADET |
Scoop.it!
La fondation Apache annonce la disponibilité de Cassandra 1.2, dernière version de la base de données NoSQL open source.
Cassandra 1.2 s’annonce comme une version majeure de cette base de données NoSQL open source. Cette seconde génération de la base apporte son lot de nouvelles fonctionnalités validées par l’ASF (Apache Software Foundation).
Cassandra 1.2 est tout d’abord une base de données haute performance, capable de traiter simultanément des milliers de requêtes, destinée au Big Data, NoSQL pour traiter la diversité des informations non structurées – par opposition aux données SQL structurées -, scalable pour évoluer sans interruption et à tolérance de panne.
|
|
Scooped by Aurélien BADET |
Scoop.it!
Entretien-fleuve avec le patron de Red Hat, Jim Whitehurst. Une personnalité sympathique et ouverte, qui comprend les rouages profonds de l’open source et le bien-fondé de cette approche.
Il y a des dirigeants qui occupent un poste de rêve. C’est sans conteste le cas de Jim Whitehurst, CEO de Red Hat depuis décembre 2007, qui a su trouver un travail à la hauteur de sa passion pour l’open source, tout en ayant la confiance des investisseurs (précédemment, il avait sauvé Delta Air Lines de la banqueroute).
Dans le cadre d’un entretien exclusif, Jim Whitehurst a répondu sans concession à toutes nos questions. Il commence tout d’abord par nous décrire le mantra de l’entreprise : « S’appuyer sur la puissance de l’open source et en faire des produits consommables par les entreprises. »
