Cloudera는 Spark와 Hadoop을 하나의 플랫폼으로 삼기를 원합니다.

Cloudera는 얼마 전에 Apache Spark이 Big Data의 미래라고 보았다고 선언했습니다. Hadoop 생태계 구성 요소가 메모리 중심의 Spark 프로세싱 엔진에서 실행되고 MapReduce에 대한 의존성을 없애려는 세계를 예고하고 있습니다.

그 이후로 Spark 프로젝트는 업계에서 엄청난 인기를 누리고 있습니다. ClearStory Data 및 Paxata와 같은 제품은 Spark를 기본 엔진으로 사용합니다. IBM은 지난 6 월 스파크 서밋 (Spark Summit)에서 스파크에 대한 3 억달러의 헌신을 발표했다. 3500 명의 연구원과 샌프란시스코에서 스파크 기술 센터 (Spark Technology Center)를 설립했다. 그리고 지난 주 SAP는 Spark 기반 HANA Vora 기술을 발표했습니다.

그게 다 좋고 좋았지 만, 스파크에 대한 비판은 기업에서 생산 준비가되어 있지 않았기 때문에 지속되었습니다. 나 자신은 규모의 문제, 내결함성 및 데이터 손실 예방에 관한 문제는 물론 전반적인 안정성 부족에 대한 불만을 들었다. 대부분의 공급 업체들은 꼬임이 잘 풀릴 것이라는 낙관적 인 믿음을 보면서 군더더기를 걸어 왔습니다.

그냥해라, 누군가는 행동을 취할 필요가있다. 수요일, Cloudera는 강력하고 신뢰할 수있는 것이 아니라 Hadoop 생태계의 주요 실행 엔진이되도록 Spark의 단점을 해결하기 위해 특별히 정한 One Platform Initiative를 발표했습니다. Cloudera가 있다면, 모든 새로운 Hadoop 프로젝트는 Spark를 사용하고 MapReduce를 사용하지 않을 것입니다.

Big Data Analytics, 빅 데이터 애널리틱스, DataRobot은 데이터 과학의 저조한 성과를 자동화하는 것을 목표로하고 있으며 Big Data Analytics, MapR 창업자 인 John Schroeder는 사임하고, 대체 할 COO

클로우 데라 (Cloudera)의 수석 기술자 인 엘리 콜린스 (Eli Collins)는 클로 데라 (Cloudera)가 할 일에 대해 구체적으로 설명했다. 그는 One Platform Initiative의 일반적인 “기둥”인 Spark의 관리 인터페이스, 보안, 확장 성 및 스트리밍 데이터 기능을 개선했습니다.

One Platform Initiative는 Spark를 Hadoop과 훨씬 더 깊숙히 통합하고자합니다. Cloudera는 Spark이 Hadoop의 YARN 리소스 관리 레이어를보다 잘 실행하고 Hadoop의 분산 파일 시스템 (HDFS)을 훨씬 뛰어나게 활용하기를 원합니다.

해야할 일 목록 인 Cloudera는 이미 데이터 지역 (컴퓨팅 노드가 이미 로컬에 저장된 데이터에서 작동하는), HDFS 캐싱과의 통합, 향상된 주변 보안 및 Kerberos와의 통합 등의 기능을 Spark에 이미 도입했다고 밝혔습니다.

이제 Cloudera는 데이터 볼륨 변경 및 사용 가능한 클러스터 리소스를 기반으로 더 나은 디버깅 경험을 위해 Spark의 웹 사용자 인터페이스를 향상시키고 작업 매개 변수의 자동 조정을 추가하는 것과 같은 작업을 수행하려고합니다. 또한 Spark와 Cloudera Manager 및 Cloudera Navigator를 통합하려고합니다.

기득권자 Cloudera는 OLAP 및 데이터웨어 하우스 시스템에 익숙한 시장의 주목을 끌기 위해 Spark와 같은 기발한 메모리 편향 시스템이 필요하다는 것을 알고 있습니다. 그러나 이러한 기술은 Hadoop보다 적은 양의 데이터에 초점을 맞추지 만 MapReduce와 같은 배치 기반 시스템에 비해 분석 지향적이며 응답 성이 뛰어납니다.

그러나 Cloudera는 단순한 얼리 어답터 기술이 제공하지 않는 종류의 적합성, 마무리, 확장 성 및 안정성을 갖춘 기술이 고객에게 필요하다는 것도 알고 있습니다. 또한 이러한 고객은 이미 투자 한 Hadoop 스토리지 미디어 및 생태계 구성 요소와 통합해야합니다. One Platform Initiative는 Spark의 기능 및 Hadoop 통합을 발전시켜 기업 고객을 만족시키는 데 주력합니다.

One Platform Initiative의 목표는 달성 할 수 없으며 그들에 대한 대중의 공약은 모두 도움이됩니다. 큰 데이터 공급 업체에서 나올 수있는 더 현명한 계획 중 하나입니다. 스파크를 거의 종교적으로 뒷받침 한이 업계는 성공을 위해 One Platform Initiative가 필요합니다. 기회는 좋을 것이다.

LinkedIn, 새로운 블로깅 ​​플랫폼 발표

Big OLAP 시대인가?

DataRobot은 데이터 과학의 낮은 매달린 열매를 자동화하는 것을 목표로합니다.

MapR 창업자 존 슈뢰더 (John Schroeder)가 물러났다.