« AWS Device Farm で Web モバイルアプリのテストができるようになりました | メイン | Amazon RDS for PostgreSQL が、PostgreSQL 9.3から9.4へのポイント&クリックアップグレードをサポート »

Amazon EMR アップデート - Apache Spark 1.5.2, Ganglia, Presto, Zeppelin, そしてOozie

私の同僚のJon FritzがAmazon EMRの最新バージョンを紹介する投稿を書いてくれました。

-- Jeff;


 本日我々はAmazon EMR release 4.2.0をアナウンスしました。これには、Apache Spark 1.5.2、Apache HadoopとSparkの監視用のGanglia 3.6のサポート、及びPresto (0.125)、Apache Zeppelin (0.5.5)、Apache Oozie (4.2.0)という新しいsandboxのリリースが追加されています。

Release 4.2.0の新しいアプリケーション

Amazon EMRはHadoopとSparkエコシステムでの分散ビッグデータアプリケーションを、管理されたAmazon EC2インスタンスのクラスタ上に簡単にインストールし設定する手段を提供しています。AWSマネージメントコンソールのAmazon EMRクラスタ作成ページや、AWS Cmmand Line Interface (CLI)、またはSDKのEMR APIを使ってAmazon EMRクラスタを作成することができます。最新のリリースで、いくつかの新しいバージョンのアプリケーションのサポートを追加しました。

  • Spark 1.5.2 - Spark 1.5.2は11月9日にリリースされていて、その2週間後に一般利用可能な形で提供できたことを嬉しく思っています。このバージョンはメンテナンスリリースであり、Spark SQL,、SparkR、DataFrame APIの改善、そして多数の改良とバグ修正が含まれています。またSparkのドキュメントにブロック転送サービスのための通信経路暗号化を有効にするための情報が掲載されました。全ての変更点については、JIRAをご覧ください。Amazon EMR上でのSparkについて詳しく学びたい場合には、こちらをクリックして下さい。
  • Ganglia 3.6 - GangliaはAmazon EMRクラスタ上にインストールすることができ、Amazon EC2インスタンスレベルやクラスタレベルで集計したメトリクスを表示するための、スケーラブルで分散した監視システムです。我々はクラスタ内のインスタンスの一般的なリソース利用率に加えて、HadoopとSparkのメトリクスも投入して表示できるように設定をしていて、様々な時間幅でメトリクスが表示されます。Amazon EMRクラスタのマスターノード上のGanglia web-UIを使ってこれらのメトリクスを見ることができます。Amazon EMR上でのGangliaについて詳しく学びたい場合には、こちらをクリックして下さい。

Emr_420_ganglia_1

  • Presto 0.125 - PrestoはAmazon S3やHadoop分散ファイルシステム (HDFS)上の巨大なデータセットに対して低レイテンシのクエリをするために設計されたオープンソースの分散SQLクエリエンジンです。Presto 0.125はメンテナンスリリースで、SQL処理の最適化、パフォーマンス改善、そして一般的なバグ修正が含まれています。Amazon EMR上でのPrestoについて詳しく学びたい場合には、こちらをクリックして下さい。
  • Zeppelin 0.5.5 - ZeppelinはSparkを使ったデータ探索のためのオープンソースの対話的・協調的なノートブックです。Scala、Python、SQL、またはHiveQLを使ってデータを操作したり結果を可視化することができます。Zeppelin 0.5.5はメンテナンスリリースで、多数の改善とバグ修正が含まれています。Amazon EMR上でのZeppelinについて詳しく学びたい場合には、こちらをクリックして下さい。

Emr_420_zeppelin_1

  • Oozie 4.2.0 - OozieはHadoopとSparkのためのワークフローのデザインおよびスケジュールをするアプリケーションです。今回のバージョンではSparkとHiveServer2のアクションが追加されたので、SparkとHiveのジョブをOozieのワークフローに組み込みやすくなりました。また、HueというHive、Pig、そしてOozieのためのweb-UIを提供するアプリケーションのOozieエディタやダッシュボードを使ってOozieのワークフローを作成し管理することができます。ただしHue 3.7.1ではSparkジョブのためにはまだShellアクションを使う必要があります。Amazon EMR上でのOozieについて詳しく学びたい場合には、こちらをクリックして下さい。

Emr_420_oozie_1

今日からAmazon EMR クラスタをRelease 4.2.0で起動できます

Amazon EMRクラスタを4.2.0で作成するには、AWSマネージメントコンソールのクラスタ作成ページでrelease 4.2.0を選択するか、AWS CLIやSDKでEMR APIを使ってクラスタを作成する際にrelease labelにemr-4.2.0を使って下さい。

-- Jon Fritz, Senior Product Manager

原文: Amazon EMR Update – Apache Spark 1.5.2, Ganglia, Presto, Zeppelin, and Oozie | AWS Official Blog (翻訳: SA岩永)

 

コメント

Featured Event

2016年3 月

    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31