AWS Solutions Architect ブログ

AWS Black Belt Online Seminar 「AWS Code Services Part 2」 資料及びQ&A公開

こんにちは、ソリューションアーキテクトの焼尾です。

先日(2017/6/28)開催致しました AWS Black Belt Online Seminar 「AWS Code Services Part 2」の資料を公開いたしました。当日参加者の皆様から頂いたQAの回答と併せてご紹介致します。

今後のAWS Black Belt Online Seminarのスケジュールは こちら です。皆様のご参加をお待ちしております。

AWS Black Belt Online Seminar AWS Code Services Part 2 from Amazon Web Services Japan

【Q&A】

Q1. CodeDeployについて、S3やGitHubに配置したことをトリガーにCodeDeployを自動起動することは可能でしょうか。

A1. S3の場合は、S3:ObjectCreated:* イベントでLambdaを実行、GitHubの場合はService Hookを記述することでCodeDeployを自動起動することができますが、AWS CodePipelineを利用することで、より簡単にソースの更新によるAWS CodeDeployの実行が可能ですので、AWS CodePipelineを組み合わせて利用されることをお勧めします。GitHubとAWS CodeDeployの連携については以下の記事が参考になります。

https://aws.amazon.com/jp/blogs/devops/automatically-deploy-from-github-using-aws-codedeploy/

Q2. CodeDeployエージェントはインターネットへの通信を行う必要がありますか？

A2. はい、AWS CodeDeployのパブリック エンドポイントにHTTPSで接続できる必要があります。

Q3. CodePipelineでリージョンをまたいだモデルを定義・管理することは可能ですか？

A3. CodePipelineはリージョンをまたいだモデルを定義、管理することはできません。

Q4. CodeDeployのデプロイ先のEC2の場合、セキュリティグループでどのインバウンドを許可する必要がありますか？また、インバウンド許可するIPは全て（0.0.0.0/0）にしなければなりませんか？

A4. AWS CodeDeployのデプロイするEC2インスタンス用に特別にポートを開ける必要はありません。SSHやRDPでインスタンスを管理される場合は、対象のポートを開けて頂くことになりますが、その際も特定のIPアドレスに制限頂くことをお勧めします。

Q5. CodeStarは東京リージョンはまだですが、CodeStarが利用できるCodeDeployやCodePipelineは東京リージョンのものを利用することが可能ですか？

A5. AWS CodeStarでは、AWS CodeStarと異なるリージョンのAWS CodeDeployやAWS Codepipelineを利用頂くことはできません。

以上です。

こんにちは、ソリューションアーキテクトの焼尾です。

先日(2017/6/28)開催致しました AWS Black Belt Online Seminar 「AWS Code Services Part 2」の資料を公開いたしました。当日参加者の皆様から頂いたQAの回答と併せてご紹介致します。

今後のAWS Black Belt Online Seminarのスケジュールは こちら です。皆様のご参加をお待ちしております。

AWS Black Belt Online Seminar AWS Code Services Part 2 from Amazon Web Services Japan

【Q&A】

Q1. CodeDeployについて、S3やGitHubに配置したことをトリガーにCodeDeployを自動起動することは可能でしょうか。

A1. S3の場合は、S3:ObjectCreated:* イベントでLambdaを実行、GitHubの場合はService Hookを記述することでCodeDeployを自動起動することができますが、AWS CodePipelineを利用することで、より簡単にソースの更新によるAWS CodeDeployの実行が可能ですので、AWS CodePipelineを組み合わせて利用されることをお勧めします。GitHubとAWS CodeDeployの連携については以下の記事が参考になります。

https://aws.amazon.com/jp/blogs/devops/automatically-deploy-from-github-using-aws-codedeploy/

Q2. CodeDeployエージェントはインターネットへの通信を行う必要がありますか？

A2. はい、AWS CodeDeployのパブリック エンドポイントにHTTPSで接続できる必要があります。

Q3. CodePipelineでリージョンをまたいだモデルを定義・管理することは可能ですか？

A3. CodePipelineはリージョンをまたいだモデルを定義、管理することはできません。

Q4. CodeDeployのデプロイ先のEC2の場合、セキュリティグループでどのインバウンドを許可する必要がありますか？また、インバウンド許可するIPは全て（0.0.0.0/0）にしなければなりませんか？

A4. AWS CodeDeployのデプロイするEC2インスタンス用に特別にポートを開ける必要はありません。SSHやRDPでインスタンスを管理される場合は、対象のポートを開けて頂くことになりますが、その際も特定のIPアドレスに制限頂くことをお勧めします。

Q5. CodeStarは東京リージョンはまだですが、CodeStarが利用できるCodeDeployやCodePipelineは東京リージョンのものを利用することが可能ですか？

A5. AWS CodeStarでは、AWS CodeStarと異なるリージョンのAWS CodeDeployやAWS Codepipelineを利用頂くことはできません。

以上です。

AWS Black Belt Online Seminar「AWS Greengrass」の資料およびQA公開

こんにちは、プロフェッショナルサービスの宮本です。

先日開催致しました AWS Black Belt Online Seminar 「AWS Greengrass」の資料を公開いたしました。当日参加者の皆様から頂いたQAの回答と併せてご紹介致します。

今後のAWS Black Belt Online Seminarのスケジュールは こちら です。皆様のご参加をお待ちしております。

  

20170627 aws black belt_Greengrass from Amazon Web Services Japan

 

【Q&A】

 

Q1:S3に保存するようなLambdaも動くという認識で良いですか？
A1:はい。Greengrass上で動作するLambdaから他のAWSサービスへの接続することは可能です。GreengrassのIAM Roleなどの権限設定が必要です。

 

Q2:Greengrassを理解するには、まずIoTの方をしっかり押さえておかないと、難しいでしょうか？
A2:はい。AWS IoTとの機能関連性が深いためにAWS IoTのThing/証明書などの知識は理解して頂く方が良いかと思います。

 

Q3:ゲートウェイデバイスからログを送信して、Lambdaで処理ということはできますでしょうか？
A3:ゲートウェイからとの事ですが、こちらInternetが利用可能であればAWS IoTでの処理もご検討頂く方が良いかと思います。

    ローカルでの処理であれば、Device/Thingからのログを纏める/操作するためにGreengrass上のLambdaで処理することも可能です。

 

Q4:ゲートウェイデバイスからテキストファイルを送信してLambdaで処理するということはできますでしょうか？
A4: Device/ThingとGreengrass coreとの間はMQTTの通信となるため、テキストファイルとなると難しい部分があります。

      MQTTで通信可能な量であれば通信のファイルの内容をpayloadに乗せていただくことで対応可能です。

 

Q5:Greengrassはus-east-1とus-west-2のみ提供されていますが、AWS IoTやCloudWatch Logs等との連携はGreengrassを作成したリージョンのサービスとの連携になりますか？
A5:はい。AWS IoTのThingとしてGreengrass Core/Deviceが定義されることから、regionを超えた管理は難しい状況です。

 

Q6:ローカルストレージの監視のベストプラクティスはありますか？
A6:ベストプラクティスという点では解答が難しいですが、従来のオンプレミスの監視と同様の仕組みをご検討頂くことや、device自身をThingとして登録してディスク使用率をCloudへ送ることで監視するなどは検討できると思います。

 

Q7:Machine Learningの推論をローカル側で行えると認識していますが、pythonで自前で学習済みデータを読み込む処理を記述するという認識で良いですか。
A7:はい。ローカル前提ですと、Lambdaの中でモデル評価をするようにして頂く必要があります。

 

Q8:LambdaのblueprintでGreengrassで検索しても出てこないようなんですが、東京リージョンがまだ未対応でしょうか？
A8:はい。現在、Greengrassの対応リージョンが Virginia/Oregonとなっております。 Lambdaのblueprintは対応リージョンでのみの表示となっております。
     解説の中で対応リージョンのご案内が漏れておりました。申し訳ございません。

 

Q9:実例に基づくAWS IoTとGreengrassのユースケース /お客様に提案する際、何を基準として提案するかを知りたいです
A9:AWS Greengrassの提案という話でしたら、local処理が必須かと言う点になります。以下に例示します。
・山奥などの僻地でネットワークコネクティビティがない、SIMを使っても基地局が近くにないようなユースケース
・製造業のロボット制御のように異常検知してから低レイテンシで制御が必要なユースケース(Cloud経由でのturnaroundが許容出来ない)
・センサーが取得するデータに個人情報などセンシティブ情報が含まれており、そのままクラウドにデータを上げにくいケース(localでセンシティブ情報をマスク/除去する)
それ以外のケースはAWS IoTをベースにご検討頂く方がアーキテクチャとしてシンプルになるかと思います。

 

Q10:デプロイのタイミングはデバイス側などから指定できますか？

A10:デプロイタイミングはcloud側へのデプロイアクション通知(※)が契機となりますので、デバイス側からは出来ません。

     (※)Greengrass Groupのdeploy指示 

 

 

以上です。

[AWS Black Belt Online Seminar] Server Migration Service & Application Discovery Service 資料及び Q&A 公開

こんにちは、ソリューションアーキテクトの志村です。先日 (2017/6/21) 開催いたしました AWS Black Belt Online Seminar「Server Migration Service & Application Discovery Service」の資料を公開いたしました。当日参加者の皆さまからいただいた質問の回答とあわせてご紹介いたします。

また、今後のAWS Black Belt Online Seminarのスケジュールは こちら です。皆さまのご参加をお待ちしております。 

スライド

20170621 aws-black belt-ads-sms from Amazon Web Services Japan

Q&A

Q1. ADSサーバはAWSによるマネージドサービスという認識で良いでしょうか？
A1. ADSサーバに限ればマネージドサービスと言うことができます。 

Q2. ADS自体は無料という事ですが、エージェント型の場合はAPNパートナーに何か費用が発生したりするのでしょうか？
A2. エージェント型でADSをご利用するためにはAPNパートナーである必要がございます。パートナーでないお客様がご利用したい場合、費用発生の有無や費用金額は個々のAPNパートナーにお問い合わせください。 

Q3. エージェントレスの場合、ESXi 上にあるサーバはすべて対象になってしまうのでしょうか？自部署や該当システムのみ収集することはできますでしょうか？  
A3. ADSコネクタはvCenter ServerのIPアドレス、IDをもとに設定され、vCenter Serverから情報収集を行います。調査対象を制御したい場合、ADS側ではなくvCenter Server側で何らかの対応をしていただくことになります。 

Q4. ADSのネットワーク図はどこから情報を取得してネットワーク図にするのでしょうか？
A4. ADSエージェントは調査対象となるOSから情報を収集しています。

Q5. ADSの使用量の上限については、CloudWatch等で監視できるのでしょうか？
A5. いいえ。現時点ではCloudWatchによる監視はサポートされておりません。 

Q6. ADSはZabbixのような統合監視システムを置き換える、サーバ統合監視サービスという認識で良いでしょうか？
A6. いいえ。ADSは移行のために既存システムの情報を収集するサービスです。 

Q7. Application Discovery Serviceについて質問です。ネットワーク的に接続されているサーバが表示されていましたが、収集期間中に発生したアクセスを全て調査しているということでしょうか？
A7. いいえ。ネットワークの接続部分についてのみ情報収集をしており、流れるデータの中身などは収集しておりません。 

Q8. SMSは、VMインポートが進化したサービスということでしょうか？異なる場合は、違いをお教えいただけますでしょうか？
A8. VMインポートでご要望の多かった機能を付け加えたサービスです。例えば、同時50VMまでの移行サポートや差分コピーによる効率的な移行、GUIによる操作環境の提供などです。一方、VMインポートと異なり古いバージョンのESX等には対応しておりませんし、コネクタのデプロイ作業などが必要となっています。 

Q9. SMSはインターネットに出ずに使用可能でしょうか？
A9. いいえ。インターネット経由での利用となります。

Q10. SMSの移行に必要な停止時間はどの程度でしょうか？　またどのような要素によって変動しますか？
A10. SMSの移行にかかる時間は大きく３つあります。①vCenter でのスナップショット取得時間、②ネットワーク転送時間、③AMI作成時間です。SMSは差分移行が可能ですので、最後の差分に対しての①＋②＋③の時間が停止時間となります。

Q11. SMSでの移行の際、オンプレミス⇔AWSのネットワーキングとして制限事項はありますでしょうか？Direct Connect経由でのS3へのアップロードは可能でしょうか？
A11. SMSの制限事項についてはユーザーガイドをご覧ください。SMSは現時点ではDirect Connectのサポートはございません。

http://docs.aws.amazon.com/ja_jp/server-migration-service/latest/userguide/prereqs.html 

Q12. VMware の仮想ＯＳレベルでのネットワーク設定情報は、Server Migration Service にて生成した AMI では Amazon DNS の DHCP で提供されたローカルＩＰアドレス（例えば172.30.0.0/24） に変換して利用開始できる、という認識でよいでしょうか？ VMware にて複数NIC を定義している際に追加 ENI を……というところでハマってしまいそうでして、質問お送りしました。
A12. SMSは自動的にDHCPを構成するため、お客様はDNSへ変更する必要があります。もし固定IPアドレスを利用したい場合、お客様がご自身で設定する必要があります。 

Q13. SMS利用はvCenterへのインターネットHTTP接続前提でしたが、DirectConnectなどで閉域網での利用は可能ですか？
A13. はい。SMSはパブリック接続によるDirect Connectをサポートしております。ネットワーク要件についてはユーザーガイドを御覧ください。

http://docs.aws.amazon.com/ja_jp/server-migration-service/latest/userguide/prereqs.html

Q14. ADSは会社に既存の構成管理ツールがあれば不要ではないでしょうか。特筆するメリットはありますか。
ADSは移行のために既存システムの構成などの情報を収集する無償のサービスです。既存のツールで移行計画策定のための情報収集が可能であれば、ADSを無理にご利用頂く必要はございません。

 

以上です。

[AWS Black Belt Onine Seminar] AWS Snowball 資料及びQ&A公開

こんにちは、ソリューションアーキテクトの焼尾です。

先日(2017/6/14)開催致しました AWS Black Belt Online Seminar 「AWS Snowball」の資料を公開いたしました。当日参加者の皆様から頂いたQAの回答と併せてご紹介致します。

今後のAWS Black Belt Online Seminarのスケジュールは こちら です。皆様のご参加をお待ちしております。

20170614 aws black-belt_snowball from Amazon Web Services Japan

 

Q1. クライアントのネットワークインタフェースが10Gbpsとのことですが、10GBase-T(カッパー)でも問題ないでしょうか？

A1. はい。10GBaseTをご利用になれます。

Q2. S3上のファイルをエクスポート（オンプレミスへの移行）するためにSnowballを使用することは可能でしょうか？

A2. はい。エクスポートにもご利用いただけます。但し、エクスポートの場合には容量に応じた取り出し料金が発生致しますのでご注意ください。

Q3. 案件で20TB程度の移行を検討しているのですが、この容量でもSnowballを利用は適するでしょうか？

A3. スケジュールやデータ移行にご利用可能なネットワーク環境にも依存致しますが、20TB程度であれば現実的なSnowball利用検討の範囲かと思います。ご自身の環境で期待した速度が得られるかどうかをsnowball testコマンドで事前にご確認いただくことをお勧め致します。なお、2017.6月現在、東京リージョンでご利用を希望される場合は担当営業経由でPrivate Previewにお申込みください。

Q4. Snowballに書き込めるファイル数に制限はあるのでしょうか。

A4. ファイル数に関して明示的な制限として公開されている情報はございませんが、大量データを扱う場合、むしろアプライアンス容量が先に上限に達することが予想されます。セッション中でもお話しさせていただいたとおり、Snowballではオブジェクトサイズが書き込み/読み出し性能に大きく影響しますのでこの点にご注意ください。

以上です。

[AWS Black Belt Onine Seminar] Amazon Redshift Update - 最近追加された新機能とRedshift Spectrumの解説

こんにちは、パートナーソリューションアーキテクト（PSA)の相澤です。

先日開催致しました AWS Black Belt Online Seminar 「Amazon Redshift Update - 最近追加された新機能とRedshift Spectrumの解説」の資料を公開いたしました。当日参加者の皆様から頂いたQAの回答と併せてご紹介致します。

今後のAWS Black Belt Online Seminarのスケジュールは こちら です。皆様のご参加をお待ちしております。

 

AWS Black Belt Online Seminar 2017 Amazon Redshift Update 最近追加された新機能と Redshift Spectrum from Amazon Web Services Japan

 

【Q&A】

Q1. Redshift Spectrum と Athenaの違い（使い分け）はなんですか？
A1. サービスの選択はどのようなワークロード、ユースケースかによって変わるため一概には決められないのですが、一般的な使い方としてはRedshiftはデータウェアハウスを構築するのに向いています。定常的にデータが更新され、分析を続けるという用途（DWH）にはRedshiftをご検討いただくのが良いでしょう。

一方で新しいサービスやデータが速いペースで作られ、対象データが頻繁に変わっていくようなケースでの分析にはAthenaが便利です。Athenaはサーバレスであり、事前にクラスターを作成しなくてもCREATE EXTERNAL TABLEで表を作成してすぐに分析が可能です。使っていない時間はコストを抑えられ、管理コストが掛からないというメリットもあります。

 

Q2. クライアントがEC2の場合、Internetへの経路かVPCエンドポイントへの経路が必要になりますか？
A2. ご質問の意図を理解しかねているかもしれませんが、Redshift Spectrumを利用するうえでは、Internetへの経路は必要ありません。

 

Q3. Athenaで作成したテーブル定義は、redshift spectrumでそのまま流用出来るのでしょうか？
A3. 多くはそのまま利用可能ですが、Spectrum側で対応していない定義（例：配列）などもあり、そのまま流用できない場合もあります。
詳細は以下のドキュメントをご参照ください。
http://docs.aws.amazon.com/ja_jp/redshift/latest/dg/c-spectrum-external-schemas.html

 

Q4. spectrum のIAMロールですが、S3からRedshiftのアクセスをLIST・GET許可すればよいということでしょうか？
A4. データを保存したS3バケットに対してLISTとGETができる権限を持ったロールをご利用ください。

 

Q5. 暗号化されているS3のオブジェクトには対応されているのでしょうか？
A5. 対応しております。詳細は以下のドキュメントをご参照ください。
http://docs.aws.amazon.com/ja_jp/redshift/latest/dg/c-spectrum-data-files.html

 

Q6. Spectrumだけを使用しようとした場合サイジングは必要ですか？
A6. Spectrum層へのリクエストや、Spectrum層からデータを受け取った後の処理はRedshiftクラスター側で行っているため、
Spectrumのみ利用する場合でも適切なパフォーマンスが発揮できるかのサイジングは必要です。

 

Q7. ディメンジョンを redshift に置くのは、そっちのほうが処理が早いからですかね？
A7. ファクトとディメンジョン、どちらをS3およびローカルに置いていただいても動作しますが、一般的にはディメンジョンは更新が少なくまたデータサイズもファクトより小さい傾向があるため、一度Redshiftのローカルに取り込んでおいた方が、速度面や費用面でメリットが大きい傾向があると考えられます。

 

Q8. コストですがスキャンデータが１GBだったとしても１回５＄かかりますか？
A8. その月でのトータルS3スキャン量を合算し、その合計の1TBあたり$5の費用がかかります。

 

Q9. CLIやSDKから処理を実行することは可能でしょうか？
A9. RedshiftにSQLを送信して実行できる環境からであれば、Spectrumの機能がご利用いただけます。

 

Q10. year=2016 って、ディレクトリの名前ですか？
A10. Hive formatでのディレクトリ名です。「パーティション列名=値」の形でディレクトリ（プリフィクス）を作成します。

 

Q11. MobileAnalyticsで取得しているデータがS3へAutoExportされています。これをSpectrumで読み込むことができますか？
A11. MobileAnalyticsが出力するデータはJSON形式です。現時点ではSpectrumはJSON形式には対応していないため、そのまま読み込むことはできません。
Redshiftローカルに対してはJSONデータを読み込むことが可能です。詳細は以下のドキュメントをご参照ください。
http://docs.aws.amazon.com/ja_jp/redshift/latest/dg/copy-usage_notes-copy-from-json.html

 

Q12. RedshiftとAthenaは同一リージョンである必要はありますか？
A12. 同じリージョンにあるAthenaに自動的にメタデータを保存します（同一リージョンにしか保存できません）。
独自のHive Metastoreを構築してそこにメタデータを保存することは可能ですが、そのサーバはRedshiftと同一VPC内にある必要があります。

 

Q13. CTASではなく、事前に CREATE TEMPORARY TABLE しておいて INSERTする場合は 従来より圧縮形式等を自由に指定しておくことができたという理解でよいでしょうか？
A13. CREATE TEMPORARY TABLEでは利用者が列に圧縮エンコードを指定することが可能です。

 

Q14. Spectrumで作った外部表からCTASしてRedshift内にテーブルを作ることは可能でしょうか？
A14. 外部表の結果を元にCTASでRedshiftローカルディスク上に表を作成することは可能です。このためSpectrumをS3からのロード処理に利用することが可能です。

 

Q15. Spectrumは、サーバーレスでは無いのですか？
A15. Redshift Spectrumは、Redshiftクラスターと、Spectrum層でできています。Spectrum層はサーバレスのサービスですが、Redshiftクラスター自体は（RDSなどと同じで）サーバという概念があります。

 

Q16. Redshift Spectrumと EMR（Hive）を直に使用するのとでは、Redshift Spectrumの方が優位性があるでしょうか。Redshift Spectrumの方が不利（デメリット）がある点はありますか。
A16. EMR上にSQLクエリーエンジンを導入することで、Redshift SpectrumやAthenaと同じようにS3上のデータにSQLを実行する環境を作成することが可能です。
優位性については、ユースケースによって大きく異なるため一概には答えづらいですが、Redshift Spectrumは、Redshiftの機能、つまりオプティマイザやSQL構文を使うことができ、ローカルディスクともジョインできるのがメリットです。EMRの方は、クラスターサイジングやどういったアプリケーションを動かすかといった部分まで自由に選択できるというメリットがあります。

 

Q17. Parquet形式のファイルを日付単位のパーティショニングでS3に格納するケースにおいて、ある日を境にParquetに新しいカラムが追加された場合、Redshift Spectrumはカラム追加の前後のパーティションを一度にクエリする事は可能でしょうか？
A17. 表の構造と表定義がずれてしまっているためクエリできないと考えられます。

 

AWS Black Belt Online Seminar「AWS Summit Tokyo 2017 まとめ」の資料およびQA公開

こんにちは、プロフェッショナルサービスの宮本です。

先日開催致しました AWS Black Belt Online Seminar 「AWS Summit Tokyo 2017 まとめ」の資料を公開いたしました。当日参加者の皆様から頂いたQAの回答と併せてご紹介致します。

今後のAWS Black Belt Online Seminarのスケジュールは こちら です。皆様のご参加をお待ちしております。

  

AWS Black Belt Online Seminar 2017 AWS Summit Tokyo 2017 まとめ from Amazon Web Services Japan

 

【Q&A】

Q1.Dev Ops Charangeでは具体的にどんなことをされたのでしょうか？ 盛り上がったとのことでぜひ伺いたいです。

A1.各チームごとに、"ある"AWS環境を払い出します。払い出された環境を、どんなワークロードにも耐えられる環境へと進化させ、その処理能力を競うコンテストです。 参加者の中で最も優れた進化させたチームがチャンピオンになるといったイベントになります。

 

 

Q2.今回Day2～Day4まで参加させていただきました。弊社のブログにAWSsumiitの情報をアップしたいと考えていますが、写真や画像はどこまで使用可能でしょうか。

A2.ブログでのレポートの公開は歓迎しておりますが、セッションでは会場での許可のない撮影はお控えいただいておりますので、画像などのアップロードは事前の許可などがあったかをご確認ください。

 

Q3.AWSサミットは毎年だいたい同じ時季に開催されていますか?

A3.例年は同じ時期ですが、必ずしも約束できるものではないのでAWSからの情報をチェックしてください。

 

Q4.RDS の停止、開始がサポートされたということですが、停止中は、料金はかからないということでよろしいでしょうか。

A4.はい、停止中のインスタンスは課金対象になりません。指定された保持期間内にプロビジョニングされたストレージ、手動のスナップショット、および自動化されたバックアップストレージに対しては課金対象となります。停止開始については、リードレプリカ (ソースとレプリカの両方) 設定の一部ではない、シングル AZ 配置で実行中のデータベースインスタンスが前提となります。また、停止期間ですが最大 7 日までとなり、7 日後に、自動的に開始されます。

こちらの機能は、現在Amazon RDS for MySQL、MariaDB、PostgreSQL、Oracle、および SQL Server でご使用いただけます。

 

 

以上です。