AWS Solutions Architect ブログ

AWS Black Belt Tech Webinar 「Amazon SNS / SQS」「Amazon CloudFront」資料公開

こんにちは。ソリューションアーキテクト小川です。

先日1/20(水)と1/27(水)に開催した、AWS Black Belt Tech Webinar 「Amazon SNS / SQS」ならびに「Amazon CloudFront」の資料が公開されました。

・1/20(水) 開催： Amazon SNS / SQS

SA市崎より、AWSの数あるサービスの中でも長い歴史を持つ メッセージキューサービス「Amazon SQS」と、プッシュ方式のメッセージ送信サービス「Amazon SNS」について解説して貰いました。それぞれ使い方についての解りやすい説明から、他のサービスとの連携、最近アップデートされた新機能についても解説しております。

AWS Black Belt Tech シリーズ 2016 - Amazon SQS / Amazon SNS from Amazon Web Services Japan

 

Amazon SNS / SQS について頂いた、Q&Aの回答を下記に紹介させて頂きます。

Q1. 秒間どの程度のメッセージを受信出来るのでしょうか。

A. 少なくとも、秒間数千メッセージの処理が可能なレベルです。

Q2. キューの消去は、メッセージの消去ですか？聞き漏れたかもしれませんが、よろしくお願いいたします

A. 「キューの消去(PurgeQueue API)」とは、キューに入っているメッセージを一括して消去可能な操作です。これに対して、「キューの削除(DeleteQueue API)」はキューそのものを削除する操作となります。各APIの詳細は下記のAPIのリファレンスも参照下さい。

http://docs.aws.amazon.com/ja_jp/AWSSimpleQueueService/latest/APIReference/API_PurgeQueue.html

http://docs.aws.amazon.com/ja_jp/AWSSimpleQueueService/latest/APIReference/API_DeleteQueue.html

Q3. メッセージをキューに入れるときにファイルを指定することはできますか？
Q4. テキストに書いたメッセージをキューに入れるときにファイルを指定することはできますか？
Q5. テキストにメッセージ内容を書いて、そのファイルを指定して内容をキューに入れることはできますか？

A. 上記3つの質問は関連性が深いと思われますのでまとめて回答させていただきます。SQSに格納可能な情報は、文字列そのものとなります。これをSQS内部では「メッセージ」という単位で管理します。メッセージに対してファイルを添付する、というようなことはできません。ですが、メッセージの中にファイルへのURL（典型的にはS3に格納した）の文字列を含めることで、ファイル添付に似たようなことは実現可能かと存じます。SQSにファイルそのものを格納する、ということはできないため、アプリケーションプログラムとしては、ファイルの内容を読んでいただき、それをメッセージとしてセットする、というふうにご理解いただけましたらと思います。

Q6. EC2->SNS->SQS->EC2でメッセージを送る場合Delay Queueの設定をSNS経由のメッセージに指定する方法はありますか？

A. もし、メッセージ内容の値を使ってDelay Queueの時間の設定値を変更したい、ということであれば直接的な機能はございません。ですが、たとえば、ある程度の設定時間枠のような区切りが可能であれば、異なるDelay時間のキューを複数作っておき、アプリケーション側でそれらを選んで投げる、という構成は可能かと思います。また、複雑にはなりますが、キューに入ったメッセージを取り出して設定変更をするAPIを投げるアプリケーションを外側で作成する、なども可能かと考えられます。

Q7. SNSからメッセージを送られたこと、送られなかったことをログなどで確認する方法はありますか？

A. CloudWatchをご利用いただくことでご確認可能です。具体的には、マネジメントコンソールにてCloudWatchの画面に行き、「Metrics」から「SNS Metrics」を選んでください。そうすると、Topicの一覧が出て参りますので、見たいTopicを選択ください。Topicごとに４つのメトリクスが閲覧可能となっており、その中で「NumberOfNotificationsFailed」というメトリックスが、SNSが配信に失敗したメッセージの数として表示されます。また「NumberOfNotificationsDelivered」は配信されたメッセージの数となります。他２つは、メッセージサイズ（「PlublishSize」）と発行されたメッセージ数（「NumberOfMessagesPublished」）がございますので適宜ご活用ください。

Q8. Lambdaといつ連携できるようになりますか？

A. 具体的な対応予定を申し上げることは難しい状況でございますが、お客様からそのようなご要望を多数いただけましたら対応されることは十分に考えられます。

 

・1/27(水) 開催： Amazon CloudFront

SA北迫より、コンテンツ配信サービス「Amazon CloudFront」について語って頂きました。Amazon CloudFrontの特徴である、コンテンツの高速配信やストリーミング配信、またはセキュリティやレポート機能などについて、アーキテクチャやTIPSも含め解りやすく説明しています。

AWS Black Belt Tech シリーズ 2016 - Amazon CloudFront from Amazon Web Services Japan

 

Amazon CloudFrontについて頂いた、Q&Aの回答を下記に紹介させて頂きます。

Q1. 独自ドメインをCertification Managerで発行された証明書を使う場合(非SNI)は$600はかかりますか?

A. AWS Certification Managerで発行された証明書であっても、独自証明書(非SNI)の場合は$600の課金はされます。

Q2. 制限を1000RPSから8000RPSに上げていただいたDistributionがあるのですが、こういう場合は今は自動的に15000RPSになっているのでしょうか？

A. 上限緩和申請は不要です。

Q3. CFのIPアドレスでオリジンを保護する場合のIPアドレスの追加/削除をSGに自動的に設定させることは出来ますか?

A. パブリックIPアドレスリスト自体はJSONフォーマットでダウンロードできるので、Security Groupへの適用プログラムを実装いただければ自動化は可能です。また、パブリックIPアドレスの変更をAmazon SNSで検知することが可能なため、今後CloudFrontのEdge Locationが増えて際にも自動的反映させるためのフックとして利用いただけるかと思います。

http://aws.typepad.com/aws_japan/2015/09/subscribe-to-aws-public-ip-address-changes-via-amazon-sns.html

Q4. IPレンジによるカスタムオリジンサーバの保護ですが、CloudFrontのIPレンジを絞っただけでは、任意の他アカウントで作成されたCloudFrontディストリビューションをプロキシとすることでアクセスを通過してしまうと思います。特定のディストリビューションのみを許可するプラクティスは、カスタムヘッダによるシェアドシークレットのみになるでしょうか。

A. その通りです。特定のディストリビューションからのアクセスのみを許可したい場合は、シェアードシークレットを使っていただくのが良いかと思います。

Q5. ストリーミングで使用するデータをS3に格納する必要があるという話しで、これもエッジ（インターネット上）からアクセス可能な状態である必要がありますか？アクセスコントロールの条件があれば教えてください

A. S3に関しては、CloudFrontからアクセスができれば良いので、Origin Access Identity(OAI)を利用し、S3のBucket Policyで制御いただく形になります。

http://docs.aws.amazon.com/ja_jp/AmazonCloudFront/latest/DeveloperGuide/private-content-restricting-access-to-s3.html

Q6: 日本国内のサーバの中国への配信キャッシュにCloudFrontは有効ですか？

A. 中国に関しては、現状CloudFrontは香港にエッジロケーションが存在しています。本土に関しては実際にレイテンシーを計測していただき、要件を満たすようであればご利用いただくのが良いかと思います。また中国向けにChinaNetCenterと提携もしていますので、こちらの利用も合わせて検討いただければと思います。

https://www.amazonaws.cn/en/content-delivery/

Q7. CloudFrontを利用する場合、どうテストしたらよいでしょうか？システム更改前は、インターネット上に開放したくないのですが、CloudFront経由できちんとアクセスできることを確認したい場合、どうするのがベストプラクティスでしょうか？署名付きアクセスなどが一般的でしょうか？

A. 署名付きURL/Cookie等で制限いただくのも良いですが、テスト用のディストリビューションに対してAmazon WAFを利用し、特定のIPアドレス(テスト用端末IP)からのアクセスのみを許可するという方法もございます。

Q8. CloudFrontのログの保存先を既にCloudFrontにアクセスが来ている状態で変更した場合どのタイミングから保存先が変更後の場所に保存されますでしょうか

A. 設定反映まで10~15分程度かかるため即時反映はされません。1日ほど両方S3保存先を保持して置いていただくことを推奨します。

Q9. オリジンがS3 Websiteの場合も、CloudFrontとの通信はHTTPSで行われるのでしょうか？

A. CloudFrontの設定画面のOrigin Domain NameにてS3の静的Web Site hosting用のURLを指定した場合(カスタムオリジンと同様)は、通信プロトコルを選択できます。

Q10. ELBで賄えないL7スイッチ機能として利用するケースをWebで見たことがあるのですが、それはURLパスでアクセス先を切り替えるためのベストプラクティスでしょうか？

A. CloudFrontではURLパスでアクセスするオリジンサーバを切り替えることができるため、L7のスイッチのような用途での利用は可能ですが、CloudFrontを通すと、全てのWebアプリケーション側の要件(ダイナミックコンテンツなど)にマッチするわけではないので、用途に合わせたベストプラクティスかとおもいます。

 

以上です。各Webinarともに沢山の参加とご質問を頂き、ありがとうございました。

次回のAWS Black Belt Tech Webinarは2/10(水)18:00 から「Well-Architected」です。

初心者向けWebinarも 2/9(火)12:00から「AWS上でのDDoS対策」が開催予定です。

皆様のご参加お待ちしております。

AWS IoT で WebSocket、カスタム キープアライブ インターバルがサポートされ、コンソールが機能強化されました

AWS IoT に MQTT over WebSockets がサポートされ、新機能が追加されました。

 

AWS IoT Device Gateway が MQTT over WebSockets をサポートしました。WebSocket を利用することでリアルタイムなモバイル及び Web アプリケーションを構築することができ、多数の同時ユーザーを処理するために容易にスケールすることができます。アプリケーションとデバイスに対してエンドユーザーの安全な認証を行うために Amazon Cognito を WebSocket でご利用頂くことも可能です。

加えて、カスタム MQTT キープアライブ インターバルの機能もサポートされました。AWS IoT に接続するデバイスやアプリケーションのために、個々のコネクションでメッセージが到達するまでの間にオープンしておくべき時間を指定することができます。AWS IoT は指定されたインターバルを超えてメッセージや PING が送信されなかった場合にコネクションを切断します。

最後に、AWS IoT のコンソールが機能拡張され、より簡単に素早く AWS IoT の利用が開始できるようになりました。別途 MQTT クライアントや物理デバイスを必要とすることなく、 コンソールを使って MQTT メッセージの発行や購買を行うことができます。また AWS IoT のアクティビティを CloudWatch Logs にロギングするための構成をコンソールから行うことができます。

変更内容を確認するためにコンソールにサインしてください。または AWS IoT サイトを参照してください。

 

（SA福井が翻訳しました。原文はこちらです。）

AWS KMSを利用してセンシティブデータを保護する方法

AWS Key Management Service (AWS KMS)は2015年11月のローンチからめでたくも1周年を迎え、あらゆる大きさの組織が自身の暗号鍵を効果的に管理しています。KMSはまた最新(2015年8月)の SOC アセスメントと同様にPCI DSS 3.1 Level 1アセスメントを無事完了しています。

お客様によく頂く質問の一つとして、「どうやってカード会員番号(PAN:Primary Account Number)データを暗号化すればいいですか？」というものがあります。お客様はKMSからエクスポート可能なカスターマーデータキー(CDK)を使ってPANデータを暗号化することもできますし、カスタマーマスターキー(CMK)を利用してPANデータを直接暗号化する形でKMSを利用することも出来ます。この記事では、AWS CLIを通じてKMSでCMKを使ってどのようにしてセンシティブなPANデータを保護できるかについてお伝えします。

 

データを直接暗号化するCMKの利用は、開発者が暗号化ライブラリを管理しなければならないという負担を取り除きます。加えて、CMKはKMSからエクスポート出来ないため、誰かが暗号鍵をセキュアでない場所に保存するかも知れないという懸念を緩和します。また、鍵の使用状況を記録するためにAWS CloudTrailを活用することが出来ます。

 

この記事の目的を達成するため、ここでは暗号化処理中のPANデータのセキュリティを確保するための3つの異なるIAMロールを定義します:

1. KeyAdmin – 一般的な鍵の管理者ロール。KMSの鍵を作成し、管理する役割を持ちます。鍵管理者は直接鍵を利用して暗号化/復号化するための関数を利用する権限を持ちません。管理者は鍵のポリシーを変更できる権限を持つことに注意して下さい。鍵の直接利用を許可するよう管理者はポリシーを変更することができます。
2. PANEncrypt – CMKを利用したオブジェクトの暗号化のみが可能なロール
3. PANDecrypt – CMKを利用したオブジェクトの復号化のみが可能なロール

センシティブPANデータを暗号化するためのCMKをまだ持っていない場合は、以下のコマンドで作成できます。(この記事を通して、 赤字のプレースホルダテキストはお客様固有の情報に置き換える必要があることを覚えて置いて下さい。)

$ aws kms create-key --profile KeyAdmin --description "Key used to encrypt and decrypt sensitive PAN data" --policy file://Key_Policy

このコマンドで --profile KeyAdmin を利用していることに注意して下さい。 ここでは、KMSでの鍵作成を許可するように構成ファイルで指定されたロールでコマンドを実行することを強制しています。KMSの鍵を操作し、利用するために、後続のキーポリシーで定義された複数のロールが使われる場合があります(上記のコマンドでは file://Key_Policy を参照しています)。CLIにおけるロールの利用についての詳細は、Assuming a Roleを参照して下さい。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowAccessForKeyAdministrators",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::123456789012:role/KeyAdmin"   
      },
      "Action": [
        "kms:Create*",
        "kms:Describe*",
        "kms:Enable*",
        "kms:List*",
        "kms:Put*",
        "kms:Update*",
        "kms:Revoke*",
        "kms:Disable*",
        "kms:Get*",
        "kms:Delete*",
        "kms:ScheduleKeyDeletion",
        "kms:CancelKeyDeletion"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowEncryptionWithTheKey",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::123456789012:role/PANEncrypt"
      },
      "Action": [
        "kms:Encrypt",
        "kms:ReEncrypt*",
        "kms:GenerateDataKey*",
        "kms:DescribeKey"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowDecryptionWithTheKey",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::123456789012:role/PANDecrypt"
      },                             
      "Action": [
        "kms:Decrypt",
        "kms:DescribeKey"
      ],
      "Resource": "*"
    }
  ]
}

新しいCMKを作成した後、利用する際に区別しやすいようにエイリアスをアサインすることが可能です。ここでは、次に示すコマンドで SensitivePANKey というエイリアスを定義しています。

$ aws kms create-alias --profile KeyAdmin --alias-name alias/SensitivePANKey --target-key-id arn:aws:kms:us-east-1:123456789012:key/221c9ce1-9da8-44e9-801b-faf1EXAMPLE 

ここで、管理・利用を制限した最小限の特権許可を持つCMKが出来たので、PANデータの暗号化への利用を始めることが出来ます。シンプルに進めるために、この記事では AWS CLI コマンドを利用します。もちろん、アプリケーションに組み込んだAWS SDKを通して行うことも可能です。

次のCLIコマンドは、PANEncryptロールを利用して、先ほど作成した鍵を使って文字列（ここでは、“Sensitive PAN Data”)データを暗号化し、Base64エンコードした暗号文を新しく作成したencrypted-123-1449012738というファイルに保存します。更なる暗号化データ保護の為にEncryptionContextも利用している事に注意して下さい。

$ aws kms encrypt --profile PANEncrypt --key-id alias/SensitivePANKey --plaintext "Sensitive PAN Data" --query Ciphertextblog --encryption-context UserName=user@domain.com,Date=1449012738 --output text | base64 --decode > encrypted-123-1449012738

EncryptionContextは、復号化する際に必ず一致している必要があるため、オブジェクトを復号する際にEncryptionContextを再生成しやすいようユニークな名前を付与しています。ファイル名の構造はencrypted-GUID-Dateの形式です。GUIDはユーザのUserNameを私の環境にあるディレクトリの中から検索するためのものです。また、日付をコンテキストの一部として利用しています。Greg Rubinが他のAWS Security Blog post(日本語訳)で述べているように、EncryptionContextは暗号化データの完全性を保証するのに役立ちます。

この暗号化オブジェクトをAmazon S3バケットにputするために次のコマンドを使います。

$ aws s3 cp encrypted-123-1449012738 s3://Secure-S3-Bucket-For-PAN/ --region us-west-2 --sse aws:kms

ここでは、保存するオブジェクトの更なる保護のため、SSE-S3暗号化を再度使っています。この例ではSSE-S3暗号化をそのまま利用していますが、別のKMS鍵を利用することも可能です。次に、S3内のこの暗号化オブジェクトの位置をデータベースにアップデートします。PANデータを取り出す際には、S3バケットから暗号化されたオブジェクトを取り出すために次のCLIコールを発行します。

$ aws s3 cp s3://Secure-S3-Bucket-For-PAN/ encrypted-123-1449012738 . --region us-west-2

最後に、オブジェクトを復号化するために、PANDecrypt ロールを使って次のコマンドを実行します。

$ echo “Decrypted PAN Data: $(aws kms decrypt --profile PANDecrypt --ciphertext-blob fileb://encrypted-123-1449012738 --encryption-context UserName=user@domain.com,Date=1449012738 --output text --query Plaintext | base64 --decode)”

PANデータを暗号化する際に利用したものと同じEncryptionContextを利用していることに注意して下さい。このEncryptionContextを取得するため、再度GUIDからUserNameを検索し、日付を含めています。 例としてお見せする目的で、ここではセンシティブデータを出力に表示していますが、実際の例では他のアプリケーションやサービスに渡す事になります。.

ここでは、KMSでセンシティブなPANデータを直接暗号化および復号化でき、アプリケーションの中の1つのサービスとしてロールアウトできる事をお見せしました。このサービ社、実際2つの異なるコンポーネットのサービスで構成されます:1つは暗号化を提供し、もう１つは暗号化周りの拡張されたコントロールを提供し、センシティブデータの復号に利用されます。これらのコンポーネントサービスは、暗号文、メタデータ、エラー条件等の保管場所を指し示します。CloudTrailとKMSのインテグレーションとアプリケーションのログにより、サービスの呼び出しやKMS鍵の、組織内での利用について詳細を記録することができます。

この記事について質問やコメントがある場合は、KMS forumにお問い合わせ下さい。

- Matt(翻訳はSA布目が担当しました。原文はこちら)

2月は エンタープライズアプリ&アーキテクチャ点検月間！〜2月のAWS Black Belt Tech Webinarのご案内

こんにちは。ソリューションアーキテクトの小川です。

毎週水曜日の18時から配信している"AWS Black Belt Tech Webinar"。2月の放送予定についてお知らせします。2月は「エンタープライズアプリ&アーキテクチャ点検月間」と題しまして、下記を放送予定です。※なお2/3(水)は社内イベントの為、Black Belt Tech Webinarはお休みさせて頂きます。

 

• 2月10日(水) 18:00~19:00
• Well-Architected - 荒木靖宏
• セミナー登録者リンク：https://connect.awswebcasts.com/well-arch-2016/event/event_info.html
• セミナー内容：
• 私達は、あなたのアプリケーションがよい設計（Well-Architected）を行われているかどうか確認したいと思っています。何千ものお客様の協 力を得て、AWSソリューションアーキテクトは、クラウドでのシステム設計のためのベストプラクティスおよび核となる戦略を特定し、AWS Well-Architected Frameworkにまとめました。これのポイントについて紹介します。

• 2月17日(水) 18:00~19:00
• Amazon WorkSpaces - 渡邉源太
• セミナー登録者リンク：https://connect.awswebcasts.com/workspaces-2016/event/event_info.html
• セミナー内容：
• Amazon WorkSpacesはクラウドで動作するマネージド型仮想デスクトップコンピューティングサービスです。Amazon WorkSpaces を使用することで、クラウドベースのデスクトップを簡単にプロビジョニングでき、ユーザーは Windows や Mac のコンピュータ、Chromebook、iPad、Kindle Fire タブレット、および Android タブレットといったサポート対象デバイスから、必要なドキュメント、アプリケーション、およびリソースにアクセスできるようになります。今回の Webinarでは、Amazon WorkSpacesの機能と代表的なユースケースおよびAmazon WorkSpaces Application Managerなどの最新のアップデートについてご紹介します。

• 2月24日(水) 18:00~19:00
• Amazon WorkDocs & WorkMail - 小林正人
• セミナー登録者リンク：https://connect.awswebcasts.com/workdocs-workmail-2016/event/event_info.html
• セミナー内容：
• ファイルの保管・共有とEメールは、多くの企業で必要とされる基本的な業務ツールです。今回のWebinarではAWSが提供するファイル共有のサービス WorkDocsと、EメールのサービスWorkMailをご紹介します。これらのサービスを活用することで、ファイルの保管・共有とEメールのシステム を管理する手間から解放されることが可能になります。典型的なユースケースや、企業内利用では切っても切り離せないディレクトリとの連携についても触れて いきます。

 
 

なお、明日 1/27(水)18:00 より「エッジ&アプリケーション月間」のトリを飾る「Amazon CloudFront」 の配信もあります。(申し込みページはこちら)   こちらもお見逃しなく!

引き続き AWS Black Belt Tech Webinarをよろしくお願い致します。

 

AWS初心者向けWebinar「これで完璧、AWSの運用監視」資料およびQA公開

こんにちは、ソリューションアーキテクトの舟崎です。

2015/12/25にAWS初心者向けWebinar「これで完璧、AWSの運用監視」を開催いたしました。その資料が以下に公開されております。

AWS初心者向けWebinar これで完璧、AWSの運用監視 from Amazon Web Services Japan

 

 

また、以下は当日のWebinarにて頂いたご質問とその回答の一部となります。こちらも是非ご覧ください。

Q: Amazon EC2について、Amazon CloudWatchでの監視と、Zabbixなどの監視ツールでの監視ではどのような違い、どの程度の違いがあるのでしょうか。

Webinar資料slide28-29に違いをご紹介させて頂いています。基本的には責任共有モデルに基づき監視の役割分担をして頂いています。一方でSlide29にありますような、特有要素の監視に関しましてZabbix含めた3rd Party監視ツールをお使いのケースが多いです。

 

Q: Amazon EC2 Auto Recovery使用にあたり、何か設定は必要でしょうか?

はい、CloudWatchのモニタリング設定が必要になります。StatusCheckFailed_Systemをトリガーに設定します。
http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ec2-instance-recover.html

パートナー様のブログで設定方法について詳しくまとめて頂いているものもありますので、ご確認ください。
http://dev.classmethod.jp/cloud/aws/ec2-auto-recovery-tokyo/

 

Q: Amazon CloudWatch Logs費用はS3料金だけですか？

CloudWatch Logsの料金は、取り込んだデータ量(アーカイブされたデータを含む)に加え、データをエクスポートする際は別途データ転送量(アウト)がかかります。
https://aws.amazon.com/jp/cloudwatch/pricing/

 

Q: CloudWatchLogはEC2上で動作しているアプリケーションのログも収集できる理解であっていますでしょうか？

はい、可能です。ログの種類にもよりますので事前に検証頂くことをお勧めしております。

 

Q: AWS CloudTrail でロギングするユーザのログで、ユーザとは誰のことを指していますでしょうか？

AWSの場合、AWSの管理ユーザをIAM(AWS Identity Access Management)といったかたちで切りだし運用することをベストプラクティスとしています。ここでお話させていただきましたのはIAMユーザをさし、OS, Appのユーザはさしていません。

 

Q: カスタムメトリックスの一覧はどこかに公開されていますか？

カスタムメトリックスはご自身で設定していただけるため一覧はございません。
https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/DeveloperGuide/publishingMetrics.html

 

次回のAWS初心者向けWebinarは「AWSクラウドでのWindowsの実行」です。多くの方のご参加をお待ちしております。

 

また、OpsJAWSというAWSの運用系トピックについて語り合うコミュニティのイベントも実施されています。こちらも是非ご登録の上、ご参加ください。

https://opsjaws.doorkeeper.jp/

 

AWS初心者向けWebinar「.NET開発者のためのAWS超入門」の資料およびQA公開

こんにちは、SAの舟崎です。

2016/1/12に開催されたAWS初心者向けWebinar「.NET開発者のためのAWS超入門」の資料が公開されております。

AWS初心者向けWebinar .NET開発者のためのAWS超入門 from Amazon Web Services Japan

 

また、Webinarで頂いたご質問とその回答を以下に掲載させていただきます。

Q: AWS SDK for .NET は、C言語だけですか？AWS SDK for .NETはVB.NETは対応していないのでしょうか？

今回は紙面の関係でC#でのみコードを記述していますが、VBもサポートしています。

Q: 資料p65にある DynamoDBのオブジェクト永続化APIはクエリにも使えますでしょうか?

はい、オブジェクト永続化APIでもQueryメソッドを提供しています。

 

次回のAWS初心者向けWebinarは「AWSクラウドでのWindowsの実行」です。多くの方のご参加をお待ちしております。

Spot FleetでAmazon ECSクラスタを強力に

私の同僚のDrew DennisがSpot fleetでAmazon ECSを使う方法を紹介するゲスト投稿を送ってくれました。

---

オンデマンドのEC2インスタンスを使う利点はいくつかあります。しかし、多くのワークロード、例えば必要に応じて単純に起動し後続の同一処理で簡単に置き換える様なステートレスやタスクベースなシナリオでは、Spot fleetを使うことでより経済的に追加の計算資源を獲得することができます。加えてSpot fleetはリクエストされたターゲットキャパシティを保つために、終了させられたインスタンスを自動的に置き換えてくれます。

Amazon ECSは高いスケーラビリティとパフォーマンスを持つコンテナ管理サービスで、Dockerコンテナをサポートし、管理されたAmazon EC2インスタンスのクラスタ上で簡単にアプリケーションを実行することができます。ECSは既にEC2インスタンス上でのコンテナの配置やスケジュールを扱ってくれます。Spot fleetと組み合わせると、ECSはEC2のオンデマンド価格から大幅にコストを抑えることができます。

なぜSpot fleetなのか？ 

Amazon EC2 SpotインスタンスはAmazon EC2の計算資源の余剰に対して入札して使います。通常オンデマンド価格に比べて割引の価格で利用することができるため、アプリケーションを実行するコストを大幅に削減することができます。Spot fleetでは複数のアベイラビリティゾーンやインスタンスタイプにまたがったSpotインスタンスの集合を1つのAPI呼び出しでリクエストすることができます。

Spot fleet APIはターゲットキャパシティと割当戦略を指定できます。利用可能な2つの割当戦略があり、”最低価格”と”多様性”です。最低価格戦略では、基本的に現在のSpot価格が最も低いインスタンスだけを使おうとしますが、多様性戦略では複数のSpot pool(アベイラビリティゾーン内で同種のタイプとOSのインスタンス群)にまたがって等分して使おうとするので、突然のSpot価格の上昇というリスクを軽減することができます。より詳しい情報はHow Spot Fleet Worksをご覧ください。

Spot fleetを使ってみる

Spot fleetのコンソールはhttps://console.aws.amazon.com/ec2spot/homeから利用できます。ここからSpot fleetのリクエストを作成し、IAM roleやbase64エンコードしたuser dataの作成も含めたリクエストに必要な全ての項目を設定することが簡単にできます。また、必要であればコンソールからリクエストのJSONをダウンロードすることができ、CLIベースでも使うことができます。

もしSpot fleetコンソールを使いたくなければ、Spot fleetリクエストのために必要な、インスタンスの入札/起動/停止といった権限を付与したIAM roleを作成する必要があります。注意点として、今回のシナリオではSpot fleetがECSクラスタに参加するためのroleを付けてインスタンスを起動できるために、iam:PassRoleアクションも必要となります。AWS SDKかAWS CLIがインストールされていることも確認してください。

この投稿では、みなさんはECSクラスタの作成、ECS Task Definitionの作成、そしてTask DefinitionからTaskやServiceを手動作成する手順については詳しいと想定しています。もしわからなければ、ECSのドキュメントをご覧下さい。

Spot fleetリクエストを作成する

Spot fleetリクエストを作成する前に、リクエストしようとするインスタンスタイプ、アベイラビリティゾーン、そして入札価格を知っておく必要があります。なおSpot fleetリクエストではインスタンスタイプ毎に異なる入札価格を使うこともできます。これらを決定したら、リクエストを始める準備が整います。下のスクリーンショットでは、c4.largeインスタンスでAmazon Linux ECS-optimized AMIを使ったfleetリクエストを作成しようとしています。リージョン毎のECS optimized AMIの最新のリストはLaunching an Amazon ECS Container Instanceトピックで見ることができます。

もし入札価格がインスタンスを起動しようとしている時点の最低価格を下回っていると、分かりやすく警告が出ていることがわかります。ここから、Spot価格の履歴やSpot入札アドバイザへアクセスして、過去の価格の変動をより理解することもできます。Nextを選んだ後、複数のゾーンに分散させたり、User dataを指定したり、以下にあるような他のリクエストのオプションを指定することができます。今回の例では、ECS container agentが接続するECSクラスタをuser dataで指定しています。

他にSpot fleetリクエストで考えられる例として、複数のインスタンスタイプを1つのアベイラビリティゾーンで入れ、それぞれ入札価格を調整するというものがあります。割当戦略は引き続き多様性を使い、これによって2つのインスタンスpoolから等しく起動してくれます。これを先ほどの例と組み合わせることも簡単で、複数のアベイラビリティゾーンと複数のインスタンスタイプを組み合わせることで、Spotインスタンスの終了のリスクをより軽減することができます。

ECS TaskとServiceをSpot fleet上で稼働させる

インスタンスがECSクラスタに参加したら、TaskやServiceをその上に起動することができますが、最初のTask Definitionの作成も必要です。より詳しい情報はDocker basics walkthroughをご覧ください。Task Definitionを作成した後で、Taskを手動で実行したり、ロングランニングプロセスとしてSerivceを実行できます。

ECS Serviceの場合、もしSpot priceによってインスタンスが1つ終了した時には、ECSが自動的に実行中だったコンテナをクラスタ内の他のEC2インスタンスに再割当てしてくれて、十分なリソースがある限り、必要とされているTaskの数を維持してくれます。

もしリソースが無かったら、数分のうちにSpot fleetリクエストによって新しいインスタンスに置き換えられます。新しいインスタンスは最初のSpot fleetリクエストの設定に従って起動するので、クラスタに参加し、必要とされる量を満たすために足りないコンテナが実行されます。

まとめると、Spot fleetは効率良く経済的にインスタンスをECSクラスタに追加する手段を提供します。Spot fleetリクエストは複数のインスタンスタイプやアベイラビリティゾーンに分散し、常にターゲットのインスタンス数を維持してくれるので、ステートレスなコンテナを実行するのにとても良い環境であり、ECSクラスタに安価なキャパシティを提供してくれます。

Auto ScalingとSpot fleetリクエスト

Auto ScalingはAWSのワークロードに応じてEC2のキャパシティを自動的に追加したり削減したりする素晴らしい機能です。ECSはAuto Scaling上でのクラスタもサポートしていますし、こういったシナリオを助けるためのCloudWatchメトリクスも提供しています。より詳しい情報は、Tutorial: Scaling Container Instances with CloudWatch Alarmsをご覧ください。Auto ScalingとSpot fleetを組み合わせることで、固定のキャパシティとオンデマンドの変動キャパシティを低コストで運用することができます。

今のところ、Spot fleetリクエストはSpotインスタンスリクエストの様にAuto Scalingポリシーと直接の連携はできません。しかし、Spot fleetAPIにはModifySpotFleetRequestと呼ばれる、リクエストのターゲットキャパシティを変更することができるAPIがあります。Dynamic Scaling with EC2 Spot Fleetのブログ投稿では、CloudWatchメトリクスを使ってLambda functionを呼び出し、Spot fleetのターゲットキャパシティを変更するというシナリオを例として紹介しています。ModifySpotFleetRequestはfleetリクエストをチューニングするためだけでなく、過剰なリソースを最小化するためにも使いやすく、コストを下げることができます。

まとめ

Amazon ECSは信頼ある状態管理と柔軟なコンテナスケジューリングのために、EC2インスタンスのクラスタを管理してくれます。Dockerコンテナは、柔軟でポータブルなアプリケーションのデプロイを提供し、ECSと組み合わせるとシンプルで効率の良い、大小様々なインスタンスとコンテナのfleet管理の手段を提供してくれます。

Spot fleetとECSを組み合わせることで、既存のクラスタに低コストなオプションを提供したり、新規のクラスタの作成までも可能となります。もちろん、昔のSpotインスタンスリクエストでも可能でしたが、Spot fleetはインスタンスタイプやアベイラビリティゾーンにまたがって(複数の割当戦略や価格で)リクエストすることができるので、クラスタの計算資源の可用性向上とトータルコスト削減によってECSの戦略をさらに高めることができます。

原文: https://aws.amazon.com/blogs/compute/powering-your-amazon-ecs-clusters-with-spot-fleet/ (翻訳: SA岩永)

AWS Black Belt Tech Webinar 「Amazon SES」「Amazon Route 53」資料公開

こんにちは、AWSテクニカルトレーナーの大場、鬼形です。2016/1/6,1/13のAWS Black Belt Tech Webinarの資料が公開されました。

2016/1/6はAmazon SES の解説を行いました。スピーカーはSAの舟崎よりお届けしました。以下に公開している資料では、Amazon SES の特徴や追加された機能、ユースケースなどを分りやすく解説しています。メール送信における基本的なお作法も紹介されており、改めて原点を振り返る意味でもとても面白い内容となっています。皆様もぜひ、本資料を元にAmazon SES を試してみてください。また、QAもブログの最後にまとめております。

AWS Black Belt Tech シリーズ 2016 - Amazon SES from Amazon Web Services Japan

 

2016/1/13はAmazon Route53の解説を行いました。スピーカーはSAの国政よりお届けしました。以下に公開している資料では、Amazon Route53の概要や詳細な機能について、分りやすく解説しています。Webinar内ではRoute53の様々な機能を活用した、可用性の高いアーキテクチャの構築例もご紹介しました。皆様もぜひ、本資料を元にAmazon Route53をお試しください。また、QAもブログの最後にまとめております。

AWS Black Belt Tech シリーズ 2016 - Amazon Route 53 from Amazon Web Services Japan

 

次回のBlack Beltは1/20(水)に実施します。

1/20（水）　AWS Black Belt Tech Webinar 2016 〜 Amazon SQS & SNS 〜

• 日時：1月20日(水) 18:00-19:00
• セミナー概要：
  Amazon Simple Queue Service (SQS) は、AWS の中でも最も歴史が長いサービスのひとつです。その名のとおり、いわゆるメッセージキューシステムを AWS にてフルマネージドサービスで提供するものであり、その機能や特徴についてご紹介します。またAmazon Simple Notification Service (SNS) は、プッシュ型で通知をするサービスであり、SQS と親和性が高く、その機能や特徴も合わせてご紹介します。
• お申込み：https://connect.awswebcasts.com/spot-as-2015/event/event_info.html

Q&Aは以下のとおりです。

Amazon SES

Q1.Amazon SESでは、SPFのDNS レコードの設定は必要でしょうか？

A.SESではSPFのDNSレコードの設定は不要です。SES は、SES が所有する "Mail-From" ドメインから E メールを送信します。そのため、E メールが SPF での認証に成功するように DNS レコードを変更する必要はありません。

Q2.メール受信時にS3に送信するユースケースはどのようなものがありますか？

A. 受信したメールのコンテンツ（本文）を確認する場合に、S3に配信するケースが考えられます。他にもAmazon Simple Notification Service(SNS)を使うことで、本文を取得可能ですが、SNSの場合は、メール1通あたり150KBまでの制限があります。S3であれば30MBまで保存が可能となっております。

Q3.ブロックリストのIPは公開されていますか？

A. スパムの送信元として知られるIPアドレスのSES独自のブロックリストを前提として回答いたしますが、こちらは申し訳ございませんが公開されていません。ですが、SESでEメールを受信する場合には、お客様側で指定する許可リストに該当するIPアドレスを追加することで、SESのブロックリストにそのIPアドレスが入っていたとしても、受信することが可能です。

Q4.メール受信でS3に保存される場合、添付ファイルの扱いはどのようになりますか？

A. 添付ファイルのデータもS3に保存されるファイル内にエンコードされた形で追加されます。

Q5.SESの料金は送信・受信の合計で課金される形でしょうか

A. SESの料金は送信されたEメール、および受信されたEメールは別々に課金され、その合計となります。詳細はこちらをご参照ください。
https://aws.amazon.com/jp/ses/pricing/?nc1=h_ls

Amazon Route 53

Q1.ルーティングポリシーを複数組み合わせることは可能でしょうか。
（プライマリの間はLatency＋災害発生時に Faleoverなど）

A.トラフィックフローやALIASレコードを利用することで、複数のルーティングポリシーを組み合わせることが可能です。

Q2.各ルーティングのところで「ヘルスチェックとの組み合わせが可能」とあるのですが、ヘルスチェック NGになった場合に、
そこにトラフィックを送らない　という位置づけでしょうか。そこからフェイルオーバーをかけることは可能でしょうか？

A. ヘルスチェックによりエンドポイントが正常でないと判断された場合、そのエンドポイントはクエリへの応答に含まれなくなるため、トラフィクはルーティングされなくなります。

Q3.VPC FlowLogsのようなトラフィックの監視のようなことは可能でしょうか？

A. Route 53ではVPC FlowLogs の監視はできませんが、 CloudWatch Logsでメトリクスフィルタとアラームを作成し通知することが可能です。詳細はリンク先を参照ください。
http://docs.aws.amazon.com/ja_jp/AmazonVPC/latest/UserGuide/flow-logs.html#flow-logs-cw-alarm-example

Q4. 加重ルーティングポリシーをA/Bテストや移行で利用できるとありますが、ルーティング先がDNS名前解決に依存するので、ユーザーがBに割り当てられても次回もBに割り当てられるとは限らず、UIが変わるような場合問題があると思いますが、そのあたりはどのように解決できるでしょうか。

A. ご認識のとおり、一旦BサイトにDNS名前解決されても、TTL経過後も同じBサイトが返されるとは限りません。一旦転送されたサイトに以降も転送されなければならないような場合は、別の方式を検討する必要があります（例：新サイトでUIが変更になる場合、同じユーザーに対して新旧のUIが交互に表示されてしまう）。
機能やUIはそのままで、Webサイトのロケーションをオンプレミスからクラウドへ単純移行するケースや、キャパシティ拡張のためサイトを追加するようなケースであれば、加重ルーティングを利用いただけると思います。

デプロイ方法は、テスト内容や移行の要件に合わせて検討頂く必要があります。DNSの利用も含めた、その他のパターンでのサービスのデプロイ方法については、以下のSAブログやSlideShareの資料が参考になります。

AWS Solutions Architect ブログ: Blue/Greenデプロイとは？

(DVO401) Deep Dive into Blue/Green Deployments on AWS 

QAは以上です。

なお、2016年1月のAWS Black Belt Tech Webinarは「エッジ&アプリケーションサービス月間」としてAWSのエッジサービスとアプリケーションサービスをご紹介します。こちらもぜひご覧ください。
■2016年1月
http://aws.typepad.com/sajp/2015/12/2016-jan-aws-black-belt-tech-webinar.html

 

【開催報告】HPC最前線-クラウドで拓くCAE&HPCの新常識

ソリューションアーキテクトでCAE/HPC担当の小川です。

2015年11月26日 品川フロントビルにて、Intel様と共催で「HPC最前線-クラウドで拓くCAE&HPCの新常識」と題したセミナーを開催致しました。当日は東京での開催に関わらず、西日本をはじめ、遠方からも多数の方にご参加を頂きました。ありがとうございました！！

 ↑ Intel様と共催でセミナーを開催させて頂きました。

当日はAWSのエンドユーザやパートナーの各社様に、AWSを活用した最新のCAE&HPCソリューションと事例を語って頂きました。当日、発表頂きましたご登壇者様の資料は下記となります。(それぞれ発表者のお名前に資料へのリンクがございます。)

・セッション1： AWS で実現する次世代シミュレーション環境(AWS ,Intel共同セッション)

田口 栄治様(インテル株式会社)

小川貴士(アマゾン ウェブ サービス ジャパン 株式会社)

・セッション2：シミュレーションソフトウェアベンダによるクラウド活用法 ～ 新しいビジネスモデルの創出 ～

小寺 貴士様(アンシス・ジャパン株式会社)

・セッション3：ライセンスを気にせずシームレスな高並列 CFD をクラウドで実現

舛重 国規様(株式会社CD-adapco)

・セッション4：アルテアエンジニアリングが提案するクラウドソリューション

堀籠 悟様(アルテアエンジニアリング株式会社)

・セッション5：富士ゼロックスの HPC  における AWS の活用と実現したい世界

長尾 太介様(富士ゼロックス株式会社)

齊藤 隆之様(株式会社アンクル)

黒木 勇様(サイバネットシステム株式会社)

CAE&HPCという専門分野のセミナーにも関わらず、とてもたくさんの方にご出席を頂きました。この分野でもクラウドへの期待が高まっていることを感じることができたセミナーでした！

更にセミナー後になりますが、ナイトイベントとしてJAWS-UG(Japan AWS User Group) のHPC専門支部も開催されました。AWSでクラスタを簡単に構築する方法の紹介や、HPCに関連したLTなど、学びあり、笑いありの勉強会で、大いに盛り上がりました。こちらの模様は日経コンピュータの記事にもなっております。JAWS-UG HPC専門支部については次回2016/1/22(金) に開催予定です。こちらもご興味のある方は、是非ご参加下さい。

AWS初心者向けWebinar「AWS ではじめてみよう、IoT システム構築（リピート開催）」で頂いたご質問と回答

こんちには、SAの舟崎です。

2015/12/22にリピート開催いたしました AWS 初心者向け Webinar 「 AWS ではじめてみよう、IoT システム構築」の資料および頂いたご質問とその回答を掲載いたします。

AWS初心者向けWebinar AWSではじめよう、IoTシステム構築（リピート開催用） from Amazon Web Services Japan

 

頂いたご質問と回答は以下です。

Q1: Pull型のデータ取得方法の場合、複数のメッセージが一括して取得できると思いますが、その場合、コストダウンにつながるのでしょうか？
AWS IoTの場合メッセージ数による課金となりますので、データ取得方法を問わずコストは変わりません。

Q2; 認証機能があることによる性能劣化は見られるのでしょうか？
認証とTLSによる暗号化によって若干の性能低下が見られますが、一般的にHTTPとHTTPSとの性能差と同様をお考えください。

Q3; Amazon API Gatewayに対する接続元の制限（ブラックリストの設定等）は可能でしょうか？
Amazon API GatewayではAPIメソッド要求のAuthorization Type にAWS IAM を指定してカスタム権限を割り当てることができます。これによって適切なIAMロールを割り当てられたIAMユーザーのみがAPIにアクセスできるようになります。またAPIキーを要求するようにすることもできますので、指定したAPIキーを伴ったリクエストのみを受け付けることもできます。

Q4; AWS Lambdaファンクションを直接実行するのと、Amazon API Gateway経由でLambdaをトリガーするのは何が異なるのですか？API Gatewayを経由するメリットは何でしょうか？
AWS SDKやAWS CLIを使って Lambda を直接起動することもできますが、API Gatewayを利用すると以下のメリットがあります。
・デバイスからHTTPS POST で呼び出すことができる
・スロットリングの機能をサポートしている
・APIのバージョニングの管理をサポートしている

Q5: ケース２（資料p48,49,50）で公開されたAPIはアプリケーションやデバイスからどのように知ることができますか？
基本的にはAPIの仕様書をドキュメントで公開することになります。また利用の際にAmazon Identity Access Management (IAM)ユーザーを作成したり、開発者に対してAPIキーを渡すなどが考えられます。

Q6: 使用するサービスの選択肢が複数ありますが、どれがどういったシステムに向いている、といった指標はありますか？デバイス設計で、あらかじめ通信プロトコルHTTPS、MQTTS通信プロトコルを用意しておけば、AWS IoTの活用が考えられるということでしょうか？
通信プロトコルもサービスの選択肢になりますが、収集データの頻度とデータ量、また収集したデータをどのように活用するかに応じてサービスを選択することになります。

Q7: AWS SDKはオープンソースライセンスのようなものでしょうか？
AWS SDK 及び AWS IoT SDK は apache license version 2.0 に準拠しています。詳細は下記のURLのlicense.txt をご覧ください。
https://github.com/aws/aws-sdk-js/blob/master/LICENSE.txt

 

次回のAWS初心者向けWebinarは「.NET開発者向けAWS超入門」(2016/1/12開催予定）です。多くの方のご参加をお待ちしております。