2019-01-01から1年間の記事一覧

【CloudFormation】S3のバケットの中身をCloudFormationで作成する

CloudFormationでS3の中身を作成する方法

【AWS Athena】Lambdaからクエリを実行した際のIAM由来のエラーと対策

Athenaをテストした際に遭遇したエラーを以下にまとめる。別のエラーに遭遇した場合は後日追加していく。 Unable to Verify/Create Output Bucket Unable to Verify/Create Output Bucket S3へのアクセス権の不足が原因。以下のポリシーがアタッチされている…

【AWS Athena】str型Timestampをクエリする

str型のTimestampをAthenaで処理する際、 SYNTAX_ERROR: Unexpected parameters (varchar) が発生する。 date_parse関数を使うことで、この問題を回避することができる。

【AWS Athena】HIVE_CANNOT_OPEN_SPLITが発生する

課題 Glueでparquet.snappyにしたファイルを、Athenaで検索している。 これを定期実行するために、Lambdaを使いたい。 しかし、LambdaからAthenaにクエリを投げると、以下のエラーが発生する。 Your query has the following errors:HIVE_CANNOT_OPEN_SPLIT:…

【CloudFormation】Error: The policy failed legacy parsing

やりたい事 発生したエラー 解決方法 やりたい事 以下のページを参考に、別アカウントのCodePipelineに、CodeCommitの変更を配信したい。また、これをCloudFormationを使ってできる限り省力化したい。 dev.classmethod.jp 発生したエラー 開発アカウント側で…

【Error】CloudFormation:: Parameter is non alphaNumeric

現象 以下のCloudFormationテンプレートのパラメーターブロックでParameter is non alphaNumericというエラーが発生した。 --- Parameter: MY_MESSAGE: This is test --- 原因 パラメーターブロックでは、記号を使うことができない。そのため、アンダーバー…

【CloudFormation】!Subと!Refの使い分け

CloudFormationのテンプレートでよく使う組み込み関数に!Refと!Subがあります。 これらの違いを整理します。 基本的な使い方 基本的な作用 使い方 誤った使い方 !Subの問題点 文字列との結合 !Subの場合 !Refの場合 結論

CloudFormationメモ SQSとLambdaの連携

Error Queue visibility timeout: 120 seconds is less than Function timeout: 900 seconds エラーが発生したときのコード SensorDataQueue: Type: AWS::SQS::Queue Properties: VisibilityTimeout: 120 #ここがLambdaのタイムアウト時間より短い calcData:…