EKS Auto Mode Arrives in Terraform – Simplify Kubernetes Today
During AWS re:Invent 2024 AWS released a new feature to EKS i.e EKS Auto Mode, which I have already covered in detail in my previous blog In this blog we will see how we can create cluster with EKS Auto mode using the OG “terraform-eks-module” and how it simplified my eks....Unlocking Aurora DSQL with AWS Lambda: A Seamless Solution for Serverless, Scalable, and Event-Driven Architectures
AWS re:Invent has begun and there are tons of new service and feature announcement from the AWS CEO Matt Garman’s Keynote ( check my x/bluesky thread from the keynote updates) In this blog we will investigate about Amazon Aurora DSQL which is serverless, distributed SQL database with virtually unlimited scale, high availability, and zero infrastructure management claiming 99....Run Kubernetes Like a Pro—Without the Expertise! Introducing EKS Auto Mod
AWS re:Invent hasn’t officially begun, yet there is a game changing new feature to EKS to make you run Kubernetes like a pro!!! In this blog we will investigate what EKS Auto Mode is all about and illustrates how to enables EKS Auto Mode on existing cluster and try to migrate to our managed node groups workloads to EKS auto mode of an existing cluster but we will be not able to do that, find out why in the blog!...Build, Publish, Secure: AWS CodePipeline Now Simplifies ECR Publishing and Vulnerability Scans
Tired of setting up CodeBuild just to push Docker images or run vulnerability scans? With AWS CodePipeline’s new ECRBuildAndPublish and InspectorScan actions, you can now build, publish, and secure your images directly within your pipeline—no extra setup needed. Curious how it works? Let’s dive in! Motivation 26 November, 2024 – Just ahead of re:Invent 2024, AWS released an exciting update introducing ECRBuildAndPublish and InspectorScan actions....AWS CloudWatch Observability Solutions: Game-Changer or Just a Glossy Wrapper? Honest First Impressions!
This blog is little unusual than the usual “show-what-you-built” blogs which we usually see for cloud services and new features on the internet. In this blog I will sharing my first impressions, good and bad points about the new update on Cloudwatch: Observability Solutions !!! AWS CloudWatch Observability Solutions aim to simplify monitoring setup with pre-configured tools for AWS services and workloads....AWS re:Invent2018 (Gravitonプロセッサ搭載・EC2 A1 Instances登場）
プリセールスの片貝です。 今回 AWS re:Invent 2018へ、エンジニアの西田と参加させて頂きました。 これから新規発表されたサービスを中心に、実際にテストや導入した内容を記載できればと考えております。 まずMonday Night Live でEC2のA1シリーズが発表されておりました。 Serverlessな環境が注目されている状況ではありますが、やはりEC2の進化も見逃せません。 EC2 A1 Instances このA1シリーズは、ARMベースとなりAnnapurna Labs(アンナプルナ)がカスタマイズしたCPUになるそうです。 Annapurna Labs とは、2015年にAmazonが買収したイスラエルの半導体企業で、ASICによるネットワークの高速化や昨年(2017年)に発表された、 EC2の新基盤 Nitro(ナイトロ)を開発した企業だそうです。専用CPUまで作成してしまうとは、Amazonは何処まで行くのでしょうか。 ただこのCPUはARMベースなので、アプリケーションはARM環境用にコンパイルが必要となりそうです。 EC2 M5A/R5A Instances またAMDのCPUを搭載した、m5a、r5a インスタンスも選択可能になりました。 選択可能CPU これでEC2は3つのCPU環境を選択できる事になります。 ただ残念ながら、まだ a1 インスタンスも m5a/r5a インスタンスも東京リージョンで選択する事はできません。 東京リージョンへリリースされるのを待ちつつ、他リージョンにてテストしてみます。 因みに、a1インスタンスが選択可能なリージョンでは、Amazon Linux 2 AMI (HVM) の選択肢に以下が追加されております。 〇64ビット (x86)、〇64ビット(Arm) こんな感じ あとがき まだ色々と新サービスの情報がありますので、順次アップします。...AWS re:Invent2018 参加レポート その１
エンジニアの西田です。 LAS VEGASで開催されているAWSのユーザカンファレンスであるre:inventに来ています。 今年はISAOからは、私を含め2名で参加してます。 セッション このカンファレンスでは、AWSのソリューションに関する様々なセッションが開催されています。 それぞれのセッションには、レベルが設定されていて入門レベルからエキスパートまであり、自分のレベルに合わせたセッションに参加することができます。 私もセッションに参加したので、その中からいくつかご紹介したいと思います。 Security & Compliance for Modern Serverless Applications このセッションは、AWS LambdaとAWS API Gatewayを使用したアプリケーションのモダンなセキュリティモデルを説明してくれるものでした。 ここで推奨とされていたモデルとしては、AWS Cognito, AWS Secrets Managerなどを用いたモデルでした。 ユーザー認証は、Cognitoを使用してコントロールし、機密情報（APIキーなど）があればSecrets Managerで管理しましょうといった感じです。 また、AWS Config、AWS Identity and Access Managementを使い、リソースの設定の監視や権限管理をするのも忘れずにだそうです。 Reliable & Scalable Redis in the Cloud with Amazon ElastiCache 今月に、Amazon ElastiCacheにRedis5.0が追加されました。 ElastiCacheのパフォーマンスの向上やRedis5.0の新データ型のStreamについて紹介していました。 Stream型での使用も当来どおり、スケールアウト、スケールアップができるそうです。 まとめ セッションの予約をする際に思ったことですが、やはりサーバーレスに関するセッションが人気で結構予約が埋まっていました。 特にAWS FargateやAWS Lambdaに関するセッションは、ほとんど予約が埋まっている状況でした。...【Amazon Echo】Alexaスキル開発ハンズオンを開催しました
こんにちは、中嶋あいみです。 私事ですが・・・ 最近Amazon Echoなしの生活が考えられなくなってしまいました！ 目次 スマートスピーカーの市場は？No.1シェアは？ Alexaスキルとは Alexaセミナー＆ハンズオンをやってみた VUIとは ノンプログラミングでAlexaスキルを作る方法 Alexaスキル開発をはじめるなら AIスピーカー？それともスマートスピーカー？ 初めての方へざっくり説明すると、Amazon EchoにはAlexa (アレクサ) という音声認識機能が搭載されています。 GoogleではAIアシスタントとも言われ、その機能に対する呼び名は各社様々です。 また、『AIスピーカー』と『スマートスピーカー』という呼び名も混在していて諸説ありますが、AI (人口知能) の要素はまだわずかしか感じられないので、筆者としてはスマートスピーカーと呼ぶことにします。 Amazon Echo Dotのある生活 Alexaとの1日ハイライト。 Alexa, Good morning! で、今日の小ネタを言ってもらうことから始まり、 Alexa, how is the whether today? で、天気と気温を教えてもらい、 Alexa, what’s new? で、ニュースを読んでもらい、 Alexa, I’m going. で、行ってらっしゃいを言ってもらい、 Alexa, I’m home. と、ただいまの再会をし Alexa, play “fireplace sounds”....AWS re:Invent2017 Keynote Day2 まとめ
インフラエンジニアの橋本です。 ラスベガスは朝晩は肌寒いですが、日中帯はギリ半袖もいけるような気候です。 それではKeynote二日目で発表された新サービスのご紹介になります。 Alexa for Business 有能なアシスタントが会議室で、デスクであなたをサポートするようになります。 「Alexa,start meeting」、「Alexa,dial XXXX」で、会議や電話会議への参加など、声をかけるだけで実現できるようになります。 上記は一例ですが、他にも連携するアプリケーションによっては、会議室の空きが確認できたり、AWSアカウントのあるリージョン上で起動しているEC2の数を確認できたり、Cloudwatchのアラートを読み上げたりすることもできます。 また、プライベートでも使うことが可能です。 音楽を聴いたり、電気のON/OFF、テレビ番組の切り替えが音声でできます。 音声でAPIから作ったスキル（拡張アプリ）を実行するような仕組みです。 本日よりavailableとなってます。 AWS Cloud9 コーディング、実行、デバッグを可能にする統合開発環境（IDE）です。 ブラウザ上で扱います。 あらかじめ主要な開発言語、およびそのツールがパッケージ化されており、追加の必要はありません。 エディタやデバッグも用意されています。 Lambda関数のテスト/デバッグをサポートしているため、サーバレス開発が可能。 また、IAMユーザを追加することで共同開発をすることも可能なようです。 ※現在、米国西部（オレゴン）、米国東部（オハイオ)、米国東部（北バージニア）、EU（アイルランド）とアジアパシフィック（シンガポール）リージョンでのみ利用可能です AWS Serverless Application Repository サーバーレスアプリケーションの公開、検索、デプロイができるようになります。 公開方法についてはグローバルとプライベートが選択可能です。GitHubのようなソースコードリポジトリを参照させることもできます。 提供者はアプリケーションをSAM（ServerlessApplicationModel ）形式でパッケージ化しておく必要があります。 こちらにてプレビュー受付中のようです。 まとめ 二日目のKeynoteは開発関係の話がメインのようで、ところどころわからなかったこともありましたが、サーバレス化が急速に進み、開発スピードもより速くなっていくんだなと感じました。（どんどんインフラ要らずになっていく・・・。） また、新サービスは一日目が圧倒的に多かったです。 二日目はほぼ、Alexaをはじめとした音声認識やその可能性についての話が多い印象でした。...AWS re:Invent2017 2日目参加レポート
こんにちは。インフラエンジニアの橋本です。 saeki同様、AWSが誇る一大イベント、re:Invent 2017に参加してます。 出国前からチェックインエラー、1日目はバス移動に苦労させられ（なぜかパンフに記載の通りの順じゃない& 到着したら無言でみんな降りる）ましたが、そろそろ慣れてきたので張り切って二日目のレポートです。 1日目の様子はこちらまで。 Global Partner Summit 主な内容をダイジェスト 今年は循環器の治療や銀行のバンキングシステムの効率化など、特にヘルスケアや金融系でAWSの導入が進んでいる パートナーエコシステム（様々なパートナー企業の中から、エンドユーザのビジネスニーズに合わせて柔軟にクラウドの価値を提供する仕組み）をより拡大させ、AWSは絶対的な存在だと印象づける IOT、ML、Blockchain、AI分野も引き続き強化していく エンタープライズが徐々にAWSへ移行が進んでいる。現在はアメリカだが、次はグローバルな流れになる データベースについて、そこ（オンプレ）から動かない（移行しない）という選択肢はない。例えば某オラクル。どちら側につくか選ばなくてはならない（会場ざわめく） 新たにプレミアパートナーに６５企業が追加 Tuesday Night Live AWSのグローバルインフラストラクチャ担当VP Peter DesantisによるKeynote。 リージョンについて 2016-2018年で１１リージョン追加予定。政府向けリージョンをアメリカに。中東初のリージョン（バーレーン）も登場。 スウェーデンをはじめとして、新規立ち上げのリージョンは、再生可能なエネルギーを使って立ち上げる AvailabilityZoneについて 物理的な距離のある複数のDCで、１０万台以上サーバがあるなど、基本的な成り立ちの説明。 AZは最低２つのゾーンだが、最大で６つのゾーンがあるリージョンもある 100GBのAmazonGlobalNetworkでリージョンを繋げていて、67のDirectConnectでAWSへ接続されている Computing at SCALE Machine Lerning（以下、ML） ディープラーニング、X-Rayが医療分野で現場で実際に使われている 例：脳の腫瘍を見つけるX線検査など ここまで成長できた理由 ①ハードウェアの高度化 ②ML framework improvement AWSの**Apache MXNet**を使った機械学習トレーニングで、7-8倍の学習効果があった ③Rapidly growing GLUON Open neural network exchange NNVM and TVM 機械学習モデルのAPIや、一つのエンジンで学習後、別のエンジンで動かす切り替えツールを使用することでも...AWS re:Invent2017 Keynote Day1 まとめ
エンジニアのsaekiです。 Keynote1日目で発表された新サービス&アップデートのまとめです。 EC2 instance type M5 (General purpose) M1 (Big Dataに最適化されたインスタンス) 13m (ベアメタル) Amazon Elastice Container Service for Kubernetes (EKS) 来ると思ってました。満を持して来ましたね。 やっぱりこの発表で一番会場が沸きました。 プレビュー版が本日公開。 AWS Fargate コンテナ管理を抽象化してくれるサービス。 ECSにぶら下がる各インスタンスやその中で動くDockerを意識することなく、コンテナを管理できるようになるようです。 https://aws.amazon.com/jp/blogs/news/aws-fargate-a-product-overview/ ECS版は今日からga、EKSは2018年のどこかでサポートされるようです。 Aurora Multi-Master AWS Auroraのマルチリージョン対応 プレビュー版が本日公開。gaは2018のどこかの予定。 Aurora Serverless Serverlessのフローに対応したオンデマンドなRDS、という理解です。 プレビュー版が本日公開。 DynamoDB Global Table DynamoDBのフルマネージド化、マルチリージョン対応。 今日からgaです。 Amazon Neputure フルマネージドなGraphDB。 プレビュー版が本日公開。 S3 SELECT, GLACIER SELECT データストアにクエリを発行できるようになるやつ。 使いこなせなさそう…...AWS re:Invent2017 1日目 参加レポート
エンジニアのsaekiです。 11/27(月)からラスベガスで開催されているAWS re:inventに参加しています。 日本からラスベガスへ 11/26日17:00ごろ成田空港を出発し、約10時間かけてサンディエゴへ。 そこからサウスウェスト航空に乗り換え、1時間後にラスベガスに到着しました。 自分は海外に行った経験が台湾旅行くらいしか無く、10時間のフライトがとても長く感じました。 経由したサンディエゴ空港、ものすごい混んでました セッション re:inventの目玉はもちろんKey Noteの新サービス発表ですが、それ以外でも様々なセッションが用意されていたり、AWSを用いたサービス/ソリューションを行う企業様がブースを構えていたりと、Key Note以外でも見所が多いです。 re:inventは"教育的なイベント"と呼ばれています。 参加者のレベルに合わせた1時間程度のセッションが多数用意されており、入門レベルの人から上はエキスパートの人まで楽しめるようになってます。 イベント1日目、自分は300レベル(中級者向け)のセッションに参加しました。 セッションのタイトルは「Alexa, Where’s My Car? A Test Drive of the AWS Connected Car Reference」。 車両や運転にまつわる多様なデータをAWS IoTで集めてビックデータ化する、というざっくり言えばそんな内容でした。 普段自分たちが触れるAPI Gateway、Lambda、DynamoDBなどのサービスがこういった用途で使われていると考えると、とてもワクワクします。 スライドは後日発表されるかと思うので、発表され次第こちらにもリンクを貼ります。 JapanExploring Night 夜はJapan Exploring Nightに参加しました。 会社として普段お世話になってる企業様や、業務の関わりは無くてもAWSを使ったサービスを展開している企業様など、様々な方とお話させていただきました。 AWSを中心に人の輪ができ、そこでお互い好きなサービスについて語り合う、とても有意義な時間でした。 二時間があっという間でした。...そうだ、HTTP/2に移行しよう(実践編)
こんにちは、エンジニアの吉田です。 前回そうだ、HTTP/2に移行しよう(OpsWorks編)の記事を執筆しましたが、今回はその続編となります。 (前回から時間が経ってしまい申し訳ないです汗) 前回はHTTP/2に移行する為にAWS OpsWorksを用いたChef12スタックでの シンプルな環境を構築するところまでお伝えしました。 しかし実際はChef12スタックは、Chef11以前のスタックと違い それまでのレシピの運用方法を変えなければなりません。 今回は、現場でのOpsWorks Chef12スタックにおける課題の解決にフォーカスした実践編となります。 実践編 その1. OpsWorksのChef12スタックでコミュニティクックブックを利用したレシピを実行する Chef12スタックで最も注意しなければならない点は、レシピを実行する際に 利用するコミュニティクックブックの参照が自動的に行われなくなったことです。 試しにコミュニティクックブックを利用したレシピをそのまま実行しようとしたら 「コミュニティクックブック?そんなの見つからないよ！」と怒られます。 なので解決方法としてはコミュニティクックブックを含んだクックブックアーカイブを事前に作成し s3にアップロードした場所を参照するようにします。 コミュニティクックブックを含んだクックブックアーカイブを作成 [前提条件] アーカイブ作成にはBerkShelfをインストールしている必要があります。 もし無い方はChefDKをインストールするか、もしくはGemでBerkShelfをインストールしてください。 ChefDK: https://downloads.chef.io/chefdk Gem: gem install berkshelf [手順] 1. ローカルでクックブックのディレクトリに移動する 2. berks packageコマンドを実行してアーカイブを作成する デフォルトだとcookbooks-1506749951.tar.gzといったタイムスタンプ付きのアーカイブが出来上がります。 もしファイル名を指定したい場合はberks package {ファイル名}.tar.gzのようにコマンドを実行します。 3. アーカイブを格納する為のs3バケットを作成する 4. 手順3で作成したバケットにアーカイブをアップロード AWS CLIのS3コマンドが便利です。 aws s3 cp cookbooks.tar.gz s3://{バケット名}...そうだ、HTTP/2に移行しよう(OpsWorks基本編)
こんにちは、チーム活性化サービス「Goalous」のリードエンジニアを務めている吉田です。 今回はGoalousがHTTP/1.1からHTTP/2に移行した経緯と実際にどのように移行したのかをお話します。 なぜ移行したか 僕達は先月までサービス全体の大規模なパフォーマンス改善を1ヶ月半以上かけて行っていました。 Goalousは以前からレスポンスの悪さがかなり目立っていて、「表示速度が遅い」という意見が多く寄せられていました。 開発チームとしてはユーザーのストレスを軽減してサービスの使い心地を向上させたい、 「サクサク動かせるようにしたい」という思いが前々からありましたが ただ機能追加・改善がどうしても優先的になってしまい手をつけることが出来ずにいました。 しかしサービスを有料化する前にはどうしても対応したかったこともあり、 今年5月にチームの総力をあげてサービス全体のパフォーマンス改善に取り組むことが決定しました。 HTTP/2への移行はそのパフォーマンス改善の一つの取り組みです。 HTTP/2のメリットの詳細は今回は省略しますが、詳しく知りたい方はこちらを参照下さい。 HTTP/2への移行を決めたのは、リクエストとレスポンスの多重化等のメリットを享受したかったのと、他にもう一つ僕達にとって重要な理由がありました。 それはAWSの問題です。 GoalousではAWSのOpsWorks(Chefを使用してクラウドエンタープライズでアプリケーションを設定および運用するための設定管理サービス)を使用しています。 OpwsWorksはOpsWorksスタックとOpsWorks for Chef Automateの二種類があり Goalousで使用しているのはOpsWorksスタックです。 OpsWorksのスタックはChefのバージョンが11か12によって明確に区別されます。 僕達はずっとChef11のスタックを使用していましたが、もうそろろそろChef12にバージョンアップしたかったので 今回のHTTP2/移行が良い機会となりました。 あとはロードバランサーがELBではなくALBじゃないとHTTP/2を使用出来ないので思い切って Chef12+ALBの全く新しいスタックを作ることに決めました。 どう移行したか GoalousのChefのレシピは残念ながら公開出来ないので、本記事においてはあくまで OpsworksのChef12スタックとALBをどう構成してHTTP/2を実現するか に焦点を絞り、サンプルのChefレシピを使ってミニマムな構成の手順を説明します。 参考：Use Application Load Balancers with your AWS OpsWorks Chef 12 Stacks Step1.ALB作成 基本的にはAWSの公式ドキュメントに沿って作成します。 ただしステップ 5: ターゲットグループのターゲットを設定するはスキップしてください。 インスタンス作成とターゲットグループへのターゲット登録はOpsWorksで行います。 Step2.OpsWorksスタック作成 OpsWorksのダッシュボードページで、スタック追加ボタンをクリックします。 スタック追加ページに遷移後、まずChef12 Stackを選んだ上で、...