AWS CodePipeline + EKS Action: The Easiest Way to Deploy Containers Yet!
Amazon Web Services (AWS) CodePipeline Team has simplified Developer, DevOps engineers operational overhead and streamlined the Deployment process to EKS by introducing an CodePipeline action to deploy directly to your EKS cluster. Why does it matter to you? Previously if I had to deploy resources to EKS using DevOps approach, I had to manage codebuild project, permissions to access eks, kubectl, helm commands, other horrific shell commands and still it wont be perfect in one shot....Colorkrew で働き続けられている理由: 秋山
こんにちは、インフラエンジニアの秋山です。 この記事ではなぜ私が Colorkrew でインフラエンジニアを約8年間も続けていられるかについて紹介します。 なぜ Colorkrew で働き続けられているのか Colorkrew のユニークな事業構造 Colorkrew では、いわゆる受託事業と SaaS 事業の両方を展開しています。 従業員100人規模の会社で両方の事業を持つことは比較的珍しく、魅力的なポイントの一つです。 受託事業ではお客様のニーズに応じたソリューションを提供 SaaS 事業では自社開発のプロダクトを通じて市場に新しい価値を提供 この両輪があることで、新しい技術やアプローチに触れる機会があるのが特徴です。 例えば、受託案件では「お客様の環境に合わせた技術選定」や「最新の革新的な技術の採用」が求められるため、誰もが経験したことがない技術を組み合わせたシステムを実現することもあります。 一方、SaaS事業では「自社プロダクトに最適な技術を考え、長期的に育てていく」という視点が必要になります。 一つの会社で、異なる開発スタイルや技術に触れられるのは、大きな強みだと感じています。 フレキシブルな働き方と挑戦の機会 Colorkrew では、エンジニアが自分の得意分野を活かしながら、幅広い領域に関わることができます。 「受託専任の IaaS エンジニア」といった固定のロールはなく、事業もロールもフレキシブルに働くことが可能です。 1日の働き方を例に挙げると、 9am-2pm は(ランチタイムを除いて) SaaS 事業のインフラで採用する技術についての調査 3pm-4pm は受託案件の新規提案について、実現可能性の検討 4pm-5pm はコーポレートエンジニアとして会社が利用している SaaS サービスの断捨離を実施 5pm-6pm は SaaS 事業の新製品についてミーティング この柔軟性は、1社で働きながら多様性のある技術やチームで経験を積む機会を提供し、自分のスキルセットを広げるのに役立ちます。 なお、先にご紹介したスケジュールは、あくまで私自身の一例です。 人によっては、複数のロールを兼務するよりも、一つの領域に集中したほうが成果を上げやすい場合もあるので、フォーカスした働き方をしている人もいます。 技術の向上と応用 自分が向上させた技術を複数の事業に生かすことができるのも、Colorkrew で働き続ける理由の一つです。 新しい技術や知識を学び、それを実際のプロジェクトで応用することで、自己成長を実感できます。 私は Microsoft Azure を中心に、その中でもコンテナ系の技術、また DevOps 系の技術を主に扱っています。...CodePipeline EC2 Action: Simplify your EC2 application deployment pipeline by 90%!
Amazon Web Services (AWS) CodePipeline Team has simplified Developer, DevOps engineers operational overhead and streamlined the Deployment process to EC2 by introducing an CodePipeline action to deploy directly to your EC2 instances. Why does it matter to you? Previously, if you wanted to deploy to EC2 instances, you had to use CodeDeploy with an AppSpec file to configure the deployment....Colorkrew で働くエンジニアが利用できる制度や環境について
こんにちは、インフラエンジニアの秋山です。 この記事では Colorkrew で働くエンジニアが利用できる制度や環境について、特にインフラエンジニアに関連するものに焦点を当てて紹介します。 (記事記載時点の情報です) パブリッククラウドの検証環境 まずはパブリッククラウドの検証環境です。 Colorkrew ではインフラ業務の99%でパブリッククラウドを利用します。 業務の中で、挙動について確認したいケースは頻繁にあります。 新しく発表があったサービスや機能の使用感を試したい 案件で必要になった機能が有効か試したい こういった検証には特定の案件に紐づかない、独立した環境が欲しいところです。 このために、私たちは AWS, Microsoft Azure, Google Cloud Playground 環境を提供しています。 この費用は会社が100%負担しています。 もちろん個人の学習用途に使うことも問題ありません。 (個人のサービス運営には使うのはNGです) 資格取得の奨励 次に資格取得の補助です。 ご存じのように各パブリッククラウドベンダーは、それぞれの技術を理解した証明として資格証明を提供しています。 下記の資格は受験費用が 100% 補助されます。(不合格1回分まで) どんどん取りましょう。 Microsoft Azure AWS Google Cloud これ以外にも、業務上利用する技術に関連する資格が挙げられます。 これらは受験費用が 50% 補助されます。 LPIC Kubernetes Certified GitHub Certifications HashiCorp Cloud Engineer Certifications また、インフラエンジニアに限りませんが以下のような資格もあります...EKS Auto Mode Arrives in Terraform – Simplify Kubernetes Today
During AWS re:Invent 2024 AWS released a new feature to EKS i.e EKS Auto Mode, which I have already covered in detail in my previous blog In this blog we will see how we can create cluster with EKS Auto mode using the OG “terraform-eks-module” and how it simplified my eks....Unlocking Aurora DSQL with AWS Lambda: A Seamless Solution for Serverless, Scalable, and Event-Driven Architectures
AWS re:Invent has begun and there are tons of new service and feature announcement from the AWS CEO Matt Garman’s Keynote ( check my x/bluesky thread from the keynote updates) In this blog we will investigate about Amazon Aurora DSQL which is serverless, distributed SQL database with virtually unlimited scale, high availability, and zero infrastructure management claiming 99....Run Kubernetes Like a Pro—Without the Expertise! Introducing EKS Auto Mod
AWS re:Invent hasn’t officially begun, yet there is a game changing new feature to EKS to make you run Kubernetes like a pro!!! In this blog we will investigate what EKS Auto Mode is all about and illustrates how to enables EKS Auto Mode on existing cluster and try to migrate to our managed node groups workloads to EKS auto mode of an existing cluster but we will be not able to do that, find out why in the blog!...Build, Publish, Secure: AWS CodePipeline Now Simplifies ECR Publishing and Vulnerability Scans
Tired of setting up CodeBuild just to push Docker images or run vulnerability scans? With AWS CodePipeline’s new ECRBuildAndPublish and InspectorScan actions, you can now build, publish, and secure your images directly within your pipeline—no extra setup needed. Curious how it works? Let’s dive in! Motivation 26 November, 2024 – Just ahead of re:Invent 2024, AWS released an exciting update introducing ECRBuildAndPublish and InspectorScan actions....AWS CloudWatch Observability Solutions: Game-Changer or Just a Glossy Wrapper? Honest First Impressions!
This blog is little unusual than the usual “show-what-you-built” blogs which we usually see for cloud services and new features on the internet. In this blog I will sharing my first impressions, good and bad points about the new update on Cloudwatch: Observability Solutions !!! AWS CloudWatch Observability Solutions aim to simplify monitoring setup with pre-configured tools for AWS services and workloads....AWS Lambda and S3 Just Got Smarter: How AWS Prevents Recursive Loops Automatically
We all love serverless especially when it comes to AWS LAMBDA functions. There are good reasons to do so for event-driven, decoupling, automation and many other reasons that time aws lambda was released. But there can be situations when our dear friend LAMBDA can turn in to a foe and cost us money, downtime and those times are unintentional recursive Loops....Say Goodbye to Extra CodeBuild Projects: AWS CodePipeline’s New Commands Action Explained
Until Now, if you wanted to run AWS CLI commands, third-party CLI commands, or simply invoke an API, you had to create a CodeBuild project, configure the project with the appropriate commands, and add a CodeBuild action to your pipeline to run the project. Clearly Users had to deal with 2 components CodePipeline and CodeBuild and of course learn the internals for both in order to use the....2024年版 Colorkrew 自社サービスのインフラ業務の現状
こんにちは。Azure Cloud Solution Architect 兼 DevOps Engineer の秋山です。 自社サービスのインフラリードを担当しています。 前回書いたブログが2年前になってしまいましたので、ここで最近のインフラの状況についてまとめてみます。 自社サービス Mamoru Biz で AKS 導入1周年で振り返る プロダクト開発チームの増加に伴う効率化 最も大きい変化はこれです。 2年前は自社サービスイコール Mamoru Biz(現在の Colorkrew Biz) でしたが、現在は「Colorkrew ID」「Colorkrew Intra」「AI Chatシステム」や開発中のプロダクトなど多岐にわたります。 いずれの製品もクラウドインフラを活用しているため、新しいシステムのインフラ構築を効率的に行う必要があります。 自社サービスのインフラチームは私を含めて現在4人、全員受託案件など他の業務と兼任しています。 直近の1,2年ではおおまかに以下の内容を進めることで、インフラ業務が滞らない状況を作り上げてきました。 プロダクト開発チームからの依頼テンプレート化 インフラ・デプロイコードのモジュール化 最新技術のトライアンドエラーとフィードバック 本エントリではこれらを順に説明します。 プロダクト開発チームからの依頼テンプレート化 弊社ではソースコード管理に GitHub を利用しています。 新しいプロダクトの開発が始まるタイミングや既存プロダクトで新たなクラウドインフラが必要になったときに、GitHub Issue に内容をインフラチームが自身でまとめるようにしました。 そしてそれが大体パターン化されてきたため、 Issue テンプレートを用意して、プロダクト開発チームに記載してもらうようにしました。 ref: リポジトリ用に Issue テンプレートを設定する 内容は以下です 必要なクラウドインフラリソース(DB, Storage, …etc) Kubernetes リソース(Pod, CronJob, …etc) デプロイフロー 環境別の期日(Debug は ASAP, Prod は2か月後, …etc) チャットのラリーで必要な情報を埋めていくのは非効率なため、一度で大半の情報を網羅できるのは効率的です。 また、プロダクト開発チームは別のプロダクトのインフラ依頼内容を参考にすることで、サイロ化を防ぎ横のつながりや理解にもわずかながらつながるという副次的な効果も見えています。...自社サービス Mamoru Biz で AKS 導入1周年で振り返る
こんにちは。Azure Cloud Solution Architect の秋山です。 今回の記事では自社サービスで AKS 導入を始めて1年が経ち、どうやってきたか、何が変化したのかについて書きます。 1年前に書いた Azure Kubenetes Service(以下 AKS) 移行の記事は以下です。 Vol.1 App Service から AKS へ移行の決断 Vol.2 AKS(k8s) 移行の下準備 Vol.3 AKS(k8s) 移行 AKS クラスターバージョンの更新管理 AKS では最新バージョンから２世代前までのマイナーバージョンをサポート対象としているため、 4-5カ月周期でリリースされるマイナーバージョンをキャッチアップする必要があります。 参考:AKS Kubernetes リリース予定表 Mamoru Biz では AKS クラスターをインプレースアップグレードと呼ばれる手法で更新しています。 システムが利用中のクラスターのバージョンをアップグレードし、ノードを順にアップグレードする方法です。 参考:Azure Kubernetes Service (AKS) クラスターのアップグレード もう一つ Blue/Green デプロイメントと呼ばれる手法も検討しましたが、利用していません。 下の図のように、現行クラスターに加えて新バージョンのクラスターを用意し、Front Door や Traffic Manager などで切り替える方法です。...データ基盤向けPaaS『Azure Databricks』の費用を知ろう
こんにちは、Azure担当の原です。 今日は、最近お勧めする機会の増えたデータ基盤向けPaaS『Azure Databricks』の料金体系をご案内します。 Azure Databricksは機能面、性能面とも優れたお勧めのサービスです。 料金体系を把握することで、安心してより積極的にご活用頂けるのではないでしょうか。 ※文中に掲載した価格は2022年3月～4月時点のものです。 Azure Databricksそのものについては公式ドキュメントをご覧下さい Azure Databricks とは | Microsoft Docs Azure Databricks利用料金の全体像 Azure Databricksの利用料金は、大きく分けて①Azureリソース利用料、②Databricksソフトウェア利用料、の二つで構成されます。 Azureリソース利用料について Azure Databricksを利用する際には、下図のようなリソースがAzure上に展開されます。 図の左側「データレイク」は、Azure Databricks固有のリソースではなく、利用者が保有するデータを蓄えるストレージアカウントを指します。 右側の「Databricksワークスペース」の枠内が、Azure Databricks利用時に生成されるリソースです。 「利用者のSubscription」が利用者から見える場所に生成されるリソースです。 Azure Databricksによって自動で生成・削除されますが、リソースそのものは通常の仮想マシンやディスク、ストレージなどで、Azureの価格表に沿った金額が課金されます。 「Microsoft管理Subscription」に存在するリソースは利用者から見えず、明示的な課金対象にもなりません。 出典： 仮想ネットワークを管理する - Azure Databricks | Microsoft Docs Azure Databricksソフトウェア利用料について Azureリソースの他に、Databricksソフトウェアの料金が発生します。 単位は「Databricks Units(DBU)」で、1DBUのノードを1時間動かした場合の価格は以下のようになっています。 実際の課金は秒単位で計算されます。 クラスター料金を計算してみる それでは料金を計算してみましょう。 Azure Databricksのデータ処理はクラスターで行います。 クラスターにもいくつかのタイプがありますが、ここではSQL Compute用途のクラスターを用います。 SQL Computeクラスターはサイズとワーカーノード数の組み合わせが下表のようにプリセットされています。...