• CI/CD の推進について ~ Azure Data Factory ~

    こんにちは。 Azure Cloud Solution Architect の秋山です。 今回は推進している CI/CD の取り組みについて、 Azure Data Factory(以下、ADF) を取り上げて紹介します。 ADF そのものの紹介については今回は触れません。少し古いですが以前ハンズオンしたときの記事がありますので、参考にしてください。 Azure Data Factory 入門ハンズオンの資料を公開します なぜ CI/CD を推進しているのか みなさんは時間を持て余してますか? 私はいつももっと欲しいと思うことが多いです。 もし時間が袋詰めで売ってたら買いたいくらいです。 そんな有限で平等なリソースである時間を有効活用するためにも、 CI/CD の推進は重要です。 開発/検証/本番環境の3環境があるプロジェクトにおいて、開発環境より後述の環境に対しては、開発環境と同じ成果物を自動的にデプロイしたい、というニーズがあります。 その背景は、開発環境で修正したバグが検証/本番環境で発生してしまうといったつまらない問題を回避したい、というものです。 もしも人が3環境を手動でデプロイしていると、こういったつまらない問題がかなりの頻度で発生してしまいます。 人はミスをする生き物なので、避けがたい問題に時間を費やすのではなく、価値を生み出すことに時間を割きたいものです。 Azure Data Factory の CI/CD 構築例 構成イメージとしては以下のとおりです。 開発者は開発環境の ADF の開発ポータルを操作して開発します 開発者は開発の区切りで publish を行います publish を行うと、 ARM Template が Azure Repos に Commit されます Commit によって Azure Pipelines がトリガーされると、ARM Template を使って検証/本番環境の ADF にリソースをデプロイします 開発者は環境差異を ARM Template Parameter で管理して適宜更新します 参考: https://docs.
    ...
  • Azure Data Factory 入門ハンズオンの資料を公開します

    クラウドエンジニアの秋山です。 Tech Summit 2018 Day3(11/7) に Azure Data Factory の入門ハンズオンを行いました。 データ可視化のインフラ インテグレーション ~ 50 分でわかる Azure Data Factory 入門 試したい方へ Tech Summit 2018 Azure Data Factory 入門ハンズオン from 康平 秋山 上記ハンズオン資料はあらかじめ Azure Blob Storage と SQL Database が作成されている前提で進みます。 ポータル上で作成するか、 terraform がわかる方は以下の tfファイルを参考にしてください。 Blob Storage 上の emp.txt ファイルは以下の内容です。 所感 ご参加いただいた方はありがとうございました。 個別に質問いただいた点についてもここに記載しておきます。
    ...