AWS re:Invent2017 Keynote Day2 まとめ
インフラエンジニアの橋本です。 ラスベガスは朝晩は肌寒いですが、日中帯はギリ半袖もいけるような気候です。 それではKeynote二日目で発表された新サービスのご紹介になります。 Alexa for Business 有能なアシスタントが会議室で、デスクであなたをサポートするようになります。 「Alexa,start meeting」、「Alexa,dial XXXX」で、会議や電話会議への参加など、声をかけるだけで実現できるようになります。 上記は一例ですが、他にも連携するアプリケーションによっては、会議室の空きが確認できたり、AWSアカウントのあるリージョン上で起動しているEC2の数を確認できたり、Cloudwatchのアラートを読み上げたりすることもできます。 また、プライベートでも使うことが可能です。 音楽を聴いたり、電気のON/OFF、テレビ番組の切り替えが音声でできます。 音声でAPIから作ったスキル（拡張アプリ）を実行するような仕組みです。 本日よりavailableとなってます。 AWS Cloud9 コーディング、実行、デバッグを可能にする統合開発環境（IDE）です。 ブラウザ上で扱います。 あらかじめ主要な開発言語、およびそのツールがパッケージ化されており、追加の必要はありません。 エディタやデバッグも用意されています。 Lambda関数のテスト/デバッグをサポートしているため、サーバレス開発が可能。 また、IAMユーザを追加することで共同開発をすることも可能なようです。 ※現在、米国西部（オレゴン）、米国東部（オハイオ)、米国東部（北バージニア）、EU（アイルランド）とアジアパシフィック（シンガポール）リージョンでのみ利用可能です AWS Serverless Application Repository サーバーレスアプリケーションの公開、検索、デプロイができるようになります。 公開方法についてはグローバルとプライベートが選択可能です。GitHubのようなソースコードリポジトリを参照させることもできます。 提供者はアプリケーションをSAM（ServerlessApplicationModel ）形式でパッケージ化しておく必要があります。 こちらにてプレビュー受付中のようです。 まとめ 二日目のKeynoteは開発関係の話がメインのようで、ところどころわからなかったこともありましたが、サーバレス化が急速に進み、開発スピードもより速くなっていくんだなと感じました。（どんどんインフラ要らずになっていく・・・。） また、新サービスは一日目が圧倒的に多かったです。 二日目はほぼ、Alexaをはじめとした音声認識やその可能性についての話が多い印象でした。...AWS re:Invent2017 2日目参加レポート
こんにちは。インフラエンジニアの橋本です。 saeki同様、AWSが誇る一大イベント、re:Invent 2017に参加してます。 出国前からチェックインエラー、1日目はバス移動に苦労させられ（なぜかパンフに記載の通りの順じゃない& 到着したら無言でみんな降りる）ましたが、そろそろ慣れてきたので張り切って二日目のレポートです。 1日目の様子はこちらまで。 Global Partner Summit 主な内容をダイジェスト 今年は循環器の治療や銀行のバンキングシステムの効率化など、特にヘルスケアや金融系でAWSの導入が進んでいる パートナーエコシステム（様々なパートナー企業の中から、エンドユーザのビジネスニーズに合わせて柔軟にクラウドの価値を提供する仕組み）をより拡大させ、AWSは絶対的な存在だと印象づける IOT、ML、Blockchain、AI分野も引き続き強化していく エンタープライズが徐々にAWSへ移行が進んでいる。現在はアメリカだが、次はグローバルな流れになる データベースについて、そこ（オンプレ）から動かない（移行しない）という選択肢はない。例えば某オラクル。どちら側につくか選ばなくてはならない（会場ざわめく） 新たにプレミアパートナーに６５企業が追加 Tuesday Night Live AWSのグローバルインフラストラクチャ担当VP Peter DesantisによるKeynote。 リージョンについて 2016-2018年で１１リージョン追加予定。政府向けリージョンをアメリカに。中東初のリージョン（バーレーン）も登場。 スウェーデンをはじめとして、新規立ち上げのリージョンは、再生可能なエネルギーを使って立ち上げる AvailabilityZoneについて 物理的な距離のある複数のDCで、１０万台以上サーバがあるなど、基本的な成り立ちの説明。 AZは最低２つのゾーンだが、最大で６つのゾーンがあるリージョンもある 100GBのAmazonGlobalNetworkでリージョンを繋げていて、67のDirectConnectでAWSへ接続されている Computing at SCALE Machine Lerning（以下、ML） ディープラーニング、X-Rayが医療分野で現場で実際に使われている 例：脳の腫瘍を見つけるX線検査など ここまで成長できた理由 ①ハードウェアの高度化 ②ML framework improvement AWSの**Apache MXNet**を使った機械学習トレーニングで、7-8倍の学習効果があった ③Rapidly growing GLUON Open neural network exchange NNVM and TVM 機械学習モデルのAPIや、一つのエンジンで学習後、別のエンジンで動かす切り替えツールを使用することでも...AWS re:Invent2017 Keynote Day1 まとめ
エンジニアのsaekiです。 Keynote1日目で発表された新サービス&アップデートのまとめです。 EC2 instance type M5 (General purpose) M1 (Big Dataに最適化されたインスタンス) 13m (ベアメタル) Amazon Elastice Container Service for Kubernetes (EKS) 来ると思ってました。満を持して来ましたね。 やっぱりこの発表で一番会場が沸きました。 プレビュー版が本日公開。 AWS Fargate コンテナ管理を抽象化してくれるサービス。 ECSにぶら下がる各インスタンスやその中で動くDockerを意識することなく、コンテナを管理できるようになるようです。 https://aws.amazon.com/jp/blogs/news/aws-fargate-a-product-overview/ ECS版は今日からga、EKSは2018年のどこかでサポートされるようです。 Aurora Multi-Master AWS Auroraのマルチリージョン対応 プレビュー版が本日公開。gaは2018のどこかの予定。 Aurora Serverless Serverlessのフローに対応したオンデマンドなRDS、という理解です。 プレビュー版が本日公開。 DynamoDB Global Table DynamoDBのフルマネージド化、マルチリージョン対応。 今日からgaです。 Amazon Neputure フルマネージドなGraphDB。 プレビュー版が本日公開。 S3 SELECT, GLACIER SELECT データストアにクエリを発行できるようになるやつ。 使いこなせなさそう…...AWS re:Invent2017 1日目 参加レポート
エンジニアのsaekiです。 11/27(月)からラスベガスで開催されているAWS re:inventに参加しています。 日本からラスベガスへ 11/26日17:00ごろ成田空港を出発し、約10時間かけてサンディエゴへ。 そこからサウスウェスト航空に乗り換え、1時間後にラスベガスに到着しました。 自分は海外に行った経験が台湾旅行くらいしか無く、10時間のフライトがとても長く感じました。 経由したサンディエゴ空港、ものすごい混んでました セッション re:inventの目玉はもちろんKey Noteの新サービス発表ですが、それ以外でも様々なセッションが用意されていたり、AWSを用いたサービス/ソリューションを行う企業様がブースを構えていたりと、Key Note以外でも見所が多いです。 re:inventは"教育的なイベント"と呼ばれています。 参加者のレベルに合わせた1時間程度のセッションが多数用意されており、入門レベルの人から上はエキスパートの人まで楽しめるようになってます。 イベント1日目、自分は300レベル(中級者向け)のセッションに参加しました。 セッションのタイトルは「Alexa, Where’s My Car? A Test Drive of the AWS Connected Car Reference」。 車両や運転にまつわる多様なデータをAWS IoTで集めてビックデータ化する、というざっくり言えばそんな内容でした。 普段自分たちが触れるAPI Gateway、Lambda、DynamoDBなどのサービスがこういった用途で使われていると考えると、とてもワクワクします。 スライドは後日発表されるかと思うので、発表され次第こちらにもリンクを貼ります。 JapanExploring Night 夜はJapan Exploring Nightに参加しました。 会社として普段お世話になってる企業様や、業務の関わりは無くてもAWSを使ったサービスを展開している企業様など、様々な方とお話させていただきました。 AWSを中心に人の輪ができ、そこでお互い好きなサービスについて語り合う、とても有意義な時間でした。 二時間があっという間でした。...AWS re:invent2016 Key Note --- Day1 ---
こんにちは。 インフラ担当の赤川です。 現地11/30はKey Note Day1でした。 本日発表された新しい情報を簡単に書いていきたいと思います。 コンピューティングサービス Light Sail サーバなど利用したことのない方向けのVPSサービス。 できるだけ簡単にインスタンスを起動できる。 データ通信量などを含めた月額定額で、使いたいサービス（wordpress）を選択することができる。 T2 瞬間的なCPUバーストを出すことができるインスタンスである T2インスタンスの新しいタイプが追加されました。 R4 R3の後継ファミリーとして、R4が発表されました。 最大搭載メモリは488GBとなります。 I3 I2の後継ファミリーとして、I3が発表されました。 C5 C4の後継ファミリーとして、C5が発表されました。 コンピューティングの集約型ワークロードに最適なタイプです。 Elastic GPUs EBSと同じ感覚で、既存のインスタンスに対してGPUをアタッチすることができるようになります。 3Dモデリングなど、幅広いグラフィックワークロードを実行したい場合に向いています。 F1 プログラマブルなハードウェアであるFPGAを利用可能なインスタンスファミリであるF1が発表されました。 自身でカスタムハードウェアアクセラレーションをプラグラム可能で、FPGAイメージを作成し、 ハードウェア上でカスタムロジックが動作する仕様となります。 DBに関するアップデート Amazon Athena EMRやElasticSearchを利用するのはちょっと高価すぎるという場合の分析サービスで、 簡単なクエリを投げて分析/解析することができます。 ANSI-SQLをサポートしているので、特殊なスキル不要。 今後、S3を中心としたデータレイクを構成していくことをオススメしていました。 Aurora PostgreSQL対応 2014年に発表されたAuroraがPostgreSQL互換対応版もリリースされます。 PostgreSQLでAuroraを利用したかったお客様には朗報ですね。 AI/ディープラーニング Amazonの商品おすすめ機能など、これまでもAmazonはAIを利用してきた。 Alexa&Echoなどの音声サービスに対するディープラーニング。 Amazon Rekognition ディープラーニングを利用した画像認識サービスとなります。 S3に格納した画像に対して解析を行い、状況、物体、顔情報に関するタグ情報を出力。 Amazon Polly テキストで省略した言葉（PPAP)なども解析し、省略している言葉も フル（PenPineappleApplePen）と発生してくれるサービス。...AWS re:invent2016 Key Note — Day2 —
こんばんは。 インフラ担当の赤川です。 本日も引き続きre:invent2016 Key Note 二日目の模様をお届けします。 Deploy AWS OpsWorks For Chef Automate Full ManagedなChef Serverとして、AWS OpsWorks For Chef Automateが発表されました。 OpsWorksのStackで操作し、バックアップやソフトウェアアップグレードまでManagedされ、 これまで運用の負荷となっていたChefサーバーの管理が容易になります。 Amazon EC2 Systems Manager EC2を管理するサービスとして、Amazon EC2 System Managerがリリースされました。 コマンド実行やインベントリ、Windows Serverに対するパッチ管理などが実現され、 運用の手助けになりそうです。 AWS Code Build コード管理のCode Commit、DeployのCode Deplyの足りないピースとして、 デプロイを請け負うAWS Code Buildが発表されました。 課金体系はビルドされてから処理が終わるまでの分単位課金となるようです。 DevOps AWS X-RAY アプリケーションモニタリングツールとして、AWS X-RAYが発表されました。 アプリケーションのどこがボトルネックになっているのか、レイテンシーなどを深掘りしてみること ができるようになり、アプリケーションの見える化を実現します。 Respond AWS Personal Health Dashboard AWS Personal Health Dashboardが発表されました。 これまで個別に通知されていた（インスタンスのメンテナンス通知等）が一元的に管理されます。 つまりアカウント自体で予定されているメンテナンス情報がパッとコンソール画面で確認することができるようになります。 パフォーマンスや可用性も確認可能とのことです。...AWS re:invent2016に来ています
AWS re:invent2016 Global Partner Summit はじめまして。 インフラ担当の赤川です。 LAS VEGASで開催されているAWSのユーザカンファレンスであるre:inventに来ています。 昨年は弊社からは1名の参加でしたが、今年は私を含むインフラメンバ3名で参加しております。 本日はグローバルパートナーサミットが開催されました。 パートナー企業に対するメッセージとして、次のメッセージが響きました。 （同時通訳で聞いていたので齟齬があるかもしれません。） フォーチューン100に入る企業の90%がAWSを利用、またパートナー企業が様々な形でサポート していることも見ればわかるように、顧客は専門的なAWSの知見がなく、それを実現してくれる パートナー企業を必要としている。 つまり顧客がわからないこと＝パートナー企業にとっては最大のチャンスである。 こういった要望に応えられるプロフェッショナルな人材に投資する企業が勝ち残っていくと感じている。 これは本日発表された、Partner Solutions Finderなるサービスと紐づいた メッセージなのかと思っています。 Partner Solutions Finder https://aws.amazon.com/jp/partners/find/ 検索キーワードを元にパートナー企業を探すことができる検索サービス。 そして、検索結果からダイレクトにパートナー企業へ問い合わせることができるようです。 AWSのサービスを知り尽くし、最適なシステムを提供できる企業は検索候補として引っかかる可能性が 上がり、今まで以上に多くの仕事を受注できる可能性が広がる。 弊社はAdvanced Partnerとなっておりますが、これまで以上にサービスを提供できる幅を広げ、 精進していきたいと思います！！ 余談ですが、今回の参加者特典はパーカーとecho dotでした。 明日以降もKey Noteを中心にレポートしたいと思います。...Azure価格が変わります！
Microsoft Azureをご利用中、ご検討中のみなさまこんにちは！ くらまねプロジェクトの愛です！ いきなりですが、2016年10月1日からAzure料金が改定されたのはご存知ですか？ Azure促進を目的として、より多くのお客様にご利用いただくため、AzureのOnline価格の値下げが実施されました。 大まかにいうと 汎用インスタンス A シリーズ仮想マシン (VM) インスタンスの料金は最大 50% の値下げとなります Dv2 シリーズでは最大 15％ の値下げとなります。 コンピューティング最適化インスタンス F シリーズの料金は最大 11% の値下げとなります 新機能も登場します。新しい Av2 シリーズでは、さらに多くの保存方法をご利用いただけるようになります。 実際の料金の計算は、こちらのWebサイトからも確認できます。（Linux Virtual Machinesの場合) https://azure.microsoft.com/en-us/pricing/details/virtual-machines/linux/ 今までよりも利用しやすくなったAzureの構築、運用、その他のご相談はぜひくらまねへ！...AWSのCloudwatchにアラート(Alarm）を設定し、監視する
こんにちは。新人の橋本です。 これまではオンプレミスのハイブリッドクラウド(プライベート+パブリック)や物理サーバにて運用構築業務についてましたが、 AWS自体は初めて取り扱う環境ですので、その目線から、ブログを書いていきたいと思います。 今回はAWS導入後、基本的なリソース監視ができるCloudwatchの設定、およびAlarmを設定し、閾値を超えたらEメールを送付するという ごくごく基本的な設定について記載します。 1)設定画面 EC2にてインスタンス作成後、EC2の[Instance]項目にてにてAlarm設定したいインスタンスを選択し、[monitoring]タブを選択します。 2)Alarm設定 右部分にある[Create Alarm]を選択すると、CreateAlarm画面が表示されるため、各項目を入力します。 Send a Notification to → 別項目にて、SNS topicを作成している場合、リストに追加されます(今回は追加しません) Take the action → Alarm発生時のアクション。発生した場合どうするかを選択できます(今回は設定しません) Whenever → リストより程度(Average,Max,Minimumなど)、および項目(CPU Utilization、Disk Usageなど)を選択します Iｓ → 閾値(○○パーセント以上or以下など)を設定します For at least → 判定条件(○分間毎に△回[Whenever]項目が[Is]だった場合にAlarmカウントする)を設定します Name of Alarm → Alarm名を設定します 3)設定追加 各項目設定後、右下の[Create Alarm]を選択すると、Alarm項目が作成され、次の画面が表示されるので、リンクをクリックします。 4)項目追加確認 CloudWatch Management Console画面に遷移するため、項目が追加されたことを確認し、[Modify]タブをクリックします。 5)メール送信設定① [Modify Alarm]画面が表示されるため、[Actions]項目の[+Notification]をクリックします。...PV InstanceからHVM Instanceへ変換(CentOS6)
準備するもの ① EC2 Instance(CentOS6)既存の動いているものでもOK ② 変換元のRoot deviceのSnapshot ③ ②から作成したEBS Volume (SSDのほうが作業が早い) ③ 空のEBS Volume (SSDのほうが作業が早い) DEVICEの確認 # fdisk -l |grep dev Disk /dev/xvda: 10.7 GB, 10737418240 bytes Disk /dev/xvdb: 4289 MB, 4289200128 bytes Disk /dev/xvdf: 10.7 GB, 10737418240 bytes <-PV環境のRoot device Disk /dev/xvdg: 10.7 GB, 10737418240 bytes <-空のEBS Volume 作業開始 １．PVのDiskを縮小し、コピー容量を減らす...CloudFormationを使いredmineのインスタンスを起動する
おはようございます。インフラの宮下です。 社内向けredmineが古いのでリプレイスを検討しています。 できるだけ手間をかけずに検証環境を用意したいと思い、AWSのcloudformationを使って redmineを用意してみました。 目次 はじめに CloudFormationでインスタンスを作成する インスタンスが起動してからの設定 はじめに 現在稼働しているredmine環境が物理サーバにバージョンがRedmine 1.1.2.stable (MySQL)ととても古いので最終的には入替まで実施したいと思います。 CloudFormationでインスタンスを作成する ManagementConsoleからCloudformationの画面を開きます。 「Create Stack」で新規作成を開始します。 ・Name→管理しやすい名前を自由につける。 ・Template→Use sample templateの中のSingleInstanceSamplesの中から「Redmine Project Management System」を選ぶ。 ※検証環境なので今回は最小化された構成で構築します 「Next Step」で次に進みます。 Specify Parametersにそれぞれ値を入れていくのですが、デフォルトではkeyを指定する事ができませんでした。 という事で一旦「Back」で戻ります。 amazonが公開している下記のテンプレートをローカルPCに保存します。 https://s3.amazonaws.com/cloudformation-templates-us-east-1/Redmine_Single_Instance.template サンプルとの違いは、KeyNameの定義が入っているだけですのでSSHログインしないというのであれば この作業は不要です。 [shell]（8行目） “KeyName”: { “Description” : “Name of an existing EC2 KeyPair to enable SSH access to the instances”, “Type”: “String”, “MinLength”: “1”, “MaxLength”: “255”, “AllowedPattern” : “[\\x20-\\x7E]*”, “ConstraintDescription” : “can contain only ASCII characters....MysqlのHAとトラブル事例
久しぶりの更新になります。プラットフォームの宮下です。 先日開催されました、July Tech Festa2013というイベントの中の1コマで何と私が発表をさせて頂きました。 その時使用した資料をアップしますので興味のある方は是非一読下さい。 [slideshare id=24320385&doc=mysqlha-130716215401-phpapp02] mysqlのHA構成のデザインパターン紹介を経験談を交えて話させて頂きました。 とても緊張してしまって肝心のトラブル事例がお話出来ませんでした。このブログでは、包み隠さずトラブルのレポートが出来ればと思います。 今回のテーマは、小宮先生のレポートを多分に活用させて頂いています。 次回こそは、私の成果を発表したいもんです。 それではまた近いうちに更新します。...IDCフロンティア セルフクラウド入門編
IDCフロンティアのセルフクラウドでAPI環境を用意するまで ~その1~サーバを起動する 始めまして。プラットフォーム担当の宮下です。 かねてから利用している、「IDCフロンティア クラウドセルフタイプ」の利用方法について基本的な流れを案内していきたいと思います。 会社としてもう今回は、仮想マシンの起動までの簡単な流れを説明させて頂きます。 パブリッククラウドは各社で独自の管理コンソールがあって慣れるまではそれぞれにくせがあります。その辺についても今後触れていければと思います。 仮想マシン作成 作成したユーザ/パスワードでログインしたら、〔ホーム〕→〔ダッシュボード〕から〔仮想マシン作成〕で作成を開始します。 OSの選択 次に起動するOSを決めていきます。リストをスクロールすると標準で用意されたテンプレートがたくさん出てきますのでお目当てのOSタイプが見つかるまで頑張って探してみて下さい。 （特にOSの指定が無ければLATESTの中から選び、ミドルウェアが必要かどうかで決めれば良いと思います） 今回はAPIツールを使用する環境を作りたいのでLATESTのLAMP環境OSを選びます。 〔[LATEST] LAMP or LVS(keepalived) or HAProxy or API Access Tool or Scalr or Elecoma or Yahoo! Cloud Storage Access Tools〕 を〔選択〕します。 マシンスペックの選択 次にサーバのスペックを決めます。 これはどこのクラウドでも同じだと思います。必要な用途に応じて最適なマシンスペックを選びます。 今回は最小の〔XS〕（1CPU/メモリ0.5GB）を選択します。 追加DISKの選択 次に追加DISKの設定をを行います。 OSデータ以外にコンテンツやログといった大きな容量を使用する場合は、ココでDISKを増設しておきます。 あとで追加もできますので必要が無ければ追加無しで進めます。なお今回はAPIツール用なのでDISKの追加は行いません。 SSH鍵の設定 最後にSSH鍵を設定します。 始めての時はまだSSH鍵が登録されていないので新規にSSH鍵を作成します。 生成された秘密鍵はSSH接続時やAPIツールを使用する際に必要となりますので大切に保管しておきます。 仮想マシン申し込み 登録した内容を最終確認して仮想マシン作成を開始します。 内容に差異が無ければ同意するにチェックして、〔申し込み〕を選ぶと作成が開始します。 最初の1台目の仮想マシンを作成する時には注意が必要です。赤字の注意事項に書かれている内容を確認しておきます。...