A Brief Introduction to Kafka
There’s no denying that we have already ushered in the era of big data. An enormous amount of information is generated every second. While decision-makers can gain invaluable insights from this ever-growing data, its sheer volume also poses considerable challenges to data engineers–greater demand for storage spaces, the need to handle increasingly complex data formats, and highly unpredictable network traffic....SXSW2023、嵐の前の小休止…
こんにちは、3日連続ColorkrewのデザイナーのYugoです。 SXSW2023の出展開始を明日に控え、本日はオフの日ということでしたが、結局SXのイベントを色々と見て回りました。 段々と会場周辺にも人が増えてきており、Austinも熱が高まっております。 LIME（電動シェアリングキックボード）で会場に向かう我々、爽快です！ ピッチコンテストへ Colorkrew Bizプロジェクトマネージャーの前澤オススメのピッチコンテストを見に行きました。 プロダクトはさまざまで面白いのですが、ジャッジの辛辣なコメントが面白く楽しめました。 あれだけの質問を捌くのはかなりの英語力が必要…。 ラウンジ巡り ラウンジ付きのAmazonのオーディブルブース、Dolbyの体験型アトラクションなどでテンションが上がる我々。 SalesのKotaはAmazonオーディブルを真剣に聞き入ってます。 ブラジル式BBQ!!? 終わりにColorkrew BrazilのDanielによるバーベキューパーティを行いました。 テキサス牛をプロフェッショナルな焼き加減で堪能。 最高やんけ… 明日朝9時からいよいよCREATIVE INDUSTRIES EXPOがはじまります！ 現地に行かれる方は是非「HALL2 / Booth 1726」お越しください！ Colorkrew Bizとは？ ヒト・モノ・カネに関するオフィスの名もなき仕事™をQRコードで解決する、ビジネスコンシェルジュツールです。2018年にリリースされ、導入企業600社を突破しました。...SXSW2023、Platinum Badgeをゲット！そして旧メンバーと再会…
こんにちは、ColorkrewのデザイナーのYugoです。 引き続きSXSW2023の出展を前に色々と準備をしております。 前回のブログでお伝えした通り、昼間は30℃近くまで気温があがるのですが、朝方はとても寒い！！ 朝方は雨天でしたがその後順調に回復。最高に過ごしやすい気候を堪能しています。 テキサス州議事堂の公園には多くのリスが…。かわいいですね。 いよいよ会場へ そして早朝から開始されるバッジの受け取りのため、早々に宿泊先から会場に向かいました。 我々は出展者ということで、ほぼ全てセッションやイベントに参加できる「Platinum Badge」をゲット！ そして12日からオープンする我々のColorkrew Bizブースを見に行きました。 3人のスタッフに聞いてやっと辿り着いたエキシビジョンカウンターで、エキシビジョンパスもゲット。 ちゃんと設営されているようで安心！ 各社セッションに参加 テックイベント開始前なので、まだ本格的なセッションは始まっておりませんが既に始まってるプレイベントを見て回りました。 Porscheのトランスフォーマーコラボ展示や、Niantic社のAR体験イベントなど。 一通り見て回った後はお決まりのアメリカ巨大スーパーへ。 アメリカのスーパーマーケットはスケールが段違い！ 旧リードデザイナーとの再会！ そして夕食は、なんと旧ISAO時代のリードデザイナー・NOBUさんと再会！ NOBUさんは現在ダラスに在住しており、我々に会うためにAustinまでやって来てくれました。 念願のテキサスステーキを堪能し、昔話に花が咲きました！ 明日は設営を行い、イノベーションアワードで最新のソリューションを見に行き、ようやく明後日からエキシビジョンが始まります。 現地に行かれる方は是非我々のブースにお越しください！ Colorkrew Bizとは？ ヒト・モノ・カネに関するオフィスの名もなき仕事™をQRコードで解決する、ビジネスコンシェルジュツールです。2018年にリリースされ、導入企業600社を突破しました。...SXSW2023出張、始まる！！
こんにちは、ColorkrewのデザイナーのYugoです。 Danielの投稿にもあった通り、我々Colorkrew Bizチームは「SXSW2023」に2023年3月12日から出展します！プロジェクトオーナーの前澤をはじめ、営業チーム3名、デザイナー2名、エンジニア1名、そしてColorkrew BrazilからDanielの計8名による大所帯で、Colorkrew Bizにとって初の海外展示会を成功させようと出陣しました。 *乗るシャトルバスを間違えて空港周辺を一周するというケアレスミスもありましたが…。 Austin到着!! 初日のフライトではLAの空港を経由し、約16時間の航路でオースティンに到着しました。 現在宿泊しているAirbnbからこの記事を書いております。 *Airbnbの宿泊開始日時を間違えて急遽別のAirbnbを取るというちょっとしたミスもありましたが…。 オースティンの最高気温は30度（！）と夏服で過ごせるような気候です。 この時期、花粉症持ちの僕にとっては最高にリフレッシュできています（笑） 明日はSXSW2023のバッジを受け取り、いよいよ本番のテックイベントが始まろうとしています。 他社のブースやイベントを見ることももちろんですが、何よりColorkrew Bizがアメリカでどの程度受け入れられるのか非常に楽しみです。 引き続きレポートしますので、お楽しみに！ また、現地に行かれる方は是非我々のブースに寄ってみてください。 Colorkrew Bizとは？ ヒト・モノ・カネに関するオフィスの名もなき仕事™をQRコードで解決する、ビジネスコンシェルジュツールです。2018年にリリースされ、導入企業600社を突破しました。...Colorkrew Attendance at SXSW March 2023 in Texas with Colorkrew Biz
If you read a lot about innovation and technology, you’ve probably heard or seen some publication involving the acronym SXSW. The acronym means South by Southwest and it is an innovation festival. We can say that it is one of the biggest events of our time involving people from all over the world who debate themes that involve innovation, media, music, behavior and interactivity....A Brief Introduction to the Inner Working of MapReduce
As a data engineer, you probably have heard about Hadoop. It is one of the most popular frameworks for distributed processing of large data sets. It is less costly and more secure than other frameworks. At its center is a programming model called MapReduce. Today we will take a closer look at MapReduce to understand the inner working of Hadoop....ETL vs. ELT: Pick the Most Suitable Data Integration Method for Your Project
As a data engineer, you probably have heard of the data integration methodology called ETL (Extract-Transform-Load). It has been around for a while, and many data engineers have used this methodology to build data pipelines. However, ETL is not the only option up our sleeves. Recently, ELT has also been gaining a lot of popularity....プログラミングにまつわる今昔物語
はじめに こんにちは。Colorkrew(以下CK)の老人プログラマー TORIIです。 さて今日はColorkrewプログラミング老人会のトップ3(正確にはよくわからない)である私からプログラミングにまつわる今昔な話をしたいと思います。 実際のところ世の中のプログラミング老人会的にはまだまだ私なんぞ若造もいいところなのですが、最近我が社では若くてフレッシュでピッチピチなエンジニアが続々と増えたのに対し老人層が心持ち減ってしまい気がついたらそうなっていたのです。ただ座っていたらそうなっていたのです。実に不思議なこともあるものです。 では早速始めましょう。 第1話 エンジニアとプログラマ 人類開闢以来、上流工程を取り扱うシステムエンジニアと呼ばれている人は大勢いましたが、この10年くらいでプログラムを書くことを生業とするエンジニアと呼ぶ人が随分と増えました。 いやもっと前からそうだったのかもしれませんが、正直いつから増殖を始めたのかよくわかりません。主観的な印象としてはいきなり増えた印象です。それはもうワラワラと。 一体全体、エンジニアとプログラマの違いは何なのでしょうね。 私がエンジニアを自称し始めたのはたしか2010年代の前半だったと思いますがそれ以前は自分をプログラマだと思っていました。 変わるきっかけになったのは名刺に役職を記載するときに会社のルール上「プロデューサー」と書きなさいと言われ「いや違うし」と抗議し調整した結果、上長と相談の上決めることとなった時に、最初「なんちゃってプログラマ」にしたいと言ったところ何故か却下されたので、渋々「ソフトウェアエンジニア」と書いた、というのがきっかけです。 一般的によく言われているプログラマとは誰かが作った設計書をもとにコーディングとか修正しかしない人を指すらしいです。あるいはマネジメントをしない人だとか。 エンジニアの方は俗説では工学系の学位を持った人のことだという説もあったようで、実際海外では学位がないとIT系に就職しづらい国もあるらしいです。 日本ではもちろんそんな学位は必要ありません。小学生でもエンジニアを自称できます。 本当に業界や状況・文脈によって変わってくるし、今はプログラムを書かないIT職種も多数ありそれらもエンジニアと呼ばれるので、プログラムを書く人間にとっては基本的には気分の問題(プログラマというよりエンジニアと言ったほうがすごそうに聞こえる)であってそういう様々なIT系の職種を含めた総称と考えるのが良さそうですね。 そういうわけで今ではすっかり私もエンジニアと呼んでいます。でも心では永遠のプログラマなのです。 第2話 タブとスペースと括弧 ソースコードのインデントにタブとスペースどちらを使うのか、というお話です。 前はタブが多かった印象でしたが、今はほぼスペースが用いられていますね。なんだか知らないうちに決着がついていました。いやびっくりですね。 タブの問題点は構造化以外の目的で使うとレイアウトが崩れるところにあるのはわかっています。 でもスペースはスペースで、スペース/バックスペースN回押して書いていくのは面倒ですし、回数を間違えるとインデントがずれます。コピペの時にカーソルの位置がずれることもあります。 え？ タブキーを押すだけだろうって？ それはエディタの力(ソフトタブ)ですね。 優秀なプログラミングエディタを使った場合ほぼ問題は起きません。普通のプログラミングエディタの場合だとうっかりスペースの途中からコピーしたりすると1文字過不足のあるインデント行が発生したりします。1文字ズレだと結構気づかないんですよね。 最悪なのでがソフトタブ自体がないチープなエディタしか使えない場合で、N回スペースを連打しないといけないため「スペースをインデントで使うことを指示した奴は何を考えてるんだ」と呪いたくなるほどの苦痛と化します。 まぁ、そんな環境今では稀なのでスペースで全く問題ありませんね、ええ。 年に何回かは部分的に1文字過不足のあるインデントになってしまうことがあるにはあるのですが、見かけたら直すくらいで存在自体は特に気にしないことにしています（あ、見かけたらプルリクエスト出しておいてくださいね）。 同じような話でifやforなどの制御文の括弧の開始位置をどこにするのか、という話もありますね。制御分と同じ行の最後に書くか次の行に書くかというアレです。 今はC#とかの一部の言語以外は制御文と同じ行に書くのが主流らしいですね。 私もプログラムを書き始めた時は制御文と同じ行に書いていましたが、一番最初の仕事でやったプロジェクトで括弧の開始と終了の位置が離れると対応が合わなくなるエラーが頻発したことがありました。この書き方だとどこの括弧が不足・過分になっているか・インデントがおかしいのか一見して全くわからないのです。 まぁそんな位置が離れてるような制御文を書くな、関数化しろという話ではあるのですが、若気の至りなのです。 switch文のラベルの数が1000だったかそこらまでしか対応していないコンパイラなのに、それを超えてしまって謎の不具合が発生したことがあるくらい、そんなへっぽこコンパイラと同レベルのアホだったのです。 そこで、次の行に括弧の開始を書くというスタイルに変えました。 すると途端にそんな間抜けなエラーは起きなくなりました。次の行に括弧開始がなければインデントされないので一目見るだけでどこに異常があるのかわかるからです。最高です。 以来ずっと個人で書くときはその書き方をしています。 でも今の世の中はそんな最高の書き方はしないようです。恐らく括弧の開始行だけで１行消費するのが許せないのが一番の要因だと思いますが、(エディタの力などで)括弧の対応が取れなくなるようなことが起きにくくなっているのでしょう。 まぁタブ・スペースの話も括弧の話も今はどんな書き方をしたとしても、保存した瞬間にエディタによってプロジェクトで定められたフォーマットに従って自動的に修正されるので、書くだけならどんなスタイルで書いても良いというのはいい時代になりましたね。 第3話 ライセンス表記 私がまだピッチピチの新人だった頃、新人研修でソースコードの先頭には会社名のライセンス表記を書きなさいと教わりました。 日本の著作権法的には書かなくても良いのですが、どうせファイルの説明文を載せるのだからついでに書いておけば良い、というくらいの認識でした。 しかしこのWeb業界、というかColorkrewではオープンソースのソースコードにはしっかりとしたライセンス表記はあれど、自分達で書いているソースコードにはライセンス表記を書いているのを見たことがありません。ファイルの内容を説明するヘッダも見たことがありません。(*1) 記述する風習自体がないようです。最初は不思議に思っていたのですが、最近は書かなくてもいいかな、と思い始めてきました。 書かなくても著作権は成立するし、万が一ソースコードが漏れた場合……とか思ったので。 でも自社プロダクトのソースコードにはきちんとつけておいた方がいいんじゃないかな、と思う今日この頃です。 さいごに 駄文を書き連ねて参りましたが、好評であれば続くかもしれません。 弊社Colorkrewのプログラミング老人会では会員……もとい社員を随時募集中でございます。...Color your work with Excitement!
新年あけましておめでとうございます！ 年末、スラムダンクを観ました。 いま映画館でやっているやつです。 THE FIRST SLAMDUNK *ネタバレはありません。ご安心ください 世代的に、スラムダンクは社会人になってからの漫画だったのですが、原作も大好きでした。 学生時代、部活をやっていた頃だったら、感情移入はさらにレベルが違っていたのではないかと思います。 映画は、会社の人や、Facebookのタイムラインから聞こえてきた「最高だった！」というコメントの通り、とても面白かったし、感動しました。 映画を観終わったあと、なんでこんなにエキサイティングな気持ちになるんだろうと考えました。 スラムダンクは、チームの物語であるとともに、それぞれ個人の物語です。 一瞬の勝利に向けて、長い間の努力がそれぞれのメンバーにある。 そして、最高の瞬間を最後に共有することが目標ではあるものの、そこに至るプロセスも、胸を熱くするのではないか、そう思いました。 スラムダンクの話のように、全ての人が、サイコーにエキサイティングな体験ができるわけではないでしょう。 僕は、スポーツに関しては、落ちこぼれ組なので、学生時代にはそういう気持ちになったことはなくて、残念です。 その反面、仕事では何度もそんな熱い気持ちになったことがあります。 後から振り返ると、そういう体験は、泥だらけでぐちゃぐちゃになりながら、必死に毎日を過ごして、自分と一緒に仕事をしていたメンバーと、本当の「仲間」になって、何かを成し遂げたときでした。 最初から予定調和で、揉めもせず、大人な付き合いをしてできたチームではなく、思っていることをぶつけあって、時には険悪な関係になりながらも、目標を同じくする気持ちだけが、お互いを結びつけ続ける。 そして、だんだんわかりあって、本物のチーム、本物の仲間になる、というパターンです。 そういう仲間がおらず、一人で成果を出したときは、ビジネス的には大成功していても、大してエキサイティングではなかったなぁと、あとから振り返ると思います。 ColorkrewのVision「Color your work with excitement」 僕らが目指している**「グローバルに、自分たちのサービスやプロダクトが成功していて、ユーザーのクオリティオブワークを画期的に向上させている」**は、僕自身の過去と比べても、圧倒的に高く大きな目標です。 きっとそんなに簡単には実現しないでしょう。 それだからこそ、やりがいがある。 老若男女、世界中から集まったメンバーが入り乱れ、ぶつかり合いながら、チームをつくり、一つの目標に向かっていく。 カラクルにとって2023年は、いままでよりぐっと目標に近づいていく年にしたいと思っています。 またハードな一年が始まりますが、エキサイトメントはその先にあります。 エキサイトメントを感じる一年になるよう、がんばっていきましょう。 今年もよろしくお願いします！...Welcome to Colorkrew Biz Developer Camp
Hi, I’m Alessandro. The Colorkrew Biz team recently went on a company camp at the Enoshima Beach House to make up for the disruptions caused by COVID-19. While the team had done well with remote work, the employer knew that in-person interactions and team bonding were important. We spent two days in a dreamy Beach House in the stunning Enoshima, partying and enjoying yourselves with our teammates....仕事が楽しみならば人生は極楽だ。苦しみならばそれは地獄だ 〜Color Your Work with Excitement〜
仕事が楽しみならば人生は極楽だ。苦しみならばそれは地獄だ（Wikipediaより） ロシアの作家、マキシム・ゴーリキー（Maxim Gorky）の言葉だそうです。 彼の功罪については、ここで言及するものではありませんが、仕事を楽しめるかどうかが人生のクオリティに直結すると喝破したこの言葉に、カラクルは高い共感を覚えます。 一方で、人生はリアリティです。先立つものがなければ生きていけないし、満足な生活を送れない。 それらをどう両立したらいいか。永遠のテーマかも知れません。 早いもので、2022年も師走になりました。 新しいビジョン〜Color Your Work with Excitement〜に来年の抱負を絡めて、このブログを書いていきたいと思います。 資本主義における、キャリアの成功とは 一般的に、仕事のキャリアにおいての成功は、評判の高い会社で、どのくらいの地位まで上り詰めたかや、人材価値の高い人と認められ、給料が高くなることに求めがちです。 この資本主義社会の中で、それは多くの人が否定できない概念でしょう。 しかし、人生全体を考えたとき、それは本当に成功と言えるのかということを、最近よく考えています。 カネと仕事 かといって「給料は関係ない。自分がやりたい仕事をやれれば、素晴らしい仕事のキャリアだ」と言い切れないところが現代社会の難しいところです。 よほどの資産家でない限り、多くの人は自分の稼いだ給料で生活し、家族を養い、その上で様々な行動をするためにそのお金を使います。 お金は「あればあるだけいい」という風にも考えられます。ところが、その一方で、収入がある一定を超えると幸福度が下がってしまうというデータもあります。 僕の個人的な感覚で言えば、独身であれば1,000万円程度の年収があったら、よほどの贅沢をしない限り困りませんし、家族を扶養してもその何倍も必要・・・ということではないと思います。 「じゃあ、そこそこのレベルでいいから、幸せにやれる仕事をやっていこう」となるところですが、世の中はそう甘くなく、金銭的にとりあえず満たされるレベルの給料をもらっている人は日本ではごく一部です。 ちなみに、日本の年収の中央値は、バブル以降どんどん下がり、現在だと399万円だそうです。全然1千万円に足りません。 （引用：厚生労働省の毎月勤労統計調査 令和4年2月分結果） 日本社会が全体的にこのレベルだと、やはり給料を上げなければ余裕ができない。ということで、なんとなく日本では「給料、給料」という風潮になってしまうのかなと思います。 苦しむ仕事をして、給料を稼ぐということ では、給料が高ければいいのかというと、これもそうではなさそうです。 給料に縛られて、転職できない中高年は社会的問題になっていますし、このブログのタイトルの通り、仕事が苦しみならばそれは地獄です。 成長環境と、給料への反映 平均的な水準が”足りない”という状況の中、僕が経営者として考えているのは、まず「給料をいかに上げることができるか」です。 過去ブログを見直したら、僕は結構給料について書いていますので、ご興味あればそれも合わせて読んでみてください。 Colorkrewはなぜ給料が高いのか 給料はモチベーションのために上げる訳ではない デキるのに給料が上がらない人の特徴 結構いっぱい書いてますね（汗） さて・・・「やりがい」を先に持ってくる人は世の中結構いますが、僕は現実的ではないと思っています。 金銭的に問題がなくなった上で、やりがいをどう作るかを考えないと、生活は苦しいままになります。 新入社員から高い給料をもらえる人は、世の中の一握りですので、どうキャリアを積んでいくかが重要なポイント。 特に、20代、30代の成長環境は超大事ですね。 最近は、古き良き日本型の終身雇用が崩壊して「若いうちは実力が上がっても給料は上がらない。でもそれは40代以降に報われる」という形が企業も取れなくなってきました。 ただ、大企業では慣性モーメントがあり、なかなか一朝一夕には「若手の給料が、実力に応じて払えない」という状況が変わっていかない。 そしてそれ以上の問題は「ある一定年齢までこないと、ポジションが与えられない」という過去の年功序列を引きずってしまっていることです。 20代、30代の成長環境だけでなく、その成長に合わせたポジションとそれに連動した給料を出すということが、当たり前ですが、重要なのです。 そして、それを実現できている会社はあまり多くない・・・ Color Your Work with Excitement カラクルの経営は、成長環境と、その成長に応じたポジション、給料をコミットしています。...All You Need to Know about Lazy Evaluation in Spark
Few would disagree that the word “lazy” has a negative connotation. We usually describe someone who is not willing to work hard as lazy. However, not all laziness is undesirable, and sometimes we prefer laziness to diligence, especially in the computer science world. One example is lazy evaluation. Today, we will closely inspect why lazy evaluation is essential to Spark’s high performance and how lazy evaluation works in Spark....Parquet Files: Smaller and Faster than CSV
If you have been in the world of big data long enough, you probably have heard about Parquet files. You might even have used it while thinking to yourself: “why can’t we just use CSV files?” Today, I will debunk the mystery of Parquet files and explain why a growing number of data scientists prefer Parquet files to CSV files....Actions, Narrow Transformations, and Wide Transformations
Hi! My name is Ziyu Chen. I am a full-stack engineer at Colorkrew. I love learning and writing about data engineering. Today, I would like to discuss transformations and actions in Spark. Of course, you can dive into the world of Spark and perform ETL processes without knowing how they differ from each other....