今回は意外と穴場な職業である
データエンジニアについてお伝えします。
解説動画はこちら
データエンジニアについて
現在自分はデータエンジニア
という括りに近いお仕事しています。
平たくいうと
「企業のデータを整備するお仕事」ですが
なかなか成り手がいないのか
穴場な職業だと感じました。
最近はDX、AIブームにつき
データエンジニアの需要も高まりつつあります。
業界
業界としてはこのような業界の案件が
多くなってきている印象です。
用語説明
データ業界でよく使われる単語を
ピックアップしました。
・データレイク
データを一元管理できる保管庫のことです。
AWS S3やGCPのGCSなんかが
これに当てはまります。
・データベース
データを保管し、抽出を簡単にできるようにした
ソフトウェアのことです。
RDB、MySQLなんかがこれに当たります。
・データウェアハウス
データを統合的に管理し、より使いやすくした
システムのことです。
最近だとSnowflakeなんかがこれに当たるサービスです。
仕事内容
データエンジニアのお仕事は
だいたいこんな感じの内容を行なっています。
どうすればなれるか
もしデータエンジニアを目指す場合は
こんな感じの経験、スキルが必要です。
いくら稼げるの?
毎月が中企業のボーナス
くらいは稼げると思います。
と
こんな感じのお仕事が
データエンジニアになります。
これからなりたい人
ステップアップしたい人は
参考にしていただけたらなーと思います。
それでは。
データエンジニアについてお伝えします。
解説動画はこちら
データエンジニアについて
現在自分はデータエンジニア
という括りに近いお仕事しています。
平たくいうと
「企業のデータを整備するお仕事」ですが
なかなか成り手がいないのか
穴場な職業だと感じました。
最近はDX、AIブームにつき
データエンジニアの需要も高まりつつあります。
業界
業界としてはこのような業界の案件が
多くなってきている印象です。
リテール(EC、小売)
広告
ゲーム
AI関連
物流
製造業
用語説明
データ業界でよく使われる単語を
ピックアップしました。
・データレイク
データを一元管理できる保管庫のことです。
AWS S3やGCPのGCSなんかが
これに当てはまります。
・データベース
データを保管し、抽出を簡単にできるようにした
ソフトウェアのことです。
RDB、MySQLなんかがこれに当たります。
・データウェアハウス
データを統合的に管理し、より使いやすくした
システムのことです。
最近だとSnowflakeなんかがこれに当たるサービスです。
仕事内容
データエンジニアのお仕事は
だいたいこんな感じの内容を行なっています。
・データ基盤整備
DB、DWH設計と構築
ETLツール設計と構築
データ処理パイプラインの設計と構築
データ分析基盤のアーキテクチャ設計と運用
バッチ処理設計、運用
・データ移行支援
大規模データ収集ツールの構築
データクレンジング、データ検証
業務効率化ツールの作成
どうすればなれるか
もしデータエンジニアを目指す場合は
こんな感じの経験、スキルが必要です。
・必須経験
RDB設計、運用経験
バッチ処理設計、運用経験
ETLツール等の設計、開発経験
AWSやGCP等のクラウド開発経験
プログラム実装経験
・歓迎経験
Apache Hadoop Sparkなどの
分散データ処理の開発経験
コンテナ関連技術を用いたシステム開発経験
いくら稼げるの?
毎月が中企業のボーナス
くらいは稼げると思います。
と
こんな感じのお仕事が
データエンジニアになります。
これからなりたい人
ステップアップしたい人は
参考にしていただけたらなーと思います。
それでは。
