技術の進化とともに成長！「正解のない」データ領域で働く面白さとは？

續航平
熊本高等専門学校 電子情報システム工学専攻を卒業後、2023年に新卒でメンバーズに入社。現在はデータアドベンチャーカンパニーに所属。

データエンジニアとは？

データエンジニアとは、データの連携や適切なツールの導入・構築などによって、データを活用できるような環境を整える職種です。
企業が持つ「データ」というと、購買データや会員データなど様々なものがありますが、それらは単にどこか蓄積するだけでは意味を持たず、適切な加工を行ったのちデータを利活用できる場所に格納することで初めて「情報」として意味を持ちます。

そういった「データ加工を自動で行う “データパイプライン” の構築」「データ抽出・集計」などを行い、データ分析・活用の専門職である「データアナリスト」「データサイエンティスト」などがデータを利活用できるような状態にすることが「データエンジニア」の仕事です。

データエンジニアになった経緯やきっかけを教えてください

新卒研修としてWebエンジニア研修に参加していた際に、現在自身が所属するデータ専門職の部署「データアドベンチャーカンパニー」の採用担当の方に声をかけていただいたのがきっかけになります。

入社当時の私はWebのバックエンドエンジニアやクラウド（インフラ）エンジニアのような職種になりたい！と思っていたこともあり、その時は「データエンジニア」という職種は恥ずかしながら知りませんでした。
しかし、実際に調べてみると「自身のやりたかったクラウド領域に多く携われる」＋「在学中に習得したPythonやR言語がそのまま業務に生かせる」と、自身にとってはいいことづくめだったため、データエンジニアに転向しました。

また、昨今はAIが話題となっている時代でもあるため、「エンジニアとしてデータは扱えるようになっておくべきだ！」と感じたことも、一つの決め手でした。

データエンジニアとして初めて携わったプロジェクト・業務を教えてください

初めて携わったプロジェクトはイベントプラットフォームを開発・運用している企業のプロジェクトになります。

イベントプラットフォームというとイメージが付きづらいかもしれませんが、例えば「ある展示会のイベントで〇〇という業種のAさんがWebで参加申し込みをした」「実際の展示会で△△株式会社のブースにBさんが来訪した」のような、イベントに関するシステムのプラットフォームになります。

私はデータエンジニアとしてプロジェクトに参画し、クライアントからの依頼内容をヒアリングした上で、技術的に実現するための設計や開発を担当しました。
具体的には、AWSのLambda（Node.js）やRDS（MySQL）を使用して、イベント参加者の顧客データに対して、APIで外部の情報と連携することでその顧客データを増強するようなシステムの開発などに携わりました。

データエンジニアとして現在行っている業務はなんですか？

現在は、大手外食企業のマーケティング部門で、データを活用した意思決定を可能にするための「データ基盤構築プロジェクト」に携わっています。
会員アプリで集まる会員データや全国の店舗から集まるレジの購買データを整理・統合し、マーケティング施策や顧客分析に活かせるようにすることが目的です。
チームは、エンジニアだけでなくアプリ運用の担当など含めると全体で9〜10名で構成されています。

私はデータエンジニアとしてAWS（S3、Glue、Lambda、Redshiftなど）やPythonを使い、データを自動で取り込み・加工する仕組みを作っています。
また、マーケティング施策の効果検証が行いやすいように、例えば「〇〇という属性のユーザは△△系のメニューをよく食べている」というような、集めたデータを複数組み合わせ、分析者が分析しやすい新しいデータの作成なども行っています。

データ領域のやりがいや面白さを感じる瞬間を教えてください

データ領域の仕事にやりがいを感じるのは、まだ「正解」が定まっていない発展途上の分野であることです。
毎年のように新しいデータ基盤ツールや技術が登場し、標準的なスタックが確立していないため、企業や業界ごとに最適解が異なります。
その中で、お客様の組織に合った仕組みを試行錯誤しながら構築していくプロセスには、データエンジニアならではの面白さがあると感じます。

また、技術革新のスピードが非常に速く、常に新しい知識を吸収しながら成長できる点も魅力です。
数ヶ月/数年前には難しかったようなデータ活用の技術を吸収できたとき、またその技術を実際に業務で生かせたとき、技術の進化とともに自分自身も前進していることを実感します。

こうした環境で学び続け自身が成長することで、お客様や組織の成長に直接貢献できることが、データ領域で働く大きなやりがいだと感じています。

データ領域の難しいところ/大変なところはなんですか？

やりがいの裏返しでもありますが、技術の進歩が非常に速く、お客様ごとに最適な「ベストプラクティス」が異なる点です。新しい技術が次々と登場するため、お客様の課題や組織の状況に合わせて最適なアプローチを考え、実装していく必要があります。そのためには常に新しい知識を吸収し、自身の「技術の引き出し」を増やし続ける力が必要です。

また、DXの初期段階のお客様ではデータが十分に整っていなかったり、データが各部署で独立していたりすることもあります。その場合、すぐに高度な分析基盤を構築するのではなく、まずはお客様や関連部署と密に連携を取りながら、データを集めて整備するという、意外と泥臭くコツコツとした作業が必要になることもあります。

こうした課題に直面したときは、一人で抱え込まず、データに関する知見を多く蓄積している自社やチーム、そしてお客様と対話しながら解決策を探るようにしています。

データ領域のスキルや知識をどのように身につけていますか？

社内制度として「SINCA」と呼ばれる人材育成制度があり、データエンジニアとして成長するためのロードマップが体系化されています。このSINCAをもとに、自分がどの領域のスキルを強化すればよりデータエンジニアとして活躍できるかを明確にし、キャリアプラン設計に役立てています。

また、会社には資格取得の支援制度や書籍の購入支援制度など、スキルアップを後押しする仕組みがあります。技術の変化が早い分野ではありますが、データ利活用の根本的な考え方は共通しているため、資格学習を通して体系的に知識を身につけることは非常に有用だと感じています。

さらに、最新の技術動向については日頃からネットニュースで情報収集したり、外部カンファレンスに参加したりして、情報をキャッチアップするように心がけています。そこで興味を持った技術については、前述した書籍の購入支援制度を積極的に活用しながら学習を進めています。

データエンジニアを目指している学生に向けてメッセージをお願いします！

データエンジニアは、探求心が強く「新しい技術を広く会得したい・自己成長したい」という方にとてもおすすめな職種です！
この領域は技術の進歩が速いため、常に新しい知識を学ぶ意欲が活かされます。

また、データエンジニアリングの領域はインフラエンジニアリングとも近しく、全社の分析やサービス改善を裏方として支える重要な役割を担います。
「縁の下の力持ち」のように、チームやお客様のデータ活用を下支えするのが得意な人・好きな人に向いている職種です。
ただ裏方とはいえど、時には数TB（テラバイト）単位の非常に大規模なデータを扱うシステム構築に携わることもあり、スケールの大きな仕事に携われる点も魅力です。さらに、データエンジニアは、現在話題となっている最新の生成AIやLLM（大規模言語モデル）とも近い領域にいます。
AIがどのようなデータを学習し、私たちがどのようにして利用できるのか、その「裏側」の仕組みに興味がある人にとっても、多くのことを学べるやりがいのある仕事だと思います！