개발자 취준생의 직무 고민... 데이터 엔지니어?

현재 ...ing

나는 25살인 지금까지 딱히 하고 싶은 게 없었다. 

중고등학생 때는 그냥 공부해야 하니까 열심히 공부했다. 공부 열심히 했냐고 물어보면 정말 당당하게 열심히 했다고 말할 수 있다. 

그렇지만 열심히 하는 것과 잘하는 것은 다르다 보니까 좋은 대학교는 못 갔다. 대학교는 성적에 맞춰서 국립대 정보통신공학과에 들어갔다. 

대학교에서도 또 열심히 공부했다. 4.28/4.5로 졸업했다. 

근데 또 공부만 열심히 했다. 공기업에 취업하고자 자격증 따고, 공부만 했다. 대외할동이나 개발 프로젝트, 연구실 등등의 경험이 하나도 없었다. 

한국사 1급, 컴퓨터활용능력 1급, ADsP, SQLD, 정보처리기사 자격증을 땄다. 전부 1트에 합격했다. 자격증 시험은 별로 어렵지 않았다. 

그렇게 졸업 후 일 년간은 공기업 취업을 위해 NCS 공부와 함께 자소서도 작성하고, 필기시험을 보러 다니고, 면접을 보러 다녔다. 

그런데 필기 합격률도 높지 않고 겨우 얻은 면접에서는 PT, 토론, 논술 등 다양한 면접이 날 기다리고 있었다. 

공공기관/공기업의 딱딱하고 정적인 규율이 있는, 그런 면이 나와 잘 맞을 거라고 생각했는데 면접을 보면서 아, 나랑 맞지 않는구나. 나 이거 더는 못하겠다.라는 생각이 들었다. 적디 적은 티오와 1년이 지났다는 압박감에 그냥 공기업 말고 전공 살려서 사기업에 취업해야겠다! 생각이 들었다. 

 

그래서 24년도 3월쯤부터 사기업 공고도 찾아보며 지원하게 되었다. 

대전에 거주하고 있기 때문에, 대전에 기업들을 찾아보며 내가 지원할 수 있는 공고에 지원했다. 

학교 추천채용 1개, 대전 사기업 4개에 지원했다. 

추천채용은 서류가 면제라서 운 좋게도 바로 면접기회를 얻을 수 있었다. 나름 준비한다고 준비해서 면접을 봤으나, 내가 예상했던 질문들은 나오지 않았고 경험 정리도 하고 싶은 업무도 없어 그냥 탈탈 털리고 나왔다. 

바로 다음날 다른 회사의 1차 PT면접이 예정되어 있었다. 그래서 첫 면접에서 대답하지 못했던 질문들에 대한 답을 생각하고, CS지식도 외우며 면접 준비를 했다. 어제 면접과 다르게 이번 면접은 잘 풀린다. 대화가 잘 된다. 는 느낌이 있었다. 

어제 본 면접 질문도 똑같이 여러 개 나와서 수월하게 대답할 수 있었다. 그렇게 운 좋게 합격했다. 

인턴십 제도가 처음 도입된 거고, 인턴십 제도 이전에서는 1, 2차 면접 후 수습기간이라서 100퍼센트 전환이었다고 했다. 

그런데 3개월 인턴 근무 후 2차 면접에서 1/3이 탈락했다. 나도 2차 임원 면접에서 탈락했다.... 

1차 면접때와 마찬가지로 대화하듯 편하게 면접을 봤으며, 끝난 후에도 잘했다!라는 생각이 있었기에 탈락 결과를 받고 놀랐다. 

왜 떨어졌을까에 대한 답은 아직도 찾지 못했다. 이후 면접들에서 왜 떨어진 거 같냐는 질문을 많이 받았는데, "면접장에서 제 역량을 잘 보여드리지 못한 것 같다"라고 대답하고 있다. (근데 계속 탈락하는 걸 보면 이 문제에 대한 답을 계속 고민하고 적절한 답안을 만들어야겠다는 생각이 든다.)

 

인턴십 기간 동안 C/C++, Python으로 임베디드 소프트웨어 개발을 진행했다. 

기존 코드에서 파라미터 하나를 추가하는 작업을 했다. 소프트웨어 설계 문서 수정, 코드 구현, 기능 테스트, 조회 시험을 진행했다. 

팀장님과의 3차례 면담에서는 계속 같은 질문을 하셨었다. 일이 재밌냐고, 하고 싶은 업무가 뭐냐고. 

매번 대답하지 못했다. 재미는 없었고, 하고 싶은 업무도 없었다. 

그렇지만 내게 주어진 일을 잘 해낼 자신은 있었다. 다들 그렇게 사는 거라고 생각했다.

자기가 하고 싶은 일을 하는 사람이 얼마나 되겠나. 그냥 밥 벌어먹고 살려고 하기 싫은 일 하는 거지. 

하고 싶은 게 없으니까 난 그냥 내 할 일을 할 뿐인데 회사에서는 자꾸 나에게 하고 싶은 게 뭐냐고 계속해서 물었다. 

지금 드는 생각은.. 임원 면접에서도 내가 별로 하고 싶어 하지 않는 게 느껴져서 탈락했나 싶다. 

 

운 좋게 사기업 취준을 시작하자마자 합격했었지만, 바로 다시 취준생이 되었고 벌써 11월이다.

결국 사기업 취준도 1년이 되어버렸다. 

탈락한 후에는 쉬지 않고 매일 올라오는 공고를 확인하고, 지원할 수 있는 공고면 전부 지원하며 면접을 보러 다녔다. 

직무면접, 인성면접, PT면접, 코딩테스트... 열심히 했는데 결과는 탈락이다. 

지원할 수 있는 공고에 지원하다 보니 면접장에서 기업이 원하는, 기대하는 인재상에 적합하지 않았던 것 같다. 

내가 하고 싶은 직무는 없고, 그냥 '이거 하면 되겠다. 이거 내가 해봤던 거니까 넣으면 되겠다.'식의 무지성 지원으로 인해 면접장에서의 자신감도 열정도 없고 계속 탈락하는 것 같다. 

지원 내역

 

8월부터 11월까지 여러 기업에 지원하고, 4번의 면접을 봤다. 

두 곳은 그나마 관심 있다고 말할 수 있는 데이터분석 직무이고, 두 곳은 이전 인턴십과 전공을 살릴 수 있는 C언어 기반 SW개발 직무이다. 

4번의 면접에서 공통적으로 나왔던 질문은 "왜 이 직무를 선택했나요?", "왜 이 일이 하고 싶나요?", "이 직무에서 어떤 업무를 하고 싶나요?"와 같은 직무 선택이유와 직무에 관한 관심, 흥미, 열정을 묻는 질문들이었다. 

근데 문제는 나는 그 질문에 대답을 못한다. 왜냐하면? 안 하고 싶으니까!!!!! 

안하고 싶지만, 내가 해야 하는 일은 절대 미루지 않고 최선을 다해서 한다. 이런 내 특성? 이 드러나게 답을 해야 하는데 그러지 못했다. 

나는 이 질문들이 참 어렵다. 지금까지의 나는 하고 싶은 게 전혀 없고 그냥 해야 하니까 했었다. 

그렇지만 기업입장에서는 이 일을 미치게 하고 싶어 하고 잘하는 사람을 뽑으려고 하지, 그냥 주어진 일 하려는 사람을 뽑지는 않는다.

면접장에서는 열정이 넘치고, 일하고 싶어서 미친 사람처럼 보이게 나를 속이며 연기했어야 하는데 그러지 못했다.

그래서 진지하게 고민해 봤다. 내가 하고 싶은 직무가 뭔지, 어떤 회사에서 일하고 싶은지. 

 

그래서 내가 하고 싶은 직무는?

1. 데이터베이스

학부 때 가장 좋아했던 과목은 데이터베이스라고 고민 없이 말할 수 있다. 

데이터 베이스 과목을 듣고 데이터에 관심이 생겨서 데이터 분석 교육도 찾아 듣고, 에트리에서 연구연수생으로 2달간 인턴십도 했다. 

그리래서 데이터 분석 자격증인 ADsP와 SQL 자격증인 SQLD 자격증도 취득했다. 

데이터 분석 직무 면접에서 "가장 관심 있게 들었던, 좋아했던 전공과목은 무엇인가요?"라는 질문에는 항상 '데이터베이스' 과목이라고 말했다.

"이유는 무엇인가요?" 에는 "교수님의 수업이 좋았다."라고 했다. 그러면 돌아오는 대답은 "그게 다인가요?"였다. 

또 다른 면접에서는 데이터 분석을 하고 싶은 건지, 데이터 베이스를 하고 싶은건지 물어봤었다.

나는 그저 데이터를 다루는 일이면 되겠다고 생각했었는데, 그게 아니였다. 데이터 분석과 데이터 베이스를 다루는 것은 다르다. 

내가 하고 싶은 게 데이터분석인지 데이터베이스인지 잘 모르겠어서 책을 찾아 읽었다. 

 

"데이터를 엮는 사람들, 데이터 과학자 - 권정민"

- 데이터 분석에 기본적으로 필요한 능력이라면 문제를 정확하게 정의하는 능력, 논리적으로 적절한 도구를 사용해 문제를 해결하는 논리적 사고 능력, 데이터에 대한 이해와 객관성, 지속적인 학습에 열려 있는 자세, 커뮤니케이션 스킬이다. 

# 1.5 데이터 과학자의 빛과 소금, 데이터 엔지니어

- 십여 년 전만 하더라도 DBA가 분석용 데이터 웨어하우스도 같이 관리하기도 했었고 데이터 아키텍트라는 분야가 하나의 업으로 생겨날 것이라고 보는 시각도 꽤 있었다. 

- 그래서 데이터 분석이나 서비스 바깥에서 데이터를 살펴보는 용도로 데이터 웨어하우스를 잘 만들어 관리해야 하고 그 밖에도 기술적인 업무량이 급증하면서 자연스럽게 생겨난 직업이 데이터 엔지니어다. 

- 보통 우리가 생활에서 접하는 것은 모든 과정을 거치고 완성된 데이터 분석 결과다. 하지만 그런 결과가 만들어지려면 서비스에서 직접 사용할 수 있도록 분석하거나 바로 사용할 데이터만 추출하고(Extract) 분석에 적절한 형태로 변경하여(Transform) 적합한 시스템에 적재하는(Load) 과정인 ETL이 기본적으로 이루어져야 한다. 

- 데이터 엔지니어는 데이터 과학자와 이야기하여 어떤 식의 분석이 주로 일어나고 어떤 식의 데이터 쿼리가 주로 진행될지 협의고 이에 맞춰서 데이터를 설계하고 적재하며 관리한다. 이렇게 생겨난 데이터는 현재 서비스에서 생성할 수 있는 최적의 분석용 데이터가 된다. 

 

책에 '데이터 엔지니어'에 대한 내용이 나온다. 데이터 엔지니어라는 걸 처음 알았다. 데이터 엔지니어에 대한 이야기를 보며 아.. 내가 하고 싶은 건 데이터 엔지니어인가 싶었다. 

나는 체계적이고 계획적인 편이고, 공부할 때는 항상 노트 정리를 한다. 내가 이해할 수 있게 구조화하고 정리하는 걸 좋아하는데, 

데이터베이스도 테이블을 설계하고 테이블끼리 연계하고 관리하는 그런 과정들이 내가 노트정리하듯이 관리하는 게 좋은 것 같다. 

이게 고민해 본 내 대답인데, 너무 생각들이 말로 잘 정리되지 않은 느낌이라 gpt한테 부탁했다. 

 

"제가 '데이터베이스' 과목을 특히 좋아했던 이유는 데이터를 구조화하고, 최적의 방식으로 저장 및 관리하는 과정이 저에게 매우 흥미로웠기 때문입니다. 데이터를 효율적으로 다루기 위해서는 데이터베이스 설계와 테이블 간의 관계 설정이 매우 중요한데, 이 과정을 통해 데이터를 연결하고 쌓아가는 방식이 저와 잘 맞았습니다. 마치 제가 노트 정리를 할 때 복잡한 내용을 체계적으로 구조화하는 것처럼, 데이터베이스에서도 데이터를 정리하고 체계적으로 관리하는 데 보람을 느꼈습니다.

이 과정에서 정규화, 관계형 데이터 모델링, 쿼리 최적화 같은 핵심 개념을 배웠는데, 이들이 실제로 데이터 엔지니어링의 핵심 역량이 된다고 생각합니다. 데이터를 효율적으로 저장하고 빠르게 접근할 수 있게 하려면 올바른 데이터베이스 구조가 필수적인데, 이 과목을 통해 이러한 실질적인 기초를 다질 수 있었습니다. 특히, 데이터를 대량으로 관리하고 통합하여 다른 시스템에 전달하는 데이터 엔지니어 역할에서도 이런 데이터베이스 설계 및 관리 능력이 매우 중요하다고 생각합니다."

 

내가 하고 싶은 말이다...! 

 

2. 데이터 분석가 VS 데이터 엔지니어

 

데이터 분석가 (Data Analyst)

주요 역할:
데이터 분석가는 데이터 엔지니어가 준비한 데이터를 사용해 중요한 인사이트를 도출하고, 이를 통해 비즈니스 의사결정에 기여합니다. 데이터를 탐색하고, 시각화하고, 통계 분석을 통해 의미 있는 패턴과 트렌드를 발견하는 것이 주된 업무입니다.

 

주요 업무:

• 데이터를 탐색 및 시각화하여 트렌드 분석
• A/B 테스트와 같은 실험 설계 및 통계 분석
• KPI 추적 및 리포트 작성
• 예측 모델을 만들고 성과 평가
• 데이터 기반 의사결정 지원

주요 기술 스택:

• 데이터 분석 및 시각화: Excel, Tableau, Power BI
• 프로그래밍 언어: Python, R
• SQL을 사용한 데이터 쿼리
• 통계 및 분석 도구: SAS, SPSS
• 머신 러닝 (기본적인 모델 사용 및 이해)

데이터 엔지니어 (Data Engineer)

주요 역할:
데이터 엔지니어는 기업 내에서 발생하는 방대한 데이터를 수집, 저장, 처리할 수 있도록 인프라를 구축하고 관리합니다. 이를 위해 다양한 데이터 소스에서 데이터를 가져와서 정리하고, 필요에 따라 데이터를 변환 및 처리하는 파이프라인을 설계합니다. 데이터 엔지니어의 목표는 분석 팀과 데이터 과학 팀이 원활히 데이터를 사용할 수 있도록 하는 것입니다.

 

주요 업무:

• 데이터 파이프라인 설계 및 구축 (ETL: Extract, Transform, Load)
• 데이터베이스와 데이터 웨어하우스 관리
• 데이터 저장소의 구조화, 최적화 및 성능 튜닝
• 데이터를 수집 및 처리하는 API와 배치 작업 설정
• 대규모 데이터를 효율적으로 관리할 수 있는 클라우드 환경 설정

주요 기술 스택:

• 데이터베이스: MySQL, PostgreSQL, MongoDB, Cassandra
• 데이터 처리: Apache Spark, Hadoop, Kafka
• 클라우드: AWS, Google Cloud Platform, Azure
• ETL 도구: Apache Airflow, Talend

[데이터 분석가] 

에트리에서 데이터 분석을 찍먹 했던 경험과 여러 정보들을 종합해 보면, 데이터를 다루고 조작하며 추론을 통해 결과를 도출하는 업무를 한다. 

통계, 수학, 머신러닝 등의 지식을 알아야 하고 석박사 위주의 채용이 많다. 

[데이터 엔지니어] 

데이터 엔지니어는 데이터를 수집, 저장, 처리하며 인프라를 구축하고 관리하는 업무를 한다. 즉 문제해결을 위한 데이터를 구축하고 내가 관리하는 데이터베이스가 데이터 분석가에게 쓸모 있게 쓰여 의미있는 인사이트를 도출한다는 점이 좋다. 내가 인사이트를 도출하는 것이 아니라 인사이트 도출에 도움이 되는 점이 좋다. 

 

3. 결론

그래서 결론은 데이터 엔지니어 쪽으로 방향을 잡고 공부를 해볼까 싶다.

근데...! 사실 어떤 공부를 해야 하고 어떤 프로젝트를 해야 할지는 하나도 모르겠다.

나 혼자서 블로그 하면서 공부하겠다고 한다고 뭐가 될까라는 생각도 들고, 늘어나는 공백기도 걱정되고,

그냥 기존 인턴 경험 살려서 C언어 개발자로 얼른 취업해야 하는 건 아닐까 하는 생각도 들고, 여러 고민거리가 여전히 나를 괴롭힌다. 

그래도 일단은 이거 해볼까..? 해보고 싶다.. 하는 방향을 찾긴 찾았으니 해보자는 생각도 들고,, 

데이터베이스가 좋다고는 말하지만, 실무를 경험해 본 것도 아니고 막상 공부를 했을 때 또다시 내가 이걸 하고 싶은 게 맞나?라는 생각이 들 수도 있다. 

 

그렇지만 아무것도 안 하는 것보단 뭐라도 하는 게 낫다는 생각으로... 일단 여러 고민들을 제쳐두고 지금 할 수 있는 것들을 해보려고 한다. 

뭐라도 하다 보면 길이 보일 수도 있으니까...! 

 

4. 향후 계획 

데이터 엔지니어는 데이터 분석가와 마찬가지로 경력직 위주의 채용이 많다. 보통 백엔드 개발자에서 데이터 쪽으로 이직하여 경력을 세분화해 나가는 경우가 많다고 알고 있다. 그런데 나는 백엔드에서 주로 사용하는 java, java spring boot 언어 경험이 없고, 자바를 공부해서 백엔드로 취업 후 데이터베이스로 나가기엔 백엔드 업무를 하고 싶지 않다. 그래서 그냥 냅다 데이터 엔지니어 신입으로 들어가고 싶다. 

 

데이터 엔지니어가 되기 위해 필요한 역량들을 찾아봤다. 

• Python, java, SQL, Scala, GO, R 등 하나 이상의 프로그래밍 언어 능력 
• 클라우드 서비스(AWS, GCP, Azure 등)에 대한 경험
• 데이터 아키텍처 및 데이터 모델링의 전문 지식
• 가고자 하는 분야의 도메인 지식 
• ETL 도구 및 프로세스 개발 경험
• 대규모 분산 시스템의 설계, 구축 및 운영 경험
• docker와 쿠버네티스 등 컨테이너 환경에 대한 학습

더 많지만 이 정도인 것 같다. 이걸 다 완벽하게 갖추고 취업하는 건 현실적으로 어려울 것 같다. 그래서 일단은 내가 모르는 데이터 엔지니어에게 요구되는 CS지식을 공부하고, 툴이나 클라우드 환경도 사용해 보고 Python, SQL도 계속 사용해 보는 게 중요할 것 같다. 하나씩 차근차근 해봐야겠다.