AI

반갑습니다. 저는 한주형이라고 하고요. 지난해 패스트캠퍼스에서 Upstage AI Lab에 참여했고, 현재는 acryl이라는 회사에서 AI 엔지니어로 일하고 있습니다. 주로 B2B 고객을 대상으로 LLM 엔지니어링을 담당하고 있는데요. 최근에는 화장품 성분 기반의 레시피 유사도 분석과 레시피 생성 모델을 개발하고 있습니다. 또한 화장품 제조 공정 회사를 위한 내부용 챗봇 모델도 함께 개발하고 있어요.

대학에서 화학공학을 전공했어요. 순수 과학으로서의 화학은 흥미로웠지만, 공학적 접근에는 크게 끌리지 않았던 것 같아요. 진로를 고민하던 중 미국으로 어학연수를 가게 되었는데, 그곳에서 컴퓨터 공학을 전공하는 교포 친구들을 많이 만났어요. 자연스럽게 개발에 관심을 갖게 되었죠. 특히 머신러닝은 순수 과학과 맞닿아 있는 부분이 많아서 더욱 매력적으로 다가왔습니다.

어학 연수 이후 2020년부터 국비지원 교육과정을 통해 처음 개발을 접했습니다. 운이 좋게도 교수님의 추천서를 받아 관련 학과 대학원에 진학할 수 있었고요. 최근에는 Diffusion Model이나 LLM과 같은 생성형 AI가 산업의 주류로 자리잡으면서, 저도 LLM, sLM 분야를 공부하며 개인적으로 다양한 모델을 기획하고 있습니다.

석사 논문 디펜스를 2주 앞두고 Upstage AI Lab 공고를 보게 되었어요. 당시는 지금도 그렇지만 제가 대학원에 입학할 때보다 채용 공고가 3분의 1 수준으로 줄어들 만큼 취업 시장이 어려웠거든요. 학위 과정에서 배운 것 외에도 실무적인 엔지니어링 역량을 키울 필요가 있다고 판단했습니다. 그래서 망설임 없이 지원하게 되었죠.

대학원에 다니면서 하루에 14시간 이상 연구하는 습관이 몸에 배어있었어요. 이런 몰입도를 AI Lab 과정에서도 이어가고 싶었습니다. 비전공자로서 늦게 시작한 만큼, 주어진 커리큘럼만으로는 부족하다고 생각했거든요. 더 많이 공부하고, 더 깊이 파고들어야 한다는 책임감이 있었죠.

6개월 과정으로 진행되는데요, 전반부에는 AI 기초 지식과 미니 프로젝트를, 후반부에는 다양한 주제의 경진대회를 수행합니다. 수료 후에도 멘토링과 이력서 첨삭 등을 지원받을 수 있어요. 경진대회마다 팀별 온라인 멘토링이 진행되고, 오프라인 모임도 활발해서 수강생들, 강사님들과 자연스럽게 친해질 수 있었습니다.

머신러닝 분야에서는 아주 초보적인 예제나 대규모 프로젝트 이외에 그 중간에 해당하는, 개인이나 중소 규모 기업이 실제로 활용할 수 있는 일반화된 AI파이프라인이나 실용적인 코드 예제를 찾기가 어려웠어요. 다행히 대학원에서 연구할 때 다양한 코드를 접할 기회가 있었는데요. 논문 마감에 쫓기다 보면 정돈되지 않은 코드들도 많이 보게 되는데, 이런 코드들의 문제점을 발견하고 개선점을 찾아가는 과정이 저를 단련시켰던 것 같아요. 다양한 미션이나 과제에도 유연하게 대응할 수 있었어요.

Upstage AI Lab 과정, 특히 오프라인 모임을 통해 친해진 사람들과 이야기하다 보면 비전공자도 있고 다른 공부도 필요한 사람들도 많았는데요. 어쩌다 보니 제가 개인적으로 연구 및 엔지니어링하며 얻은 경험들을 조금씩 사람들에게 나눠주게 되었는데 이게 자연스럽게 멘토나 리더를 맡게 되는 흐름이 된 것 같아요.

특히 경진대회 세션 때는 대회 설명 영상을 보며 같은 도메인과 구조를 가진 오픈 데이터셋을 구해 테스트하며 미리 조금 더 좋은 베이스라인을 작성하여 배포하기도 했거든요. 기본적으로 제가 오픈소스 커뮤니티 정신을 좋아하고, 모두에게 알려줄 때 저 또한 성장한다고 생각하다 보니 같이 공부하는 수강생들을 돕거나 지원하는 모든 과정을 기꺼이 즐겁게 수행할 수 있었던 것 같아요.

프로젝트 주제의 경우 커리큘럼에 따라 공통으로 진행되는 프로젝트도 있고, 주어진 목록에서 선택하는 방식도 있어요. 관심사가 비슷한 사람들끼리 자연스럽게 팀을 이루게 되죠. 특히 모든 경진대회는 정량적인 평가 기준으로 점수가 매겨져서 굉장히 객관적인 편이에요.

일상대화 요약 경진대회는 영어가 원본인 대화와 요약문을 한국어로 번역한 데이터셋을 이용하여 요약의 정확성을 평가하는 경진대회였는데요. 영어 대화를 한국어로 번역한 데이터셋을 사용하다 보니 번역 과정에서 발생한 번역투와 고유 명사 처리 문제로 요약 성능이 저하되는 이슈가 있었죠. 이를 극복하기 위해 저희 팀원들은 토크나이저 커스터마이징을 비롯해 (더 큰 파라미터 모델을 사용하기 위해) 모델 파라미터 병렬화 기법 등을 적용했습니다. 추가적으로 번역된 데이터셋을 원본 데이터셋과 최대한 유사하게 보정하는 방식을 적용하여, 2위 팀과 큰 점수차로 1등을 달성할 수 있었습니다.

개인적으로 정신보다 육체가 먼저라고 생각합니다. 나약한 육체에 나약한 정신이 깃든다고 생각하기 때문에(웃음) 꾸준히 운동하는 편인데 그게 도움이 됐습니다. 실제 산업 현장에서 업무와 닮아 있긴 하지만 Upstage AI Lab은 어쨌든 기본적으로 학습하는 과정이라고 생각했어요. 또 프로젝트 경험은 사람들을 모으거나 좋은 기회를 잡는 것부터 노력이 필요한데 과정을 통해서 충분히 경험할 수 있다고 믿었던 것 같아요.

현재 AI 업계는 큰 변화를 겪고 있어요. 챗GPT 같은 도구들이 등장하면서 일부 주니어 개발자 직군에 대한 수요가 줄어드는 현상이 나타나고 있고, 순수 연구 인력보다는 실제 서비스를 구현할 수 있는 인재를 선호하는 추세예요. 제가 대학원 입학할 때와 비교하면 채용공고가 3분의 1 수준으로 줄었을 정도로 시장이 많이 위축됐죠.

저는 현재 sLM(Small Language Model) 관련 연구를 주로 하고 있어요. LLM과 비교하면 파라미터 수가 상대적으로 적은 모델인데요. 기본적인 구조는 같지만 파라미터 수가 적다 보니 성능은 다소 떨어지는 특징이 있습니다. 현재 저는 이미 공개된 LLM이나 sLM을 특정 태스크에 맞게 파인튜닝하여 서비스에 적용하는 일을 하고 있어요. 사실 LLM은 국내 몇 안 되는 빅테크 기업들만이 처음부터 개발할 수 있을 정도로 많은 리소스가 필요하거든요. 저희는 한정된 자원 환경에서 작업하는 경우가 많아 주로 파라미터 수 10B(100억) 미만의 경량 모델을 활용하고 있습니다.

취업 시장이 어려워 사실 많은 서류 탈락을 겪었어요. 하지만 면접 기회를 얻은 회사들에서는 모두 최종 오퍼를 받을 수 있었습니다. 면접 기회를 얻기만 하면 실무역량을 입증할 수 있다는 자신감이 있었고, 실제로 Upstage AI Lab 커리큘럼 후반에 구성된 경진대회 세션들이 면접 과정에서 정말 큰 도움이 됐어요. 현재 회사의 면접 과정을 좀 더 자세히 말씀드리면요, 2차에 걸친 면접에서 제가 Upstage AI Lab에서 수행했던 한국어 요약 대회 경험을 깊이 있게 물어보셨어요. LLM 직무에 지원했던 만큼, 대규모 언어 모델을 다루면서 컴퓨팅 리소스를 어떻게 효율적으로 활용했는지, 데이터를 어떤 관점에서 분석했는지 등을 상세히 설명할 수 있었죠. 실제 프로젝트 경험을 바탕으로 한 구체적인 답변이 가능했던 게 큰 강점이 되었습니다.

제 고유한 접근 방식으로 성능을 개선하거나 작업을 효율화했을 때가 가장 보람 있죠. 기존 방식으로는 해결이 어렵다고 여겨졌던 문제를 해결했을 때의 성취감도 큽니다. 다만 비개발직군과의 커뮤니케이션은 아직도 숙제예요. 특히 데이터의 정확성(Integrity)과 일관성(Consistency)에 대한 이해도가 직군마다 달라서, 이를 조율하는 과정에서 많은 소통이 필요합니다.

우선 수학을 까먹지 말라는 말씀 드리고 싶어요.(웃음) 이공계 학부 과정에서 배우는 미적분, 선형대수, 통계 같은 기초 수학이 AI 엔지니어에게 모두 필수적인 도구가 됩니다.

그리고 무엇보다다 AI 분야는 4년제 컴퓨터 전공과정은 물론 석사 과정까지 포함한 6년 이상의 공부를 몇 개월 안에 압축해서 배워야 하는 분야거든요. 그만큼 더 큰 노력과 각오가 필요합니다. 취업을 한 후에도 AI 기술이 빠르게 진화하는 만큼, 지속적인 자기계발은 필수입니다. 하지만 의무감으로는 한계가 있죠. 머신러닝 자체에 대한 순수한 흥미와 호기심이 있어야 긴 여정을 버텨낼 수 있습니다.

또한 커뮤니케이션 능력이 매우 중요해요. 상대방의 배경과 지식수준을 고려해 적절히 설명하고, 그들의 니즈를 정확히 파악하는 능력이 필요합니다. Upstage AI Lab처럼 다양한 배경의 사람들과 교류하며 이런 능력을 키울 수 있죠.

연구를 통해 논문을 쓰는 것과 실제 서비스를 개발하는 것은 접근 방식이 많이 다릅니다. 현재 제 직무가 연구보다는 엔지니어링에 가까운 만큼, AI Lab에서의 실무 경험이 특히 유용했어요. 과정을 통해 리소스 최적화, 도메인 분석, 구조화된 코드를 짜는 습관을 들인 것이 지금 회사에서 일할 때도 굉장히 유효하게 적용되고 있습니다.

AI 업계는 이제 연구 단계를 넘어 실제 적용 단계로 진입했어요. 저 역시 개인 시간을 투자해 sLM 모델을 만들어보는 등 실용적인 접근을 하고 있죠. 대학원에서 이론적 지식을 쌓았다면, AI Lab에서는 이를 실제로 구현하는 방법을 배웠다고 할 수 있어요. 여기서 만난 커뮤니티를 통해 시야를 확장하게 된 점도 저에게 좋은 변화였던 것 같아요.

커뮤니티를 빼놓을 수 없는 것 같아요. 연말 송년회도 함께할 만큼 끈끈한 관계가 형성됐어요. 전공자, 비전공자를 막론하고 다양한 배경의 사람들이 모여 정보도 나누고, 서로에게 힘이 되어주었죠. 패스트캠퍼스의 교육 매니저분들도 큰 도움을 주셨어요. 강의 운영뿐 아니라 수강생들의 네트워킹을 적극 지원해주셨고, 수료 후에도 좋은 관계를 이어가고 있습니다.

당장의 취업에 쫓기다 보면 오히려 목표에서 멀어질 수 있습니다. 저도 비전공자로 시작해 암흑 같은 시기를 겪었지만, 그 긴 터널을 지나고 보니 새로운 것을 배우는 즐거움이 더 큰 원동력이 되더라고요. Upstage AI Lab 과정도 커리큘럼을 따라가기에만 급급하면 아무리 좋은 과정이라도 얻을 게 별로 없을 것 같아요. 취업 시장이 정말 안좋기도 하고, 모두가 열심히 하고, 모두가 절실한 게 요즘 현실이잖아요. 수동적인 마음보다는 능동적인 마음으로 스스로 개발을 즐기고, 몰입할 줄 아는 사람이 같은 과정 내에서도 더 열심히 할 수 있고, 원하는 것을 이룰 확률이 높다고 생각합니다.