피지컬 AI 시대, 어떤 엔지니어가 뜰까: 온디바이스, 로봇, 임베디드 직무 지도

CES 2026의 무대를 지배한 키워드는 '피지컬 AI'였습니다. 딜로이트는 '테크 트렌드 2026'에서 피지컬 AI를 핵심 트렌드로 지목했고, 젠슨 황 엔비디아 CEO가 직접 무대에 올라 이 흐름을 설명했죠. 삼성, LG, 현대차, 두산 같은 국내 대기업들도 로보틱스와 피지컬 AI를 차세대 신사업으로 못 박았습니다.

동시에 채용 시장에서는 낯선 직무명이 급격히 늘어나고 있습니다. 온디바이스 AI 엔지니어, 로봇 AI 엔지니어, 임베디드 AI 엔지니어. 이름은 다르지만 결국 'AI를 물리적 세계에 심는 사람들'이라는 공통점을 갖고 있죠. 그런데 막상 취업을 준비하려고 보면 세 직무의 경계가 뿌옇습니다. 어떤 방향이 나에게 맞는지, 어떤 역량을 쌓아야 하는지 판단하기 어렵습니다.

이 글에서는 '온디바이스 AI'와 '엣지 AI' 개념을 명확히 정리한 뒤, 그 위에서 부상하는 세 직무의 하는 일, 필요 역량, 채용 현황, 전망을 비교해봅니다.

1. 온디바이스 AI와 엣지 AI, 개념 정리부터

두 용어는 산업에서 자주 혼용됩니다. 하지만 두 개념의 층위가 다르다는 점을 이해해야 이후 직무 지도가 선명해집니다.

엣지 AI: 데이터가 생기는 그 자리에서 연산

엣지 AI는 데이터가 생성되는 네트워크의 '가장자리(엣지)'에서 AI 연산을 수행하는 방식입니다. 여기서 엣지란 스마트폰, IoT 기기, 공장 설비, 자율주행차, 엣지 서버까지 클라우드 바깥의 물리적 위치를 두루 포함하죠. 데이터를 중앙 클라우드로 보내지 않고 발생 지점 근처에서 처리하기 때문에 응답 속도가 빠르고 개인정보 유출 위험이 낮습니다.

온디바이스 AI: 단말 안에서 직접 실행

온디바이스 AI는 엣지 중에서도 특히 최종 사용자 단말 안에서 직접 AI가 실행되는 형태입니다. 스마트폰, PC, 웨어러블, 가전이 대표적이죠. 삼성전자가 2026년 출시한 갤럭시 북6에 최대 49~50 TOPS(초당 약 50조 번 연산) NPU를 탑재한 것이 대표 사례입니다. 전작 13 TOPS 대비 약 4배 향상된 성능으로, PC 안에서 이미지 생성이나 문서 요약을 오프라인으로 처리하죠.

갤럭시 S26에는 2nm 공정의 엑시노스 2600이 탑재될 예정입니다. 듀얼 NPU 구조로 AI 연산 성능을 전 세대 대비 30% 끌어올리는 것이 목표라고 해요.

두 개념의 관계, 한 문장으로

정리하면 엣지 AI는 상위 개념이고, 온디바이스 AI는 그중에서도 디바이스 자체에서 실행되는 세부 형태입니다.

엣지 서버가 여러 IoT 장비의 데이터를 모아 처리하는 것은 엣지 AI지만 온디바이스 AI는 아니고, 스마트폰이 갤러리 사진을 폰 안에서 직접 분류하면 엣지 AI이자 온디바이스 AI에 해당합니다.

왜 이 구분이 중요할까요? 직무마다 어느 '엣지'에 집중하느냐가 달라지기 때문입니다. 온디바이스 AI 엔지니어는 사용자 단말에, 로봇 AI 엔지니어는 로봇이라는 특수 디바이스에, 임베디드 AI 엔지니어는 자동차·의료기기·산업설비 같은 임베디드 시스템에 각각 초점을 맞추죠.

2. 시장은 얼마나 커지고 있을까

직무 선택의 근거는 결국 시장 크기와 성장률에서 나옵니다. 숫자를 먼저 보겠습니다.

엣지 AI 시장 규모

엣지 컴퓨팅 전체 시장 역시 2025년 214억 달러에서 2035년 2,638억 달러로 CAGR 28% 성장이 전망됩니다. IDC는 엣지 컴퓨팅 지출이 2028년까지 연평균 14% 증가할 것이며 제조, 유틸리티, 은행에서 특히 빠르게 성장한다고 분석했어요.

한국 시장의 흐름도 뚜렷합니다. 한국IDC는 2026년까지 한국 기업의 80%가 AI 추론에서 엣지와 클라우드를 함께 쓰는 하이브리드 방식을 채택할 것으로 전망했어요. 스마트폰 쪽에서는 카운터포인트리서치가 생성형 AI 스마트폰이 2028년 전체 시장의 약 54%까지 확대될 것으로 예측했습니다.

로봇 쪽은 더 가파릅니다. 글로벌 시장조사기관 Maximize Market Research는 AI 로보틱스 시장이 2023년부터 2030년까지 CAGR 38.5%로 성장한다고 분석했어요.

하드웨어 관점에서 보면 Fortune Business Insights는 2026년 엣지 AI 시장에서 하드웨어 세그먼트가 62.41%를 점유할 것이라고 봤습니다. 즉 성장의 상당 부분이 실제 물리 디바이스와 그 위에 얹히는 AI에서 나온다는 뜻입니다.

이 데이터가 말하는 결론은 하나입니다. AI를 물리 세계에 심는 인력의 수요가 앞으로 최소 10년은 구조적으로 늘어난다는 것이죠.

3. 온디바이스 AI 엔지니어: 단말 위에서 AI를 실행 가능하게 만드는 사람

하는 일

온디바이스 AI 엔지니어는 클라우드 위에서 학습된 큰 모델을 스마트폰, PC, 웨어러블, 가전 같은 최종 사용자 단말에 탑재하는 역할을 맡습니다. 문제는 이런 디바이스의 연산 자원과 배터리가 클라우드 GPU 서버와는 비교할 수 없이 제한적이라는 점이죠. 이 간극을 메우는 것이 이 직무의 존재 이유입니다.

구체적으로는 모델 경량화 작업이 핵심입니다. 32비트 가중치를 8비트나 4비트로 줄이는 양자화, 중요도가 낮은 뉴런과 연결을 잘라내는 프루닝, 큰 모델의 지식을 작은 모델로 옮기는 지식 증류 같은 기법을 조합해 정확도 손실은 최소화하면서 모델 크기와 추론 속도를 개선하죠. 그다음 ONNX, TFLite, CoreML 같은 포맷으로 변환하고 각 디바이스의 NPU SDK에 맞춰 최적화합니다.

필요 역량

• 모델 경량화 기법: 양자화, 프루닝, 지식 증류, LoRA 계열 어댑터.

• 런타임과 변환 도구: ONNX Runtime, TensorFlow Lite, Core ML, ExecuTorch.

• 하드웨어 이해: Qualcomm Hexagon, Apple Neural Engine, 삼성 엑시노스 NPU, 인텔·AMD NPU의 아키텍처와 SDK.

• 성능 프로파일링: 지연시간, 메모리 사용량, 배터리 소모를 측정하고 병목을 찾는 능력.

• 기본기: PyTorch, Python, 그리고 종종 C++.

채용 현황

한화시스템은 2026년 온디바이스 AI 엔지니어를 국방 AI 5개 분야(온디바이스 AI, 센서 AI, sLLM 엔지니어 등)의 하나로 별도 공고를 냈습니다.

삼성전자, LG전자는 갤럭시와 그램·가전에 탑재할 온디바이스 모델을 다루는 인력을 꾸준히 뽑고 있고, 과기정통부와 NIPA는 2025년 온디바이스 AI 서비스 실증·확산 사업을 공고하며 국가 차원의 예산도 늘리고 있죠.

전망

온디바이스 AI 전망을 뒷받침하는 근거는 세 가지입니다.

첫째, 하드웨어 발전. NPU를 탑재한 AI PC와 AI 스마트폰이 표준으로 자리 잡고 있어요.

둘째, 개인정보 규제 강화. 사용자 데이터를 클라우드로 보내지 않고 처리하려는 요구가 커집니다.

셋째, 오프라인 사용성 요구. 항공, 의료, 국방처럼 네트워크가 불안정하거나 보안이 중요한 환경에서 온디바이스 실행은 옵션이 아니라 필수입니다.

가트너는 2026년 말까지 기업이 구매하는 상용 PC의 100%가 AI PC가 될 것으로 전망했어요. 로컬 데이터 처리가 빠르게 표준이 되어간다는 신호죠.

4. 로봇 AI 엔지니어: 물리 세계에서 판단하는 로봇을 만드는 사람

하는 일

로봇 AI 엔지니어는 로봇이 스스로 인식하고, 판단하고, 움직이도록 AI를 심는 역할을 합니다. 서버 코드는 버그가 나도 재시작하면 되지만, 로봇 제어 코드의 버그는 실제 로봇 팔의 충돌로 이어질 수 있죠. 물리 세계와 직접 맞닿아 있다는 것이 이 직무의 가장 큰 특징입니다.

하루를 그려보면 이렇습니다. 오전에는 새로운 창고 레이아웃에 맞춰 SLAM 파라미터를 다시 잡고, 로봇이 반복적으로 실패하는 구간의 라이다·카메라 로그를 분석합니다. 오후에는 시뮬레이터에서 강화학습으로 학습시킨 파지 정책을 실물 로봇에 옮겨 넣는 Sim-to-Real 튜닝을 하죠. 저녁 즈음에는 다음 배포를 위한 소프트웨어 아키텍처 회의에 들어갑니다.

필요 역량

• 로봇 미들웨어: ROS2, DDS 기반 통신.

• 인식·매핑: SLAM, Computer Vision, 3D 점군 처리, 라이다·카메라 센서 퓨전.

• 판단·제어: 강화학습, 모션 플래닝, 시뮬레이션 도구(NVIDIA Isaac Sim, Gazebo).

• 탑재용 컴퓨터: NVIDIA Jetson 시리즈, 임베디드 GPU 최적화.

• 언어: Python(연구·프로토타입), C++(실기체 제어).

채용 현황

현대차는 2026년 4월 제조 소프트웨어와 AI 경력직을 SDF, 제조 AI, 제조 로보틱스, 제조 물류지능화 4개 분야에서 대규모로 채용했습니다.

CJ대한통운 TES물류기술연구소는 Physical AI 기반 로봇 소프트웨어 엔지니어 경력직 공고를 냈고, 두산로보틱스·레인보우로보틱스·삼성전자 로봇사업팀도 지속적으로 로봇 개발자 인력을 늘리고 있어요.

전망

피지컬 AI 전망을 놓고 보면 로봇 AI는 지금이 초입입니다. CES 2026에서 젠슨 황이 특별 발표로 피지컬 AI를 다뤘고, 딜로이트도 '테크 트렌드 2026'에서 이를 핵심 트렌드로 꼽았죠.

AI 로보틱스 시장이 CAGR 38.5%로 성장한다는 전망은 다른 어떤 AI 세부 시장보다 가파른 수치입니다. 다만 로봇은 하드웨어·안전 규제·현장 검증이 함께 가야 하는 분야라, 진입 장벽이 상대적으로 높은 만큼 희소성 프리미엄도 커집니다.

5. 임베디드 AI 엔지니어: 세 직무의 뿌리이자 하드웨어의 언어를 아는 사람

하는 일

임베디드 AI 엔지니어는 자동차 ECU, 국방 장비, 의료기기, 산업 설비처럼 특정 목적을 위해 설계된 임베디드 시스템 위에 AI를 얹는 역할을 합니다. 온디바이스 AI가 '사용자 단말'을 대상으로 한다면, 임베디드 AI는 그보다 넓은 스펙트럼의 특수 목적 하드웨어를 다루죠. 대개는 온디바이스 AI와 로봇 AI의 하드웨어 기반이 되는 뿌리 직무로 이해할 수 있습니다.

MCU/MPU에서 몇 KB~MB 단위의 메모리로 딥러닝 모델을 돌려야 하는 상황이 흔합니다. TinyML이 이 영역의 대표적인 접근이죠. RTOS 위에서 실시간성을 지키면서 추론을 실행하고, 펌웨어 레벨에서 하드웨어 가속기를 제어합니다.

필요 역량

• 저수준 언어: C, C++, 필요에 따라 어셈블리.

• 임베디드 기본기: RTOS(FreeRTOS, Zephyr), 부트로더, 디바이스 드라이버.

• 하드웨어 이해: ARM Cortex-M/A 시리즈, 각종 NPU, DSP, FPGA.

• AI 특화 도구: TensorFlow Lite for Microcontrollers, ExecuTorch, TinyML.

• 디버깅: JTAG, 오실로스코프, 로직 애널라이저 사용 경험.

소프트웨어만 아는 사람이 접근하기 어렵고, 반대로 임베디드만 아는 사람도 AI 지식을 별도로 쌓아야 합니다. 이 교차점에 있는 인력이 시장에 매우 적기 때문에 희소성이 높습니다.

채용 현황

한화시스템의 국방 AI 5개 분야 채용, 현대모비스, LG전자 VS사업본부의 차량용 AI 인력 채용이 대표적입니다. 방산·자동차·의료기기 분야에서는 온디바이스 AI라는 명칭보다 임베디드 AI, 엣지 AI라는 이름으로 공고가 나오는 경우가 많아 채용 공고를 볼 때 키워드를 넓게 잡아야 합니다.

전망

한국IDC가 2026년까지 한국 기업의 80%가 하이브리드 추론을 채택할 것으로 본 이유는 결국 클라우드만으로는 지연시간, 대역폭, 보안, 비용을 모두 만족시킬 수 없기 때문입니다.

그 반대편에 필요한 것이 임베디드 AI 인력이죠. 자율주행, 로봇, 스마트팩토리, 국방, 의료기기 어느 축으로도 확장 가능하다는 점에서 커리어 유연성이 가장 높은 직무이기도 합니다.

6. 세 직무 한눈에 비교하기

어떤 방향이 나에게 맞을까

• 소프트웨어와 딥러닝 배경이 있고, 눈에 보이는 사용자 제품에 관심이 있다면 → 온디바이스 AI 엔지니어가 접근성이 가장 좋습니다.

• 물리 세계에서 움직이는 결과물, 강화학습이나 SLAM 같은 주제에 흥미가 있다면 → 로봇 AI 엔지니어를 목표로 삼을 만합니다.

• 하드웨어와 저수준 시스템에 자신 있고 특수 산업(자동차·방산·의료)의 안정적 커리어를 원한다면 → 임베디드 AI 엔지니어가 유리합니다.

세 직무는 겹치는 지점이 많아서 커리어 전환도 상대적으로 유연합니다. 온디바이스에서 임베디드로, 임베디드에서 로봇으로 넘어가는 경로가 실제로 존재하죠.

7. 취업 준비생이 갖춰야 할 공통 핵심 역량

어떤 방향을 선택하든 세 직무를 관통하는 공통 역량이 있습니다. 취업 준비생이 지금부터 쌓아둘 만한 항목들입니다.

딥러닝 모델 최적화 능력

단순히 PyTorch로 모델을 학습시키는 것을 넘어, 그 모델을 어떻게 줄이고 빠르게 만들지 아는 것이 핵심입니다. 양자화, 프루닝, 지식 증류 세 가지는 반드시 손으로 구현해본 경험이 있어야 채용공고의 우대사항 대부분을 커버할 수 있어요.

하드웨어에 대한 이해

CPU, GPU, NPU가 각각 어떤 연산에 강하고 약한지, 메모리 대역폭이 어떻게 병목이 되는지, TOPS라는 지표가 실제 애플리케이션 성능과 어떤 관계인지 설명할 수 있어야 합니다. 이 부분에서 대다수 지원자들이 막히기 때문에, 여기서 차별점이 만들어집니다.

C/C++와 시스템 프로그래밍

리소스가 제한된 환경에서는 결국 C/C++이 등장합니다. Python만 다뤄본 지원자와 C++로 추론 파이프라인을 직접 구현해본 지원자는 채용에서 다른 대우를 받죠. 세 직무 중 어디로 가든 이 스킬은 자산입니다.

실제 하드웨어에서 검증한 포트폴리오

논문 재현이나 캐글만 있는 포트폴리오는 이 영역에서 큰 힘을 못 냅니다. Raspberry Pi, Jetson Nano, 스마트폰 앱 어디든 실제 디바이스 위에서 돌아가는 결과물을 하나라도 갖고 있으면 서류 통과율이 크게 올라갑니다. "이 모델을 이 하드웨어에서 이 지연시간으로 돌렸다"는 문장이 채용 담당자의 눈을 사로잡는 문장이죠.

문제 정의와 트레이드오프 감각

이 영역의 엔지니어는 정확도, 지연시간, 배터리, 메모리, 개발 기간이라는 다섯 변수를 늘 저울질합니다. 어떤 선택이 어떤 손실을 감수하는지 설명할 수 있는 사람은 어느 회사에서든 환영받습니다.

피지컬 AI 시대의 초입에서, 온디바이스 AI와 엣지 AI를 중심으로 한 세 직무는 앞으로 최소 10년간 구조적 수요를 유지할 가능성이 큽니다.

문제는 이론과 실제 디바이스 위 포트폴리오 사이에 꽤 큰 벽이 있다는 점입니다. 딥러닝 강의를 아무리 들어도 실제 스마트폰이나 Jetson 위에서 모델을 돌리고 지연시간을 측정해본 경험은 별도로 쌓아야 하죠.

KANT의 온디바이스 AI 엔지니어 트랙은 이 벽을 넘도록 설계된 커리큘럼을 제공합니다. 모델 경량화 기법을 실습으로 익히고, 실제 디바이스에 탑재해 추론 지연시간과 배터리 소모를 측정하며, 산업 현장에서 요구하는 수준의 포트폴리오를 만드는 것이 목표죠. 로봇, 임베디드 방향을 함께 고려하는 사람에게도 공통 기반이 되는 스킬을 다룹니다.

KANT에서 지금 당장 필요한 압도적인 인재의 역량을 갖추어 보세요. 실무 역량과 전문성을 함께 키울 수 있습니다. 지금 바로 아래 버튼을 눌러 조금 더 자세히 알아보세요.

출처

• Fortune Business Insights, Edge AI Market (2025)

• Global Market Insights, Edge Computing Market (2025)

• IDC, Worldwide Edge Spending Guide, 380억 달러 전망 (2025)

• 한국IDC, 2025년 인공지능 및 자동화 부문 10대 전망 (2024)

• 삼성전자 뉴스룸, 갤럭시 북6 시리즈 공개 (2026)

• Counterpoint Research, 생성형 AI 스마트폰 2028년 54% 전망

• Maximize Market Research, AI in Robotics Market, CAGR 38.5%

• Gartner, AI PCs Will Represent 31% of Worldwide PC Market by End of 2025 (2025)

• Deloitte, Tech Trends 2026: Physical AI and Robotics