온디바이스 AI 엔지니어 포트폴리오: 실제로 작동하는 결과물을 만드는 법
채용 담당자는 모델 정확도가 아니라 '디바이스에서 얼마나 빠르고 작게 돌아가는가'를 봅니다. 온디바이스 AI 포트폴리오에 꼭 필요한 3가지와 체크리스트를 정리했습니다.
Jul 07, 2026
3초 핵심 요약
- 채용 담당자가 보는 것: ‘모델 정확도’가 아니라 ‘디바이스에서 얼마나 빠르게, 얼마나 작게 작동하는가’
- 필수 3요소: 모델 경량화 수치 / 실제 디바이스 배포 / 성능 측정 결과
- 추천 프로젝트: Raspberry Pi 기반 실시간 감지 or Android 앱 온디바이스 추론
- 포트폴리오에 ‘경량화 전 vs 후’ 비교 수치가 있어야 함
온디바이스 AI 개발자의 포트폴리오는 일반적인 머신러닝 프로젝트 포트폴리오와 완전히 다릅니다. 채용 담당자가 보고 싶은 것은 단순한 ‘모델의 정확도’가 아닙니다. ‘이 모델이 제한된 리소스를 가진 실제 디바이스에서 얼마나 빠르고, 얼마나 적은 메모리로 작동하는가’가 핵심입니다.
최근 원티드나 잡코리아의 온디바이스 AI 개발자 채용 공고를 보면, 엣지 디바이스 AI 모델 구현이나 온디바이스 LLM 최적화 및 임베디드 이식 능력을 필수로 요구하고 있습니다. 경쟁력 있는 온디바이스 AI 엔지니어로 거듭나기 위한 포트폴리오 구성 전략을 소개합니다.
온디바이스 AI 개발자 포트폴리오에 꼭 필요한 3가지
1. 모델 경량화 경험
거대한 모델을 엣지 디바이스에 넣기 위한 다이어트 과정입니다. 채용 공고에서 공통으로 요구하는 필수 기술들입니다. 양자화, 프루닝, 지식 증류와 같은 과정이 포함되겠죠. 한 가지 주의할 점은 ‘경량화를 했다’는 서술은 소용이 없습니다. 얼마나 개선했는지 알 수 있는 전후 비교가 필수죠. 아래와 같이 작성하면 가장 좋습니다.
지표 | 원본 모델 | 경량화 후 |
모델 크기 | 450MB | 28MB |
추론 속도 (CPU) | 520ms | 95ms |
정확도 (mAP) | 82.4% | 79.1% |
2. 디바이스 배포 경험
클라우드에서만 돌린 것과, 라즈베리 파이또는 안드로이드 기기에서 직접 실행한 것은 다릅니다. 기기 위에서 돌아가는 영상이나 로그가 있으면 그게 증거가 됩니다. 실제 디바이스가 없다면 에뮬레이터나 Android Studio에서의 추론 테스트도 가능합니다.
3. 성능 측정 및 하드웨어 모니터링 경험
AI 추론 성능을 정량적으로 증명하는 단계입니다. 정확도만이 아니라 디바이스 환경에서의 실제 성능 수치를 기록합니다. 디바이스 내에서 추론 속도를 측정하고, 메모리 Footprint와 CPU/GPU/NPU 사용량 변화 추적 결과를 제시해야 합니다.
온디바이스 AI 개발자 포트폴리오 예시
가상의 프로젝트를 예로 들어 포트폴리오에 어떤 내용이, 어떤 방식으로 포함되어야 하는지 알려드리겠습니다.
프로젝트명: 실시간 객체 인식 및 온디바이스-서버 하이브리드 MLOps 시스템 구축
스마트폰 카메라를 통해 실시간으로 사물을 인식하고 배터리/네트워크 상태에 따라 온디바이스 추론과 서버 추론을 유연하게 스위칭하는 하이브리드 AI 시스템입니다.
📌 아키텍처 및 구현 내용
- 모델 학습 및 변환: PyTorch를 활용해 YOLOv8 모델을 학습시킨 후, 실제 기업 채용 우대사항에 맞추어 TensorFlow Lite(TFLite) 및 ONNX 포맷으로 변환을 시도했습니다.
- 경량화 파이프라인: Post-Training Quantization(PTQ)을 적용해 모델 크기를 45MB에서 11MB로 약 75% 감소시켰습니다.
- 엣지 이식: Android 환경에서 NNAPI(Neural Networks API) 가속기를 활용하여 온디바이스 ai 추론을 구현했습니다.
- 하이브리드 MLOps 시스템: 디바이스의 네트워크가 불안정하거나 지연 시간이 길어질 경우 온디바이스에서 즉시 추론을 처리합니다.
- 디바이스가 충전 중이거나 대용량 정밀 분석이 필요할 때는 FastAPI 서버로 요청을 보내 처리하는 MLOps 파이프라인을 구축했습니다.
📌 정량적 성과
- 모델 크기: 45MB ➡️ 11MB (75% 감소)
- 추론 속도 (Latency): 기기 내 평균 120ms ➡️ 하드웨어 가속 적용 후 32ms (약 3.7배 개선)
- 정확도 유지: mAP (Mean Average Precision) 손실 1.2% 미만 방어
온디바이스 AI 개발자 포트폴리오 최종 체크리스트
포트폴리오를 제출하기 전, 아래 체크리스트에 모두 ‘예’라고 답할 수 있는지 확인해보세요.
체크 항목 | 확인 |
모델을 실제 디바이스 또는 에뮬레이터에서 실행했다 | ㅤ |
경량화 전·후 모델 크기와 추론 속도 수치가 있다 | ㅤ |
정확도 손실이 허용 범위 내인지 확인했다 | ㅤ |
메모리 사용량을 측정했다 | ㅤ |
포트폴리오에 디바이스 실행 화면(영상 또는 스크린샷)이 있다 | ㅤ |
ONNX 또는 TensorFlow Lite 변환 경험이 있다 | ㅤ |
비교가 끝났다면, 이제 준비된 환경에서 시작할 때입니다
어떤 직무로 갈지, 어떻게 준비할지 고민을 거듭했다면 이미 절반은 온 겁니다. 이제 남은 건 실제로 해보는 것입니다.
KANT(Korea AI Native Technologists)는 AI 에이전트·LLM·데이터 사이언티스트·온디바이스·로봇 AI, 5가지 직무 트랙을 오프라인 전용 캠퍼스에서 실전 프로젝트 중심으로 운영합니다. 전액 국비 지원으로 자기부담금은 0원, 훈련장려금 월 최대 40만 원으로 준비 기간의 기회비용까지 줄일 수 있습니다. 최신형 RTX 4060 노트북과 NVIDIA GPU 인프라를 제공해, 장비 걱정 없이 실습에 집중할 수 있는 환경을 만듭니다.
KANT는 단순히 취업을 준비하는 곳이 아닙니다. "AI시대, 그럼에도 불구하고 인간의 가능성에 베팅한다"는 철학 아래, 기술에 압도되지 않고 스스로 문제를 정의하고 해결하는 AI 전문가를 키웁니다.
자리는 한정되어 있습니다. 지금 모집 일정과 지원 조건을 먼저 확인하세요.
출처
- 온디에이아이 AI 개발자 채용공고 (https://www.wanted.co.kr/wd/244605)
- 위고컴퍼니 AI/ML/DL 엔지니어 채용공고 (https://www.jobkorea.co.kr/Recruit/GI_Read/48621950)
Share article