페블러스에서 구축한 멀티모달 데이터셋을 통해 쌀 한 톨마저 인식하는 AI가 탄생했습니다! 🍚

• 쉽게 말하자면 식판 속 음식을 인식하여, 섭취량과 영양소를 분석해내는 '식단 모니터링' 서비스인데요.
• AI 푸드테크 기업, 조리/주방 현장 속 피지컬 AI 기반 로봇을 개발하는 기업이라면 주목하세요! 👀
• 위 예시에 해당하는 업종, 산업이 아니라도, 정밀한 VLM을 개발하고 싶은 모든 기업에도 도움이 되실 거예요. 

식단 모니터링 AI 개발 시, 데이터셋의 문제점은?

식단 모니터링 서비스의 데이터셋을 구축하기 전, 문제점은 크게 두 갈래로 분류할 수 있었습니다.

"식단 모니터링 서비스라면, 우리가 매일 일상에서 먹는 밥을 반복해서 사진 촬영하면 되는 거 아냐?"

상상으로는 쉬워보이지만, 현실적으로는 그리 쉽지 않습니다. 

• 실제 식판 사진을 수만 장 찍고, 그 안의 음식 종류와 양을 일일이 수동으로 라벨링한다면?
• 그에 따른 인건비, 시간까지 합하면 수백, 수천 시간과 몇천만원 상당의 비용이 소요돼요. 

• 또한 식단 모니터링 서비스는 잔반 데이터를 바탕으로 사용자의 섭취량을 정확하게 파악하는 구조인데요.
• 이렇게 음식을 섭취하기 전의 데이터는 비교적 빠르게 확보할 수 있어도, 음식을 다 먹은 후 음식이 섞이거나 일부만 남은 잔반 데이터는 현실에서 구하기 매우 까다로워요. 

• 해당 모니터링 서비스는 국내뿐만 아니라 해외 이용자도 대상으로 하는 서비스인데요.
• 각 국가별로 식문화가 다르기 때문에, 현지에 알맞는 데이터를 수집해야 합니다.

2️⃣ 2D 사진만으로는 부피 및 영양소 측정이 부정확해요. 

• 식단 모니터링 서비스는 섭취 칼로리를 체크하는 게 핵심이죠. 이 칼로리는 같은 음식이라도 음식의 양에 따라서 달라집니다. 
  
• 그런데 2D 사진만으로는 음식의 정확한 양을 파악하기에 한계가 있습니다. 한 장면만 찍은 사진으로는 정확한 부피를 파악하기 어려운 것이죠!

식단 모니터링 서비스를 위한

데이터셋 구축 과정 공개!

1. 고객사가 사용하는 특정 식판 모양이나 재질(스테인리스, 플라스틱 등)을 그대로 반영해야 합니다.

Q. 식단을 모니터링하는 건데 왜 식판 데이터까지 구축해야 하나요?

• AI에게 어디까지가 음식인지, 식판인지 명확하게 학습시키기 위해서입니다!
• 또한 예를 들어 스테인리스 식판이라면 반사광이 발생하죠. 그로 인해 그림자 왜곡, 음식 색상 왜곡이 발생할 수 있어요.
• 이러한 왜곡을 막기 위해 음식과 식판의 경계선을 구분지어야 해요. 

그 결과는?

이렇게 정교한 멀티모달 데이터셋을 구축한 결과, 음식의 양을 픽셀 단위, 심지어 쌀 한톨마저 정밀하게 예측할 수 있는 식단 모니터링 AI 모델이 되었습니다.

'바로 여기다'라는 생각이 든다면, 바로 도입 문의를 주세요!

매 순간 변화하는 데이터의 품질, 80%나 망가졌을 때보다 20%만 망가졌을 때 개선하는 것이 더 나은 방향입니다.

귀사가 미래에 겪을 수 있는 수십, 수백억 단위의 손실을 방어해드리겠습니다.

본 내용은 페블러스의 기획 하에 AI를 보조적으로 활용하여 작성되었으며, 페블러스의 엄밀한 감수를 거쳐 출간되었습니다.