알립니다.
  1. 공지사항
  2. 보도/홍보
HOME > 알립니다 > 공지사항

공지사항

2022 Capstone Trouble Shooting 컨설팅 결과 보고_AI 분야 2022.07.21
작성자 ABEEK 분류 공지 조회수 318
첨부파일 2022_Capstone Trouble Shooting_컨설팅의뢰서.hwp  다운로드 5회
첨부파일 2022_Capstone Trouble Shooting_컨설팅 결과보고서.hwp  다운로드 2회
  • tweeter
  • facebook
  • 미투데이
  • 요즘
  • 편지
  • 프린트


2022 Capstone Trouble Shooting 컨설팅 결과 보고_AI 분야





[ 컨설팅 받은 내용 ]
 
1. 의뢰 내용

시각장애인들이 자신 앞에 놓인 음식의 종류와 음식의 위치를 파악할 수 없다는 문제점을 해결하고자 시각장애인을 위한 스마트 Iot 식탁보 제작을 위한 컨설팅을 의뢰드렸습니다. 그 중에서도 음식의 종류를 구분하는 사물 인식 기술을 중점적으로 의뢰드렸습니다.
 
2. 질문 내용

Q. 2-1
텐서플로나 다른 인공지능 기술 이용해서 저희가 학습을 시켜서 음식을 구분 하는 것이 더 좋은 방법인지, 구글 클라우드 비전 API나 다른 음식 인식 API를 사용해서 음식을 구분하는 방법을 사용하는 것 중 어느 것이 저희가 만드는 프로그램에 더 적용하기 쉬운지 궁금합니다.
A. 2-1
현재 구글 클라우드 비전 API와 같은 사물 인식 기술은 음식인지 아닌지를 구분하는 정도의 낮은 수준의 인식 기술로 의뢰하신 대로 원하는 음식의 종류를 구분하는 사물 인식 기술을 구현하기에는 어려움이 있을 것으로 보입니다. (참고용으로 전문가님께서 보유하고 계신 사물 인식 기술 코딩 과정을 영상으로 제공해주심) 기존의 사물 인식 프로그램에 갖고있는 사진들을 통해 정보를 입력해주는 러닝 과정을 거친다면 적정 수준의 사물 인식 기술은 구현 가능할 것으로 예상됩니다.
 
Q. 2-2
허프 변환 기술을 사용하는 이유는 시각장애인들이 정확하게 식탁을 보고 사진을 촬영할 수 없기 때문에 식탁보가 카메라 안에 들어왔을 경우 이를 허프 변환을 통해 인지하여 자동으로 촬영할 수 있는 기능을 제작하고자 하였습니다 위 기술을 이용한 open cv를 이용해서 구현 하려고 합니다. open cv를 이용할 때
'어플리케이션에서 사진을 받아 허프 변환으로 좌표를 판단
-> 음식의 종류를 사물인식을 통해 판단
-> 음식의 종류를 알려주기'
와 같은 단계가 유기적으로 연결될 수 있는지 여쭤보고 싶습니다.
A. 2-2
허프 변환을 통해 식탁보를 인지하는 아이디어는 좋은 것 같습니다. 하지만 카메라를 계속해서 들고 있어야 하기 때문에 제작하고자 하는 방향과는 다르게 진행될 것 같습니다.
 
Q. 2-3
아두이노를 사용하게 된다면 휴대폰 어플과 아두이노의 사용 언어가 달라도 서로 수신이 가능한지, 아두이노 외의 다른 제품를 사용하게 된다면 휴대폰 어플과 사용 언어가 같은 제품이 있거나 달라도 서로 수신이 가능한지 여쭤보고 싶습니다.
A. 2-3
제작한 사물 인식 프로그램과 아두이노를 핸드폰(안드로이드)와 연결하기 위해선 갤럭시의 경우 텐서 플로우 라이브러리(주로 Java)가 지원되기 때문에 학습된 프로그램의 모델 파일을 업로드하면 사용이 가능할 것입니다.
 
Q. 2-4
어플리케이션에서 사진을 받아 허프 변환으로 좌표를 판단
-> 음식의 종류를 사물 인식을 통해 판단
-> 음식의 종류 알려주기
가 더 나은 방법인지
음식을 올려놓을 자리에 놓을 센서의 위치는 확정적이므로 미리 각각 음식을 올려놓을 자리의 좌표를 판단해둔 뒤 해당 위치의 센서에서 젓가락이 감지된다면 허프 변환으로 좌표를 판단할 필요 없이 바로 좌표 파악 후 그 음식의 종류를 사물 인식을 통해 판단하는 것이 나은 방법인지 궁금합니다.
A. 2-4
다른 방법으로 생각해보는 것은 어떨까요? 반지와 같은 형태로 제작하여 사용자의 손가락이 가리티는 방향(=젓가락이 가리키는 방향)이라면 더욱 정확하게 이미지를 추출할 수 있고 앞선 Q.2-2의 문제도 해결할 수 있을 것으로 보입니다. 하지만 그렇게 된다면 여러 단점들이 발생할 수도 있고 의뢰한 기술의 핵심인 식탁보가 필요없어지게 되기 때문에 이는 고려해볼 사항인 것 같습니다.
 
Q. 2-5
젓가락 위치를 판단하는 방법 중 거리감지 센서를 사용할 경우 식탁보 위에 실제로는 그릇을 놓아야 하기 때문에 거리 감지 센서를 쓰기가 어려울 것 같은데 그릇을 올리고도 젓가락 위치를 판단하는 좋은 방법이 있는지 궁금합니다.
A. 2-5
특정 물체만 인식하는 센서가 있다면 초기의 제작 목적와 부합하도록 식탁보를 제작하되 컨설팅에서 얻은 새로운 아이디어를 접목시킬 수 있을 것 같습니다. (후에 의뢰 측에서 자기 홀극 센서라는 것을 탐색하게 되어 이를 아이디어에 접목하기로 함)

 
[ 컨설팅 반영한 캡스톤 작품 결과 ]

자기 홀극 센서를 이용하여 제작한 젓가락 위치 감지 시스템으로 초기 아이디어인 EMR 방식을 사용하게 될 경우 발생하는 인지 거리 감소라는 문제점을 해결하고자 설계 도안과 같이 제안된 아이디어이다. 자기 홀극 센서의 경우 3cm까지 거리를 인지할 수 있는데 센서를 수정하여 더욱 향상된 거리 인지 기능을 갖춘 작품을 제작할 것이다.
사물 인식 기술에 대한 탐구를 진행하기 위해 전문가님께서 소개해주신 github를 통해 탐구를 진행하고자 한다. 이를 통해 제작한 사물 인식 프로그램을 캡스톤 작품에 반영할 예정이다.