콘테스트 프로젝트 진행 상황
각 Quest를 단계적으로 완성하는 프로젝트입니다.
Quest 1: 3WD 옴니휠 구동계 및 ESP32 통신 구조 구현
2026.08.06스마트 컵받침 로봇의 이동 플랫폼을 구성하기 위해 3개의 옴니휠과 GA25 계열 기어모터를 기반으로 하부 구동계를 구성하였다.
ESP32에서 각 모터의 엔코더 값을 읽어 회전 속도를 계산하도록 구현하고, 목표 휠 속도와 실제 속도의 차이를 보정하는 피드백 제어 구조를 적용하였다.
또한 로봇의 판단 기능과 모터 제어 기능을 분리하기 위해 상위 시스템에서 이동 명령을 전달하고 ESP32가 실제 휠 제어를 담당하는 구조를 설계하였다. 이를 통해 영상처리 또는 네트워크 지연이 발생하더라도 모터 제어 주기가 직접 영향을 받지 않도록 하였다.
3WD 옴니휠의 각 휠 속도를 조합하여 전후좌우 및 대각선 이동이 가능하도록 역기구학 기반 이동 명령 구조를 적용하였다.
최종 정리
최종 요약
■ Project Overview
This project developed a prototype of a smart coaster robot based on a 3WD omnidirectional wheel system that recognizes user behavior and surrounding hazards, moves in real space, and prevents accidents.
The lower robot can move forward, backward, left, right, and diagonally using three omniwheels, while the ESP32 monitors wheel status in real-time using encoder data from each motor and controls movement.
The roles of the upper system and lower control system are separated such that a laptop or Raspberry Pi determines the current situation based on camera and sensor information, while the ESP32 converts received movement commands into actual motor operations.
In particular, rather than the upper system continuously directly controlling the robot, the design passes the target movement direction and distance to the ESP32, which then independently determines whether movement is complete based on encoder data. This ensures that the lower robot can stop stably regardless of network communication or image processing cycles.
Additionally, an overhead camera is used to identify the positions of the user, cup, and surrounding protected objects, and a sensor fusion structure is designed to confirm the distance and relative velocity of approaching objects through an mmWave Radar mounted on the mobile platform.
Finally, the complete Physical AI system structure was implemented, connecting perception → situation assessment → movement command generation → ESP32 real-time control → 3WD robot movement.
■ Key Achievements and Features
The first achievement is the establishment of a 3WD omnidirectional mobile platform. Unlike typical two-wheel structures, it enables immediate movement in any required direction without significantly changing the vehicle orientation in a narrow desk environment.
The second is the encoder feedback-based lower control structure. Movement is controlled while monitoring the actual rotation state of each motor, and when the target movement distance is reached, the ESP32 automatically stops, reducing dependence on the upper computer.
The third is the separation of upper-level perception and lower-level real-time control. Camera image processing and hazard assessment are performed on the Raspberry Pi or laptop, while motor control requiring fast and consistent control cycles is performed on the ESP32. This prevents changes in AI computation speed from directly compromising motor control stability.
The fourth is the sensor fusion structure that distinguishes the roles of camera and radar. The camera determines object type and position, while the radar provides distance and relative velocity of surrounding objects. This establishes the foundation to distinguish objects actually approaching the cup direction rather than simply judging all nearby objects as hazards.
The fifth is the laptop-based central monitoring structure. Movement commands and robot status are exchanged through the network, enabling an expandable structure where camera view, robot status, hazard level, and movement commands can be monitored in a single interface.
The greatest significance of this project lies not merely in manufacturing a finished consumer appliance, but in applying the complete operational flow of Physical AI—where the robot physically intervenes after recognizing human behavior—to a small desktop robot.
■ Future Improvement Plans
The first improvement target is to synchronize camera and mmWave Radar data in real environments to advance the hazard assessment algorithm. Based on currently designed distance, relative velocity, and approach direction information, future improvements will calculate estimated collision time to reduce unnecessary evasion maneuvers.
The second is precision calibration between actual desk coordinate system and camera coordinate system. To accurately convert detected cup positions from the camera to actual robot movement distances, coordinate transformation and position correction using ArUco Markers will be applied.
The third is improving accuracy for short-distance movement. Since the cup requires smooth evasion on a scale of several centimeters rather than large movements, encoder-based position control and acceleration/deceleration profiles will be added to minimize liquid sloshing from abrupt movements.
The fourth is adding a soft grip structure. Using elastic materials such as TPU and silicone to develop a structure that reduces slipping and tipping from lateral impact rather than firmly fixing the cup bottom, and enabling automatic release when users normally grasp the cup.
Finally, the application scope will be expanded beyond cups to include laboratory reagent containers, hospital safety trays, and mobile smart tables, with the goal of developing the system into a daily-life safety Physical AI platform that understands human behavior and surrounding environments and intervenes just before accidents occur.
프로젝트 소개
목표 및 제작 동기
The smart coaster robot is a motion recognition-based desk robot that recognizes the user's hand movement when placing a cup down, predicts where the cup will be positioned, and guides the cup's landing by moving the coaster to a safe location first. After the cup is placed on the coaster, it gently supports the bottom of the cup with a soft grip structure to reduce slipping and tipping risks, and automatically releases the grip when the user's normal intention to pick up and lift the cup is confirmed. Additionally, when an elbow or wrist approaches the cup direction rapidly while the cup is resting, the robot assesses collision possibility and performs brief evasive maneuvers within a limited distance. This project defines a 4m × 3m confined space as a daily work environment where a notebook, documents, keyboard, and cup are placed together. In everyday situations, cup spilling accidents go beyond simply soiling the desk and can lead to secondary damage such as notebook malfunction, data loss, document destruction, experimental equipment damage, and work interruption. Existing coasters or cup holders often focus on fixing or preventing slipping after the cup is already placed, while the smart coaster robot differentiates itself by predicting the user's behavioral flow before the cup is placed and switching between fixing, releasing, and evading according to circumstances after the cup is positioned. In other words, the smart coaster robot is not merely a coaster but a Physical AI-based desk robot that recognizes users' unconscious cup placement behavior and proactively reduces liquid accidents in living spaces. [Expected Effects] This project is meaningful in that it proposes a preventive lifestyle robot that predicts user behavioral flow and physically intervenes, departing from the method of handling liquid accidents after they occur. The smart coaster robot preempts a safe landing position before the cup is placed, stabilizes the cup after it is positioned, and switches between fixing, releasing, and evading by distinguishing between the user's normal usage intention and accidental collision risks. Application potential extends broadly to spaces where liquids and electronic devices coexist, including offices, schools, laboratories, cafes, hospitals, and homes. Particularly in environments with liquid-vulnerable targets such as notebooks, tablets, keyboards, experimental equipment, medical charts, and precision measurement devices, the economic and safety benefits are significant. Beyond simple cleaning cost reduction, it can mitigate secondary damage leading to equipment malfunction, data loss, document destruction, and work interruption. Additionally, it is applicable to elderly users, children, users with hand tremors, visually impaired users, and others who require stability when using cups. In the future, it can expand into smart desks, smart tables, hospital safety trays, laboratory reagent container safety systems, and cup stabilization modules for kitchen assistant robots. This project is significant in demonstrating the operational principles of Physical AI that reads human behavior in advance and responds physically, through addressing the specific problem of small but repetitively occurring liquid accidents in daily life.
프로젝트 컨셉
시스템은 상부 인지 및 판단계, 하부 임베디드 제어계, 코스터 물리 구동부, 소프트 그립 구조, 시연 환경으로 구성된다. 상부 인지 및 판단계는 책상 위를 촬영하는 USB 웹캠과 Raspberry Pi 또는 노트북 기반 영상처리 시스템으로 구성된다. Python 환경에서 OpenCV와 MediaPipe Hands/Pose를 활용하여 사용자의 손목, 손가락, 팔꿈치 위치를 추적하고, 컵·코스터·노트북·서류 등 주요 물체에는 ArUco 마커 또는 색상 마커를 적용하여 카메라 좌표계에서 상대 위치를 계산한다. 판단 알고리즘은 사용자의 손과 컵의 이동 궤적, 손의 접근 속도, 컵이 책상 평면으로 내려오는 패턴, 손가락이 컵을 감싸는 형태, 컵과 보호 대상 사이의 거리, 팔꿈치의 접근 방향을 분석한다. 손과 컵이 함께 책상 방향으로 낮아지고 속도가 줄어들면 컵 내려놓기 의도로 판단하고, 예상 착지 위치가 노트북·키보드·서류 등 보호 대상과 가까울 경우 코스터가 먼저 안전한 위치로 이동한다. 코스터 상단 LED는 사용자가 컵을 내려놓을 위치를 안내한다. 컵이 코스터 위에 놓이면 압력센서 또는 로드셀을 통해 컵 착지를 감지하고, 실리콘 링 또는 TPU 기반 소프트 그립 구조가 컵 하단을 부드럽게 지지한다. 이 구조는 컵을 강하게 조이는 방식이 아니라, 옆에서 밀리는 힘과 작은 충격에 대해 컵의 이탈과 전도 위험을 줄이는 역할을 한다. 사용자가 컵을 마시기 위해 손으로 컵을 감싸면 시스템은 손가락의 형태, 손의 접근 속도, 컵 무게 변화 또는 들어올림 신호를 함께 분석하여 정상 사용 의도로 판단하고 그립을 해제한다. 반대로 팔꿈치나 손목이 컵 옆을 빠르게 지나가는 경우에는 실수 충돌 가능성으로 판단하여 그립을 유지한다. 충돌 위험이 높고 이동 가능한 공간이 확보된 경우, 코스터는 위험 접근 방향의 반대쪽으로 2~5cm 수준의 짧은 회피 이동을 수행한다. 이때 컵 내부 액체의 출렁임을 줄이기 위해 급가속을 피하고, 부드러운 가속·감속 프로파일을 적용한다. 책상 끝이나 장애물이 감지될 경우 ToF 센서 기반 안전 감지를 통해 회피 이동을 즉시 중단한다. 하부 임베디드 제어계는 ESP32를 중심으로 구성한다. ESP32는 상부 판단계로부터 이동 명령, 그립 제어 명령, LED·부저 명령을 수신하고, IMU, 압력센서, ToF 센서, 모터, 서보모터를 통합 제어한다. 통신이 끊기거나 책상 끝이 감지되거나 컵 기울기가 위험 수준을 넘을 경우 자동 정지하는 안전 워치독을 적용한다. 시연은 4m × 3m 공간에 책상, 의자, 노트북 모형, 키보드, 서류, 컵, 컵자리 로봇, 상부 카메라를 배치하여 진행한다. 주요 시연은 1. 컵을 내려놓기 전 코스터가 안전 위치로 이동하는 장면, 2. 컵을 놓으면 소프트 그립이 작동하는 장면, 3. 사용자가 컵을 잡으면 그립이 해제되는 장면, 4. 팔꿈치 접근 시 코스터가 짧게 회피하는 장면으로 구성한다. [개발 역량] 본 팀은 Python 기반 영상처리, 임베디드 제어, 센서 데이터 처리, 로봇 구동 제어를 중심으로 본 프로젝트를 수행할 수 있는 역량을 갖추고 있다. 상부 인지계에서는 OpenCV와 MediaPipe를 활용해 사용자의 손·팔 움직임을 추적하고, 컵과 보호 대상의 상대 위치를 분석하는 기능을 구현한다. 하부 제어계에서는 ESP32를 활용해 모터, 서보모터, IMU, 압력센서, ToF 센서, LED, 부저를 통합 제어한다. 또한 시스템을 상부 인지 및 판단계와 하부 임베디드 제어계로 분리하여 설계함으로써 영상 처리 지연이 실시간 모터 제어에 직접적인 영향을 주지 않도록 한다. 하부 제어계에는 통신 끊김, 책상 끝 접근, 과도한 기울기 등 위험 상황에서 자동 정지하는 안전 구조를 적용한다. 기구 설계 측면에서는 3D 프린트 기반 외장 제작과 실리콘·TPU 소재를 활용한 소프트 그립 구조를 적용하여 실제 작동 가능한 프로토타입 완성도를 높이고자 한다. 본 팀은 최종적으로 컵 착지 위치 예측, 안전 위치 선점, 컵 하단 소프트 그립, 정상 사용 시 그립 해제, 충돌 위험 시 짧은 회피 기동을 통합한 프로토타입을 제작하고, 실제 책상 환경에서 반복 시연 가능한 수준의 시스템 완성도를 확보하는 것을 목표로 한다. [지원 동기] 일상 속 사고는 대부분 거대한 위험에서 시작되지 않는다. 무심코 컵을 내려놓는 위치, 작업 중 팔꿈치가 스치는 순간, 잠깐의 부주의처럼 아주 작은 행동에서 시작된다. 그러나 이러한 작은 사고가 노트북 고장, 데이터 손실, 문서 훼손, 실험 장비 손상, 업무 중단으로 이어질 수 있다는 점에서, 일상 공간 속 위험은 결코 가볍지 않다. 본 팀은 이러한 문제를 단순히 사고 이후에 처리하는 것이 아니라, 사고가 발생하기 직전의 순간을 인식하고 물리적으로 개입하는 방식으로 해결하고자 한다. 팀명 DIG는 배구에서 공이 바닥에 닿기 직전 몸을 던져 받아내는 수비 동작에서 착안하였다. 우리는 이 의미를 기술적으로 확장하여, 일상 속 사고가 발생하기 직전의 짧은 순간을 감지하고, 사용자의 행동 흐름을 이해하며, 로봇이 먼저 개입해 위험을 막아내는 팀이 되고자 한다. 컵자리는 이러한 철학을 가장 직관적으로 보여주는 프로젝트이다. 사용자가 컵을 놓기 전에는 안전한 위치를 먼저 만들고, 컵이 놓인 후에는 안정적으로 잡아주며, 사용자가 잡으려는 의도는 존중하고, 실수로 칠 위험이 있을 때는 스스로 회피한다. 본 프로젝트를 통해 우리는 로봇이 단순히 명령을 수행하는 기계를 넘어, 인간의 무의식적인 행동을 이해하고 생활 공간의 위험을 줄이는 Physical AI로 발전할 수 있음을 증명하고자 한다. 제한된 4m × 3m 공간 안에서 컵 하나와 책상 하나라는 작은 문제를 다루지만, 그 안에는 인간 행동 인식, 상황 판단, 물리적 개입, 안전 제어라는 미래 로봇 기술의 핵심 요소가 모두 담겨 있다. 우리의 목표는 단순히 작동하는 컵받침을 만드는 것이 아니다. 일상 속 작은 위험을 발견하고, 그 위험이 현실의 피해로 이어지기 전에 먼저 움직이는 로봇의 가능성을 보여주는 것이다. DIG는 이번 도전을 통해 “사고가 난 뒤 수습하는 기술”이 아니라 “사고가 나기 전 받아내는 기술”을 구현하고, 사람과 생활 공간이 더 안전하고 자연스럽게 상호작용하는 새로운 모빌리티의 가능성을 제시하고자 한다.
댓글 0개
아직 댓글이 없습니다. 첫 댓글을 남겨보세요!