Dinisenyo at binuo ni Alexander De Leon, pinagsasama ng "DUM-E" ang real-time sign language translation at emotion-aware AI upang maging tulay sa mas inklusibong komunikasyon.
LUNGSOD NG SANTA ROSA, LAGUNA — Bitbit ang hangaring gawing mas abot-kamay at inklusibo ang pang-araw-araw na pakikipagtalastasan, nakalikha ang isang mag-aaral na researcher ng isang AI-powered robotic arm na may kakayahang magsalin ng sign language tungo sa real-time na pananalita para sa mga indibidwal na bingi at hindi nakapagsasalita.
Ang proyekto, na opisyal na pinamagatang “DUM-E: Prototyping an AI-Powered Robotic Arm Assistant Integrated with Sign Language Translation using ESP32-S3 to Create an Interactive Assistant Technology,” ay sumungkit ng 2nd Place sa Creative Innovation Category sa ginanap na Electronics & Robotics International Competition (ERIC) 2025 sa Universitas Negeri Jakarta, Indonesia noong Setyembre 24–25, 2025.
Sa pamumuno ng student innovator at team lead na si Alexander Mathew R. De Leon, nagsimula ang proyekto bilang isang ambisyosong personal na inisyatibo na pinondohan mula sa kaniyang sariling naipong baon noong Marso 2025. Layuning higitan ang kakayahan ng mga karaniwang voice assistant tulad ng Siri o Alexa, isinulong ni De Leon ang pagbuo ng isang interactive at pisikal na assistant na may robotic pick-up arm upang alisin ang mga hadlang sa pakikipagtalastasan ng mga indibidwal na bingi at hindi nakapagsasalita.
Gumagamit ang sistema ng ESP32-S3 microcontroller upang patakbuhin ang custom 3D-printed robotic arm, mga servomotor, at TFT touch display. Kumokonekta ang microcontroller sa pamamagitan ng Wi-Fi sa isang processing system na gumagamit ng OpenCV, TensorFlow, at PyTorch upang suriin ang live camera feed, kilalanin ang mga galaw sa American Sign Language (ASL), at isalin ang mga ito sa wikang binibigkas. Bukod dito, may taglay ring emotion-aware conversational model ang DUM-E na nakatutukoy ng konteksto at emosyon upang isaayos ang kaniyang tugon nang may empatiya. Bagama’t hindi pa perpekto ang prototype, ang pangunahing konsepto at mahahalagang functional feature nito ay gumagana na nang maayos.
Bagama’t sariling sikap ang pagbuo at pagprograma ni De Leon sa sistema, kinikilala niya na malaking bahagi ng kaniyang teknikal na kaalaman ay nagmula sa mga hands-on training sa hardware at engineering na natanggap niya sa Evtech Research Group, kung saan kasalukuyan siyang nagtatrabaho bilang Product Developer.
“Evtech gave me the technical knowledge and hands-on training to assemble electronics, create 3D models, 3D printing, and develop projects from scratch,” ibinahagi ni De Leon. “Through this training, I became capable of turning an idea into a working prototype and completing projects such as DUM-E. Without them, I may not have realized that these kinds of projects were even possible. Them and the many setbacks also taught me that leadership means carrying a team forward, taking responsibility for the result, and continuing even when the situation feels impossible.”
Higit pa sa mga natutunang teknikal na kaalaman, ang pagdadala sa DUM-E sa kompetisyon sa Jakarta ay naging isang matinding pagsubok sa kaniyang diskarte at tibay ng loob. Matapos magpuyat upang maipasa ang kanilang qualifying research paper bago ang deadline, matagumpay na nakakuha ng imbitasyon ang koponan ngunit naharap sa matinding pagkaantala sa pondo para sa tiket sa eroplano at mga kailangang piyesa.
Lalong lumala ang sitwasyon 24 oras bago ang kanilang lipad nang mag-short circuit ang pangunahing control computer ng robot na Raspberry Pi habang isinasagawa ang huling pagsubok bago ang biyahe. Bilang lead developer na may direktang responsibilidad sa nangyaring aberya, inangkin ni De Leon ang pagkakamali at agad na kumuha ng buong pananagutan sa pagresolba ng krisis. Sa krusyal na sandali, nakabuo siya ng emergency setup: muling inilipat ang hardware control sa isang ekstrang Arduino Uno, inilipat ang AI processing sa isang laptop, at nag-record ng video demonstration ng buong kakayahan ng robot bilang fallback.
Pagdating sa Jakarta matapos makatanggap ng huling-sandaling tulong sa pagbiyahe mula sa mga opisyal ng lungsod, natuklasan ng koponan na na-damage ng alog sa biyahe ang 3D-printed chassis nito kaya hindi gumana ang isang braso, habang naiwan naman ang mahahalagang connector cable. Sa tulong ng mga organizer ng kompetisyon na nagpahiram ng kapalit na cable, naipresenta ng koponan ang mga natitirang gumaganang feature kasama ang mga inirekord na video feed na nagpapakita sa kumpletong kakayahan ng sistema.
Sa kabila ng mga naging balakid—tulad ng nasirang primary control computer, nasirang chassis, nawawalang cable, at ang ginawang emergency fallback setup—nasungkit pa rin ng DUM-E ang 2nd Place para sa Pilipinas, na kapos lamang ng limang puntos sa system reliability sa gitna ng mga naging aberya.
“After the presentation, I felt certain that we had no chance of placing because of all the setbacks,” alala ni De Leon. “The experience was a roller coaster of frustration, sadness, anxiety, joy, and relief, but in the end, we were able to present the project and proudly earned second place for the Philippines.”
Dahil sa pagnanais na pagbutihin ang performance ng prototype at ayusin ang mga unang hardware limitation nito, muling itinaya ng koponan ang kanilang natitirang pondo pagkatapos ng kompetisyon upang tuluyang i-overhaul ang DUM-E. Binuo muli ni De Leon ang system architecture gamit ang ESP32 bilang primary controller, mas malaking touchscreen interface, na-update na AI recognition pipeline, at isang nakalaang mobile app controller. Ang napagandang prototype ay kasunod na sumungkit ng Champion Overall sa 4th Regional Robolution sa Don Bosco Technical Institute ng Makati, Champion sa Health & Wellness Category sa Pilipinas Robosports Tournament 2025, at 3rd Best Research Project na pagkilala mula sa mga lokal na opisyal ng paaralan at lungsod.
Sa pagbabalik-tanaw sa naging paglalakbay mula sa nasirang hardware tungo sa pagiging kampeon, binigyang-diin ni De Leon na ang tibay ng loob sa larangan ng engineering ay nahuhubog sa pamamagitan ng pagharap sa mga kabiguan.
“Those engineering memes are not jokes, they are warnings,” paalala ni De Leon. “Still, if you find this field fulfilling, no hardship should stop you. Expect difficulties, do not be afraid to fail, and learn from every failure. Most importantly, keep learning, and have fun!”
