Analisis perilaku manusia secara manual rentan terhadap bias subjektivitas dan kelelahan. Penelitian ini bertujuan mengembangkan sistem Computer Vision berbasis web untuk memantau perilaku multimodal (aksi, atensi, dan emosi) secara real-time. Sistem ini menerapkan arsitektur hybrid yang membagi beban komputasi secara efisien: model YOLOv11 dieksekusi pada server untuk deteksi aksi fisik, sedangkan Face-API.js dijalankan pada sisi klien untuk ekstraksi fitur wajah. Selain itu, algoritma Manhattan Distance diimplementasikan untuk pelacakan objek (object tracking) antar-frame dengan beban komputasi yang ringan. Berdasarkan hasil evaluasi, model YOLOv11 mencapai akurasi mAP@50 sebesar 0,607 dan Face-API.js memperoleh Macro Average F1-score 58,93%. Distribusi beban komputasi terbukti optimal dengan rata-rata kecepatan pemrosesan mencapai 18 FPS. Kualitas transmisi jaringan (QoS) melalui WebSocket berjalan sangat stabil dengan packet loss 0%, Round-Trip Time (RTT) 679 ms, dan jitter 12,45 ms. Pengujian User Acceptance Test (UAT) menghasilkan tingkat efektivitas 88,9%, efisiensi 97,8%, dan kepuasan 100%. Kesimpulannya, sistem arsitektur hibrida ini berhasil beroperasi secara stabil, responsif, dan sangat layak digunakan sebagai solusi pemantauan perilaku multimodal yang efisien.