This research uses the tracking method the skin color segmentation and center of gravity (COG) managed to track the hand movements of each frame, as well as edge detection method and the PCA as feature extraction, and familiarity with using artificial neural network approach to back propagation. The study of sign language recognition applications in real-time experience any problems, the factors that affect, among others, high level of similarity of training image data, the process of tracking, especially on the segmentation of objects with the background so the results do not capture the maximum interpretation. For that there needs to be created a system that can connect the disabled with normal human hearing impairment. Sign language is a language that uses hand gestures and lip movements to explain the meaning. Kata kunci -Pelacakan, Ekstraksi ciri, Pengenalan isyarat tangan Aplikasi ini perlu adanya pengembangan lebih lanjut terutama pada proses pelacakan dan identifikasi.

Pada berbagai kondisi pencahayan dan jarak objek ke kamera, system ini mengalami perubahan tingkat pengenalan sehingga diperlukan jarak ideal dan tingkat penerangan yang baik.

Hasil dari pengujian sistem ini dapat mengenali 26 huruf isyarat, tingkat akurasi pengenalan isyarat tangan 83,43%. Penelitian ini menggunakan metode pelacakan (tracking) yakni segmentasi warna kulit dan center of gravity (COG) berhasil melacak (tracking) gerakan tangan dari setiap frame, serta metode deteksi tepi dan PCA sebagai ekstraksi ciri, dan pengenalannya menggunakan pendekatan jaringan syaraf tiruan back propagation. Penelitian aplikasi pengenalan bahasa isyarat secara real-time banyak mengalami kendala, faktor-faktor yang mempengaruhi antara lain, besarnya tingkat kemiripan data citra latih, proses pelacakan (tracking) terutama pada segmentasi objek dengan latar belakang (background) sehingga hasil capture tidak terinterprestasikan maksimal. Untuk itu perlu adanya dibuat suatu sistem yang dapat menghubungkan penderita cacat tunarungu dengan manusia normal. Bahasa isyarat (sign language) merupakan bahasa yang menggunakan gerakan tangan dan gerak bibir untuk menjelaskan sebuah arti.

Bahasa isyarat tangan