รายละเอียด

การทำงานของโปรแกรม

เมื่อตัวกล้องสามารถตรวจจับมือบนหน้าจอได้แล้ว จะรับค่าตามตำแหน่งต่าง ๆ ที่อยู่บนมือ และ นำไปจดจำว่า ตำแหน่งนั้นๆ มีความหมายตรงกับคำว่าอะไร และ จะเก็บข้อมูลเอาไว้ให้เป็นตัวแปร ซึ่งมีข้อจำกัดว่ามือที่ แสดงบนหน้าจอต้องมีลักษณะการเคลื่อนไหวน้อยที่สุดเมื่อได้ตัวแปรมาแล้วตัวโปรแกรมจะทำการเรียกไฟล์เสียงที่กำหนดเอาไว้ตามตัวแปรนั้น ๆ

การดำเนินการสร้างโปรแกรมแปลภาษามือ

โครงสร้างของโปรแกรม มีขั้นตอน คือ เริ่มออกแบบโครงสร้างโปรแกรม ศึกษาการทำงานของโปรแกรมการรับข้อมูลในรูปแบบของภาษามือ และ การส่งออกข้อมูลในรูปแบบของเสียงที่สามารถทำงานร่วมกันได้ โดยการเขียนโค้ดดังนี้

import cv2
import mediapipe as mp
import  pygame

mp_drawing = mp.solutions.drawing_utils
mp_drawing_styles = mp.solutions.drawing_styles
mp_hands = mp.solutions.hands

# For webcam input:
cap = cv2.VideoCapture(0)
with mp_hands.Hands(
    model_complexity=0,
    min_detection_confidence=0.5,
    min_tracking_confidence=0.5) as hands:
  while cap.isOpened():
    success, image = cap.read()
    if not success:
      print("Ignoring empty camera frame.")
      # If loading a video, use 'break' instead of 'continue'.
      continue

    # To improve performance, optionally mark the image as not writeable to
    # pass by reference.
    image.flags.writeable = False
    image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
    results = hands.process(image)

    # Draw the hand annotations on the image.
    image.flags.writeable = True
    image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)

    # Initially set finger count to 0 for each cap
    fingerCount = 0

    if results.multi_hand_landmarks:

      for hand_landmarks in results.multi_hand_landmarks:
        # Get hand index to check label (left or right)
        handIndex = results.multi_hand_landmarks.index(hand_landmarks)
        handLabel = results.multi_handedness[handIndex].classification[0].label

        # Set variable to keep landmarks positions (x and y)
        handLandmarks = []

        # Fill list with x and y positions of each landmark
        for landmarks in hand_landmarks.landmark:
          handLandmarks.append([landmarks.x, landmarks.y])

        # Test conditions for each finger: Count is increased if finger is 
        #   considered raised.
        # Thumb: TIP x position must be greater or lower than IP x position, 
        #   deppeding on hand label.
        if handLabel == "Left" and handLandmarks[4][0] > handLandmarks[3][0]:
          fingerCount = fingerCount+1
        elif handLabel == "Right" and handLandmarks[4][0] < handLandmarks[3][0]:
          fingerCount = fingerCount+1

        # Other fingers: TIP y position must be lower than PIP y position, 
        #   as image origin is in the upper left corner.
        if handLandmarks[8][1] < handLandmarks[6][1]:       #Index finger
          fingerCount = fingerCount+1
        if handLandmarks[12][1] < handLandmarks[10][1]:     #Middle finger
          fingerCount = fingerCount+1
        if handLandmarks[16][1] < handLandmarks[14][1]:     #Ring finger
          fingerCount = fingerCount+1
        if handLandmarks[20][1] < handLandmarks[18][1]:     #Pinky
          fingerCount = fingerCount+1


        

              
        if fingerCount==1 :
          def play_mp3(file_path):
              pygame.mixer.init()
              pygame.mixer.music.load(file_path)
              pygame.mixer.music.play()

          if __name__ == "__main__":
              mp3_file_path = "11.mp3"
              play_mp3(mp3_file_path)

              

        if fingerCount==2 :
          def play_mp3(file_path):
              pygame.mixer.init()
              pygame.mixer.music.load(file_path)
              pygame.mixer.music.play()

          if __name__ == "__main__":
              mp3_file_path = "22.mp3"
              play_mp3(mp3_file_path)

              
       
              
          if fingerCount==3 :
            def play_mp3(file_path):
              pygame.mixer.init()
              pygame.mixer.music.load(file_path)
              pygame.mixer.music.play()

          if __name__ == "__main__":
              mp3_file_path = "33.mp3"
              play_mp3(mp3_file_path)

              
        if fingerCount==4 :
          def play_mp3(file_path):
              pygame.mixer.init()
              pygame.mixer.music.load(file_path)
              pygame.mixer.music.play()

          if __name__ == "__main__":
              mp3_file_path = "44.mp3"
              play_mp3(mp3_file_path)


              
        if fingerCount==5 :
          def play_mp3(file_path):
              pygame.mixer.init()
              pygame.mixer.music.load(file_path)
              pygame.mixer.music.play()

          if __name__ == "__main__":
              mp3_file_path = "55.mp3"
              play_mp3(mp3_file_path)

          if fingerCount==6 :
            def play_mp3(file_path):
              pygame.mixer.init()
              pygame.mixer.music.load(file_path)
              pygame.mixer.music.play()

            if __name__ == "__main__":
              mp3_file_path = "66.mp3"
              play_mp3(mp3_file_path)

          if fingerCount==7 :
            def play_mp3(file_path):
              pygame.mixer.init()
              pygame.mixer.music.load(file_path)
              pygame.mixer.music.play()

          if __name__ == "__main__":
              mp3_file_path = "77.mp3"
              play_mp3(mp3_file_path)

          if fingerCount==8 :
            def play_mp3(file_path):
              pygame.mixer.init()
              pygame.mixer.music.load(file_path)
              pygame.mixer.music.play()

            if __name__ == "__main__":
              mp3_file_path = "88.mp3"
              play_mp3(mp3_file_path)

          if fingerCount==9 :
            def play_mp3(file_path):
              pygame.mixer.init()
              pygame.mixer.music.load(file_path)
              pygame.mixer.music.play()

            if __name__ == "__main__":
              mp3_file_path = "99.mp3"
              play_mp3(mp3_file_path)

          if fingerCount==10 :
            def play_mp3(file_path):
              pygame.mixer.init()
              pygame.mixer.music.load(file_path)
              pygame.mixer.music.play()

            if __name__ == "__main__":
              mp3_file_path = "1010.mp3"
              play_mp3(mp3_file_path)
        
        # Draw hand landmarks 
        mp_drawing.draw_landmarks(
            image,
            hand_landmarks,
            mp_hands.HAND_CONNECTIONS,
            mp_drawing_styles.get_default_hand_landmarks_style(),
            mp_drawing_styles.get_default_hand_connections_style())

    # Display finger count
    cv2.putText(image, str(fingerCount), (50, 450), cv2.FONT_HERSHEY_SIMPLEX, 3, (255, 0, 0), 10)

    # Display image
    cv2.imshow('MediaPipe Hands', image)
    if cv2.waitKey(5) & 0xFF == 27:
      break
cap.release()

จากนั้นทดสอบว่าโปรแกรมสามารถใช้งานได้จริง โดยการทำท่าทางภาษามือให้ตัวโปรแกรมแปล และ ให้โปรแกรมส่งออกข้อมูลในรูปแบบเสียงที่มีความหมายตรงกับภาษามือที่โปรแกรมรับค่าไป หากโปรแกรมมีความผิดพลาด ให้ดำเนินการแก้ไข แล้วทดสอบว่าโปรแกรมสามารถใช้งานได้จริงอีกครั้ง