출처 : Xboxuk

또한 키넥트를 개발하기 위한 SDK와 Tool을 제공하여, 많은 개발자들이 키넥트 프로그래밍을 할 수 있도록 지원해 줍니다.
(XBox용 Kinect가 아닌 Window용 Kinect도 있습니다.)

이를 이용하여 3D비전, 스켈레톤 트래킹, 오디오 처리, 음성 인식, 제스처 인식 등을 쉽게 할 수가 있습니다. 출처 : MicroSoft

이번 컨텐츠에서는 Processing에서 openNi 라이브러리를 사용하여 Kinect의 카메라 인식을 이용한 스켈레톤 트래킹을 해 보고, 손의 위치에 따라 LED 바를 제어해 보겠습니다.
 

 

#include <SoftwareSerial.h>

SoftwareSerial BTSerial(0, 1); // 
const int ledCount = 10; // LED 바그래프에 내장된 LED 갯수를 선언합니다.

int ledPins[] = { 
  2, 3, 4, 5, 6, 7, 8, 9, 10, 11 };   
 // LED 바그래프의 각각의 LED와 연결된 핀번호를 배열로 선언합니다.


void setup() {
  for (int thisLed = 0; thisLed < ledCount; thisLed++) { //배열된 LED핀을 출력으로 설정합니다.
    pinMode(ledPins[thisLed], OUTPUT); 
  }
 
  BTSerial.begin(9600);
  Serial.begin(9600);
}

void loop() {  
  if(BTSerial.available()){  // 블루투스 통신이 가능하면
    byte data = BTSerial.read();
    Serial.println(data);
    // 블루투스에서 값을 받아옵니다.
 
     // 배열된 LED에 아래의 조건을 반복합니다.
    for (int thisLed = 0; thisLed < ledCount; thisLed++) {
      // 배열된 LED가 받아온 값보다 작으면
      // 할당된 값의 LED를 켭니다.
      if (thisLed < data) {
        digitalWrite(ledPins[thisLed], HIGH);
      } 
      // 그렇지 않으면 LED를 끕니다.
      else {
        digitalWrite(ledPins[thisLed], LOW); 
      }
    }
  }
}

/* --------------------------------------------------------------------------
 * SimpleOpenNI User Test
 * --------------------------------------------------------------------------
 * Processing Wrapper for the OpenNI/Kinect 2 library
 * http://code.google.com/p/simple-openni
 * --------------------------------------------------------------------------
 * prog:  Max Rheiner / Interaction Design / Zhdk / http://iad.zhdk.ch/
 * date:  12/12/2012 (m/d/y)
 * ----------------------------------------------------------------------------
 */
import processing.serial.*;
import java.awt.*;
import java.awt.event.KeyEvent;
import SimpleOpenNI.*;

Serial myPort;
PVector tempPos = new PVector();

SimpleOpenNI  context;
color[]       userClr = new color[] { 
  color(255, 0, 0), 
  color(0, 255, 0), 
  color(0, 0, 255), 
  color(255, 255, 0), 
  color(255, 0, 255), 
  color(0, 255, 255)
};
PVector com = new PVector();                                

void setup()
{
  println(Serial.list());

  String portName = Serial.list()[3];
  myPort = new Serial(this, portName, 9600);

  size(640, 480);

  context = new SimpleOpenNI(this);
  if (context.isInit() == false)
  {
    println("Can't init SimpleOpenNI, maybe the camera is not connected!"); 
    exit();
    return;
  }

  // enable depthMap generation 
  context.enableDepth();

  // enable skeleton generation for all joints
  context.enableUser();

  background(200, 0, 0);

  stroke(0, 0, 255);
  strokeWeight(3);
  smooth();
}

void draw()
{
  // 카메라를 띄웁니다.
  context.update();

  image(context.userImage(), 0, 0);

  // 사람이 인식이 되면 목록에 추가합니다..
  int[] userList = context.getUsers();

  // 인식된 사람 수만큼 스켈레톤을 그려줍니다. 
  for (int i=0; i<userList.length; i++)
  {
    if (context.isTrackingSkeleton(userList[i]))
    {
      stroke(userClr[ (userList[i] - 1) % userClr.length ] );
      drawSkeleton(userList[i]);      
    }      

    if (context.getCoM(userList[i], com))
    {
      context.convertRealWorldToProjective(com, com2d);
      stroke(100, 255, 0);
      strokeWeight(1);
      beginShape(LINES);
      vertex(com2d.x, com2d.y - 5);
      vertex(com2d.x, com2d.y + 5);

      vertex(com2d.x - 5, com2d.y);
      vertex(com2d.x + 5, com2d.y);
      endShape();

      fill(0, 255, 100);
      text(Integer.toString(userList[i]), com2d.x, com2d.y);
    }
  }
}

// 스켈레톤을 그리는 함수(인식된 사람마다 각각 스켈레톤을 그립니다.)
void drawSkeleton(int userId)
{
  try {
    // PVector를 선언해서 오른손의 관절을 저장해 둡니다.
   PVector jointRight = new PVector();
   context.getJointPositionSkeleton(userId, SimpleOpenNI.SKEL_RIGHT_HAND, jointRight);
    
  // PVector에 관절을 넣으면 해당 관절의 x, y, z값을 받아 올수 있습니다.
  // y값(높이)를 이용해 오른손의 높이를 측정하여 일정이상 높이위로 올렸을 경우
  // x값(좌우)를 받아 바그래프의 LED 수의 맞게(10개) 값을 재분배 하여 블루투스를 통해 아두이노로 전송합니다.
  // PVector의 좌표 값들은 float값이므로 값 재분배를 한뒤 INT값으로 바꿔 줍니다.
  if(jointRight.y > 100){
    float temp = map(jointRight.x, -400, 400, 0, 10); // PVector의 X값 재분배
    int imp = (int)temp; // INT로 변환
    println(imp);
    myPort.write(imp); // 블루투스를 통해 아두이노로 전송
  }
 
  }
  catch(Exception e) {
  }

  context.drawLimb(userId, SimpleOpenNI.SKEL_HEAD, SimpleOpenNI.SKEL_NECK);

  context.drawLimb(userId, SimpleOpenNI.SKEL_NECK, SimpleOpenNI.SKEL_LEFT_SHOULDER);
  context.drawLimb(userId, SimpleOpenNI.SKEL_LEFT_SHOULDER, SimpleOpenNI.SKEL_LEFT_ELBOW);
  context.drawLimb(userId, SimpleOpenNI.SKEL_LEFT_ELBOW, SimpleOpenNI.SKEL_LEFT_HAND);

  context.drawLimb(userId, SimpleOpenNI.SKEL_NECK, SimpleOpenNI.SKEL_RIGHT_SHOULDER);
  context.drawLimb(userId, SimpleOpenNI.SKEL_RIGHT_SHOULDER, SimpleOpenNI.SKEL_RIGHT_ELBOW);
  context.drawLimb(userId, SimpleOpenNI.SKEL_RIGHT_ELBOW, SimpleOpenNI.SKEL_RIGHT_HAND);

  context.drawLimb(userId, SimpleOpenNI.SKEL_LEFT_SHOULDER, SimpleOpenNI.SKEL_TORSO);
  context.drawLimb(userId, SimpleOpenNI.SKEL_RIGHT_SHOULDER, SimpleOpenNI.SKEL_TORSO);

  context.drawLimb(userId, SimpleOpenNI.SKEL_TORSO, SimpleOpenNI.SKEL_LEFT_HIP);
  context.drawLimb(userId, SimpleOpenNI.SKEL_LEFT_HIP, SimpleOpenNI.SKEL_LEFT_KNEE);
  context.drawLimb(userId, SimpleOpenNI.SKEL_LEFT_KNEE, SimpleOpenNI.SKEL_LEFT_FOOT);

  context.drawLimb(userId, SimpleOpenNI.SKEL_TORSO, SimpleOpenNI.SKEL_RIGHT_HIP);
  context.drawLimb(userId, SimpleOpenNI.SKEL_RIGHT_HIP, SimpleOpenNI.SKEL_RIGHT_KNEE);
  context.drawLimb(userId, SimpleOpenNI.SKEL_RIGHT_KNEE, SimpleOpenNI.SKEL_RIGHT_FOOT);
  // 프로세싱을 실행 시킨 화면에 각 관절을 그려줍니다.
}

// -----------------------------------------------------------------
// SimpleOpenNI events

void onNewUser(SimpleOpenNI curContext, int userId)
// 인식된 사람의 userno을 지정한 후 스켈레톤을 그려줍니다.
{
  println("onNewUser - userId: " + userId);
  println("\tstart tracking skeleton");

  curContext.startTrackingSkeleton(userId);
}

void onLostUser(SimpleOpenNI curContext, int userId)
// 인식된 사람이 화면에서 벗어 낫을 경우
{
  println("onLostUser - userId: " + userId);
}

void onVisibleUser(SimpleOpenNI curContext, int userId)
{
  //println("onVisibleUser - userId: " + userId);
}


void keyPressed()
{
  switch(key)
  {
  case ' ':
    context.setMirror(!context.mirror());
    break;
  }
}  

if(BTSerial.available()){  // 블루투스 통신이 가능하면
    byte data = BTSerial.read();
    Serial.println(data);
    // 블루투스에서 값을 받아옵니다.
 
     // 배열된 LED에 아래의 조건을 반복합니다.
    for (int thisLed = 0; thisLed < ledCount; thisLed++) {
      // 배열된 LED가 받아온 값보다 작으면
      // 할당된 값의 LED를 켭니다.
      if (thisLed < data) {
        digitalWrite(ledPins[thisLed], HIGH);
      } 
      // 그렇지 않으면 LED를 끕니다.
      else {
        digitalWrite(ledPins[thisLed], LOW); 
      }
    }
  }

  println(Serial.list());

  String portName = Serial.list()[3];
  myPort = new Serial(this, portName, 9600);

  이번 소스에서 제일 중요한 부분입니다. 사람의 오른손을 찾아서 위치값을 PVector에 저장 하고, 오른손의 x, y좌표값을 이용해서 아두이노의 LED바를 제어합니다.

오른손의 y값이 일정 이상 높이로 올라갔을 경우(여기서는 100 이상으로 잡았습니다.) 오른손의 x좌표의 값을 받아 0~10 범위에 맞게 값을 재분배 하고 이 재분배 한 값을 인트로 바꿔준 뒤 아두이노로 보냅니다.
(0~10은 아두이노와 연결된 LED바의 LED 갯수(10개)입니다.)
(위 소스에서는 -400~400으로 x좌표 값 범위를 지정해줬는데 초과하거나 미만일 경우 0~10 범위 밖에 수가 나올수 있습니다. 그러나 아두이노에서 초과하거나 미만인 숫자들은 다 무시하기 때문에 신경 안쓰셔도 됩니다. 혹시 손의 움직이는 범위를 작게하거나 늘리고 싶으시면 map함수 안에 x좌표 범위를 수정하시면 됩니다.)
  프로세싱을 실행 하면 나오는 화면에 사람이 인식이 되면 사람의 스켈레톤을 그려주는 부분입니다. 각각의 인식된 점을 사람의 신체에 맞게 이어서 (목과 어꺠, 어깨와 팔꿈치 등) 사람의 신체 구조와 맞게 스켈레톤을 그립니다.
(잘못 이어줄 경우 스켈레톤이 이상하게 만들어 집니다. 예제 있는 소스를 그대로 사용하시거나 아니면 인식되는 점들을 정확하게 이해하고 연결하시기 바랍니다.)