유즈키 유카리로 음성인식을 시험해봤다 잉여시연








보컬로이드가 4세대까지 나왔음에도 불구하고 아무래도 노래부르는 프로그램이다보니, 

음악에 익숙치않은 일반인한테는 여전히 다루기는 버거운 물건이었고

일반인들은 자기가 원하는 말을 잡담처럼 말하게해줄수있는 만담머신에 대한 수요를 원하게되었는데,

이런 수요에 맞게끔, 노래를 부르는 목적보다는 잡담 위주로 개조되어 나온것이 보이스로이드 시리즈로,

우리나라의 보이스웨어와도 비슷한 프로그램이다.







이렇게해서 나오게된 보이스로이드인 유즈키 유카리...

프로그램은 말 그대로 사용자가 입력한 문장을 사람이 말하듯이 유창하게 말해주는 프로그램으로,


보컬로이드의 경우엔 노래를 부르는 목적으로 만들어졌기때문에, 

이렇게 유창하게 말하기위해선 단어 하나하나의 음정을 모두 조절해줘야할정도로 귀찮은 작업을 요구했지만


보이스로이드는 그냥 단어입력만으로도 평범하게 말하는것처럼 이야기해주니,

열도에선 만담이라던가 게임실황에서 자주 쓰이고있으며, 

우리나라에선 특히 티비플에서 게임 실황할때 자주쓰기도 하는데요.

물론 창 밑의 설정으로 단어마다 음정을 따로 설정해주는것도 가능합니다.

상당히 범용적인 프로그램이죠






유즈키 유카리 직접 시연 장면

저렇게 사용자가 직접 입력한 단어를 그대로 불러주니

목소리가 필요할때 별달리 성우를 구할 필요도 없이, 간단한 여자 나레이터 한명을 쉽게 구할수 있는 셈이니다.


슬프게도 일본유저들을 대상으로 만들어져 일본어 엔진밖에 없다보니

일본어 발음은 굉장히 유창하게 발음하기에 완벽하기 그지없는 프로그램이지만

한국어를 시키기위해선 한국어 발음대로 일본어를 입력해야하는 어려움이 따르는데요.

위 스샷의 후반부는 강제로 한국어/한본어/급식체를 시켰을때의 

시연장면으로 상당히 어색하다는것을 알 수 있습니다[..]










유카리한테 강제적으로 한국어를 시켰을때의 발음

못들을 정도는 아니지만 초난강이나 아유미가 한국 처음왔을때의 

어색한 한국어 발음이 그대로 나오고있습니다.


국산 보컬로이드인 시유는 아직 보이스로이드가 나오질않아서 여기 연동할 수가 없더군요;;

시유도 보이스로이드가 나온다면 연동시켜서 유창한 한국어 발휘가 가능할텐데...






어쨌든 이렇게 사용자가 시키는 대로 고분고분 말하는 아주 음란한 프로그램[..]이다보니, 

어느덧 문특 한가지 생각이 들었는데요

사용자가 마이크로 말하는것을 그대로 따라말하게 한다면 어떨까?

그러니가 쉽게말하자면 유즈키 유카리한테 "사랑한다는 소리"를 제대로 듣고싶다는 것이죠.

더 쉽게 말하자면 "내 자신이 유즈키 유카리"가 되버리면 되는 겁니다[...]


검색해보니까 일본에도 이런 발상을 가진 사람이 있었는지, 

무려 관련 Namaroid라는 관련프로그램이 있었습니다.




원리는 대충 "인텔에서 만든 음성인식 프로그램"으로 마이크로 말하는 내용을 알아들음

-> 그 내용을 보이스로이드에 전달 -> 보이스로이드가 발음하게 해주는 프로그램입니다.



이 프로그램 쓰일 "인텔에서 만든 음성인식 프로그램"은 

Intel® Perceptual Computing SDK와  Intel® RealSense™ SDK 두가지가 있는데요

나마로이드는 두가지 전부 인식하긴하지만 리얼센스 SDK가 

인식율이 압도적으로 높으므로 이쪽을 쓰기로 하겠습니다



사이트에서 프리 다운로드를 누르고 대충 메일주소를 입력하면 메일주소로 프로그램 SDK가 날아옵니다



리얼센스 SDK는 유비쿼터스를 목적으로 만든 프로그램이라

딱히 음성인식말고도 카메라를 통한 사용자 인식을 포함해 여러 기괴한 프로그램이 많이 깔려있는 SDK이지만

우리가 필요한건 음성인식 뿐이므로 음성인식만 체크하고 나머지는 다 비활성화하도록 합시다

음성인식도 사용할 언어만 체크하면 1기가 내외로 받을수 있는데,

일단 일본어와 영어만 쓸꺼니 영어와 일본어만 체크하겠습니다




인텔 리얼센스 SDK를 설치하고 위에 사이트에서 NAMAROID Early Access RS3를 받고 실행한후

설치된 보이스 로이드(저는 체험판을 사용)와 나마로이드를 동시 실행시키면

나마로이드가 보이스로이드를 알아서 인식합니다

프로그램이 범용성이 좋아서 보이스로이드 말고도

통칭 윳크리 보이스라 불리는 소프토크(프리웨어)나 다른 일본 보이스웨어하고도 연동이 됩니다





그렇게 시연해본 영상

일본어를 발음했을때는 대체적으로 잘 알아듣길래

50초부터 한국어로 말해봤는데 한국어는 여전히 어설프게 알아듣네요;;;

한국어 엔진이 안깔려있어서 한국어는 기대하지말아야할듯





이렇게 사용자가 말하는 말하는 그대로 따라말해주는 프로그램은 일본에서도 현재진행형으로 많이 쓰이고있는데

위 영상은 어떤 일본유저가 나마로이드를 쓰지않고 인텔 리얼센스 SDK가 

바로 보이스로이드에게 직접 보내주도록 코드를 바꿔서 실행해본 영상으로,

나마로이드를 쓰는것보다 더 정확도가 높은것을 확인해볼수있습니다.


아니면 제가 일본어를 몰라서 발음이 이상하다보니 제 발음을 인식 못했던 것일지도 모르고요.

어쨌든 이 프로그램이든 저 프로그램이든 계속해서 버전업이 되고있고,

일본의 실황 문화는 계속해서 흥하는 추세다보니 음성인식 프로그램은 앞으로도 계속 발전해 나갈 것으로 보입니다.






사실 음성인식만 발전하면 뭔가 2%가 부족하고,

비주얼적으로도 뭔가 필요하다고 생각해서 여러가지 방법을 구상해봤는데

최근 Facerig라는 프로그램이 유행하고 있었더군요




[사용자 수듄이...?]



이 프로그램은 말 그대로 웹캠으로 보이는 사용자의 얼굴을 인식해서

화면의 캐릭터가 사용자의 표정을 따라하는 신기하고 특이한 프로그램입니다




표정인식률이 워낙에 높다보니, 이런식으로 아헤가오까지 가능합니다[..]









다만 아무래도 웹캠만 쓰다보니 집의 웹캠의 성능이 좋지않으면

잘못인식되서 캐릭터가 이렇게 사용자를 피하는 현상이 나타납니다[..]



지누님의 영상이 대표적인데, 1분 7초부터

------------------------------------------------------------

"이렇게 못볼걸 봤다는 듯이 고개를 뒤로 젖히면서 저를 기피해요

소개팅에 나갔는데 여자가 갑자기 내얼굴을 보고 집에 가고싶어가지고 아래쪽 핸드폰 만지작거리면서

주선자한테 왜 이딴 사람을 소개시켜줬냐고뭐라하는거 같애... 

-중략-

아니 나는 지금 이 똑바로 너구리를 보고있는데, 

얘는 점점 고개를 비틀면서  위를 쳐다보거나 아래를 쳐다보거나 마약한거마냥

내가 뭘 그렇게 잘못했길래 제가 왜 이 프로그램을 만오천원이나 주고 자괴감을 샀는지 모르겠네요 " 

------------------------------------------------------------

슬프게도 저도 10년된 웹캠을 꺼내서 써보니 비슷한 현상이 일어나는 바람에 

로지텍 웹캠으로 하나 새로 장만했습니다;;




거기다 최근 페이스리그가 Live2D까지 지원해서 같이 구입하면

이런식으로 애니캐릭터를 실시간으로 움직여주는 것도 가능합니다





그렇게 Facerig의 Live2D기능을 써서 구현해본 유즈키 유카리.

표정도 다양해서 웃을수도, 부끄러워할수도, 화낼수도, 얀데레가 될수도까지 있는데

여기서 중요한건


위에서 설명했던 음성인식 프로그램과 페이스 리그를 합치면

사용자는 컴퓨터 상에서 "유즈키 유카리" 그 자체가 되는것이 가능합니다

최근 VR이다 인공지능이 뭐다 기술발전으로 말이 많은데

사실 사용자 본인이 직접 컴퓨터 세상의 캐릭터가 되는 것만큼의 가상 현실은 없는 법입니다.

실황하시는 분들도 일일히 대사를 쳐서 보이스로이드로 발음시킬 필요가 없이

말만으로도 간단하게 실황하는것도 가능하고,

여기에 더더욱 발전된다면 아프리카에서 게임방송할때 얼굴, 목소리 다 공개하지않고 

유카리 보이스만으로도 게임BJ가 되는 것도 가능해지게 되는겁니다.









..... 생각해보니 끔찍하네요.

이 프로젝트는 폐기하도록 하겠습니다.


덧글

  • ㅇㅇ 2016/04/03 17:27 # 삭제 답글

    우리 일반인님은 기술을 발전시키는 것을 폐기라고 하시는 군요....
  • 할랄 2016/04/03 17:46 # 삭제 답글

    주인장(은)는 자신의 힘이 두려워한 나머지 자신을 봉인하고 영원한 잠에 빠졌다----------.
  • 전뇌조 2016/04/04 07:59 #

    공감
  • 마을사람Np 2016/04/03 17:46 # 삭제 답글

    전세계의 아저씨가 유즈키유카리가 되는 날이 온건가
    - 유카리 실황중 마키 왈-
  • 한량 2016/04/03 18:23 # 답글

    이 곳에서 유카리씨를 만나다니 참으로 반갑... 긴 한데...
    랄까 유카리씨에게 무슨 말을 시키시는 겁니까 주인장님(...)
  • 철곡괭이 2016/04/03 20:18 # 답글

    사실 유카리는 전 세계의 아재, 오덕들을 현혹시켜 이들을 중심으로 인류의 지배를 꿈꾸고 있다 카더라. 이는 니코동, 티비플, 유투브에서도 쉽게 확인 가능하다 카더라
  • 리버티 2016/04/03 21:27 # 삭제 답글

    그래도 엄청나잖아?!
  • 듀라한 2016/04/03 21:50 # 답글

    모니터에 보이는 모두가 2차원이 될 수 있는 꿈의 사기극!
  • TOT 2016/04/04 00:24 # 답글

    네다음 일반인
  • 호옵 2016/04/04 03:21 # 삭제 답글

    상당히 괜찮은 프로젝트군요.
  • 무플방지 2016/04/04 10:11 # 삭제 답글

    앙 김OT
  • TA환상 2016/04/04 11:21 # 답글

    재밌어 보이는데 실행에 옮겨보시는 건 어떠신지요 ㅎㅎ
  • Megane 2016/04/04 13:04 # 답글

    하나도 모르겠지만 뭔가 엄청나보입니다.(응?)
  • 가녀린 제비갈매기 2016/04/04 17:38 # 답글

    다음팟에 있는 영상들 출처밝히고 공유해도 되나요?
  • megatonjang 2016/04/04 22:36 #

    중간에 유카리가 한국어만 말하는 영상은 제 영상이 아니라서, 저것만 출저밝혀주시고 나머지는 자유펌입니다
  • 가녀린 제비갈매기 2016/04/04 22:39 #

    감사합니다.
  • 이름이름 2016/04/05 00:34 # 삭제 답글

    심심이와 같은 인공지능이랑 어케어케 잘 합치면
    사용자가 얘기한걸 유즈키유카리가 대답도 할수 있겠네요.
    음성인식한걸 심심이에 입력 심심이가 대답한 텍스트를 유즈키가 발음.
    이런걸 자동으로요.
    물론 진짜 심심이 말고 인공지능 같은 api가 있으면 말이죠 ㅎㄹ
  • 이름이름 2016/04/05 00:36 # 삭제

    "유즈키 널 좋아해" 라고 마이크에 말하면 인공지능으로 유즈키가
    "난 싫은데." 라고 대답하는 뭐 그런 느낌으로 말입니다 ㅎㅎ
  • megatonjang 2016/04/05 19:12 #

    좋은 아이디어라서 한번 일본에도 있지않을까 검색해봤는데
    일본에서도 chatchat이라고해서 인공지능캐릭터를 상대로 음성인식->글자입력->대화하는 프로그램이 진짜있더군요 ㄷㄷ;
    아이폰의 Siri를 응용한 프로그램같습니다. 나중에 한번다뤄봐야할듯

    https://webmidilab.appspot.com/chatchat/
  • 아힝흥힝 2016/04/05 13:47 # 답글

    시유는 안의사람이 성공적인 그분이랑 놀다가 골로가서 가망이 없지 않나요. 애도(...)
  • Bf050505 2016/04/05 14:08 # 삭제 답글

    보이스로이드의 체험판은 어디서 받을 수 있나요?
  • megatonjang 2016/04/05 19:17 #

    http://bbs.ivocaloid.com/thread-147154-1-1.html

    중국 바이두에서 15일제한으로 공유하고있던걸 찾았습니다
    마지막에 mf4r 라고 써진 자료입니다
  • ㅇㅇ 2016/04/05 18:59 # 삭제 답글

    이런건 많긴 한데 간편하게 사용화 된건 거의 없어서 역으로 짜증나는 느낌...
    그림의 떡이 너무 많아
  • 어라라 2016/07/09 14:10 # 삭제 답글

    보이스로이드 체험판은 어디서 구하죠?
  • MINITER 2016/07/11 01:20 # 삭제 답글

    으아ㅏㅇ아ㅏ악 나마로이드가 안되애애앳
  • 으음 2016/11/02 15:34 # 삭제 답글

    확실한건 아직 감정을 실어넣는 단계까지는 안되나
  • 저기... 2016/11/25 22:23 # 삭제 답글

    나마로이드가 보이스로이드를 인식안하는데 어떻게 하죠?
  • megatonjang 2016/11/28 20:39 #

    제작자가 인식이 안되는 사람을 대비해서
    사이트에서 여러개의 버전을 제작해놨습니다.
    다른버전으로 시도해보세요
    http://ch.nicovideo.jp/StackGamesEmpire/blomaga?page=3
    http://ch.nicovideo.jp/StackGamesEmpire/blomaga?page=2
  • 그런데... 2016/12/01 20:38 # 삭제 답글

    둘다 voiceroid의 텍스트윈도우 취득에 실패했습니다 라고 뜨는데 어떻게 하죠?
  • megatonjang 2016/12/02 00:25 #

    저도 같은 현상을 겪었는데 저는 다른 버전으로 실행하니 됬었습니다.

    보이스로이드만으로는 문제가 어떤건지 모르니 한번 softalk도 깔아보시고 실험해보세요
    http://www35.atwiki.jp/softalk/pages/15.html

    두개의 프로그램을 동시 실행해야하며
    운영체제버전도 맞아야합니다.

    아마 저보다는 이 사이트를 번역기돌려서 보시는게 더 나을것같습니다만
    http://ch.nicovideo.jp/StackGamesEmpire/blomaga/ar944481
  • A_Fox 2017/12/26 18:31 # 답글

    나마로이드가 타미야스토모에EX를 인식하지 못하는건 버전을 바꿔서 설치해보려 합니다만
    정작 제일 중요한 인텔 리얼센스 sdk 설치가 안됍니다.
    카메라가 없어서 설치에 실패했다는 메세지가 뜨는데...음성인식 하는데 카메라가 왜 필요한걸까요. 방법이 없을까요? sdk설치만 무사히 성공하면 될 것 같은데.
댓글 입력 영역
* 비로그인 덧글의 IP 전체보기를 설정한 이글루입니다.