보컬로이드가 4세대까지 나왔음에도 불구하고 아무래도 노래부르는 프로그램이다보니,
음악에 익숙치않은 일반인한테는 여전히 다루기는 버거운 물건이었고
일반인들은 자기가 원하는 말을 잡담처럼 말하게해줄수있는 만담머신에 대한 수요를 원하게되었는데,
이런 수요에 맞게끔, 노래를 부르는 목적보다는 잡담 위주로 개조되어 나온것이 보이스로이드 시리즈로,
우리나라의 보이스웨어와도 비슷한 프로그램이다.
이렇게해서 나오게된 보이스로이드인 유즈키 유카리...
프로그램은 말 그대로 사용자가 입력한 문장을 사람이 말하듯이 유창하게 말해주는 프로그램으로,
보컬로이드의 경우엔 노래를 부르는 목적으로 만들어졌기때문에,
이렇게 유창하게 말하기위해선 단어 하나하나의 음정을 모두 조절해줘야할정도로 귀찮은 작업을 요구했지만
보이스로이드는 그냥 단어입력만으로도 평범하게 말하는것처럼 이야기해주니,
열도에선 만담이라던가 게임실황에서 자주 쓰이고있으며,
우리나라에선 특히 티비플에서 게임 실황할때 자주쓰기도 하는데요.
물론 창 밑의 설정으로 단어마다 음정을 따로 설정해주는것도 가능합니다.
상당히 범용적인 프로그램이죠
유즈키 유카리 직접 시연 장면
저렇게 사용자가 직접 입력한 단어를 그대로 불러주니
목소리가 필요할때 별달리 성우를 구할 필요도 없이, 간단한 여자 나레이터 한명을 쉽게 구할수 있는 셈이니다.
슬프게도 일본유저들을 대상으로 만들어져 일본어 엔진밖에 없다보니
일본어 발음은 굉장히 유창하게 발음하기에 완벽하기 그지없는 프로그램이지만
한국어를 시키기위해선 한국어 발음대로 일본어를 입력해야하는 어려움이 따르는데요.
위 스샷의 후반부는 강제로 한국어/한본어/급식체를 시켰을때의
시연장면으로 상당히 어색하다는것을 알 수 있습니다[..]
유카리한테 강제적으로 한국어를 시켰을때의 발음
못들을 정도는 아니지만 초난강이나 아유미가 한국 처음왔을때의
어색한 한국어 발음이 그대로 나오고있습니다.
국산 보컬로이드인 시유는 아직 보이스로이드가 나오질않아서 여기 연동할 수가 없더군요;;
시유도 보이스로이드가 나온다면 연동시켜서 유창한 한국어 발휘가 가능할텐데...
어쨌든 이렇게 사용자가 시키는 대로 고분고분 말하는 아주 음란한 프로그램[..]이다보니,
어느덧 문특 한가지 생각이 들었는데요
사용자가 마이크로 말하는것을 그대로 따라말하게 한다면 어떨까?
그러니가 쉽게말하자면 유즈키 유카리한테 "사랑한다는 소리"를 제대로 듣고싶다는 것이죠.
더 쉽게 말하자면 "내 자신이 유즈키 유카리"가 되버리면 되는 겁니다[...]
검색해보니까 일본에도 이런 발상을 가진 사람이 있었는지,
무려 관련 Namaroid라는 관련프로그램이 있었습니다.
원리는 대충 "인텔에서 만든 음성인식 프로그램"으로 마이크로 말하는 내용을 알아들음
-> 그 내용을 보이스로이드에 전달 -> 보이스로이드가 발음하게 해주는 프로그램입니다.
이 프로그램 쓰일 "인텔에서 만든 음성인식 프로그램"은
Intel® Perceptual Computing SDK와 Intel® RealSense™ SDK 두가지가 있는데요
나마로이드는 두가지 전부 인식하긴하지만 리얼센스 SDK가
인식율이 압도적으로 높으므로 이쪽을 쓰기로 하겠습니다
리얼센스 인텔 SDK : https://software.intel.com/en-us/intel-realsense-sdk
사이트에서 프리 다운로드를 누르고 대충 메일주소를 입력하면 메일주소로 프로그램 SDK가 날아옵니다
리얼센스 SDK는 유비쿼터스를 목적으로 만든 프로그램이라
딱히 음성인식말고도 카메라를 통한 사용자 인식을 포함해 여러 기괴한 프로그램이 많이 깔려있는 SDK이지만
우리가 필요한건 음성인식 뿐이므로 음성인식만 체크하고 나머지는 다 비활성화하도록 합시다
음성인식도 사용할 언어만 체크하면 1기가 내외로 받을수 있는데,
일단 일본어와 영어만 쓸꺼니 영어와 일본어만 체크하겠습니다
인텔 리얼센스 SDK를 설치하고 위에 사이트에서 NAMAROID Early Access RS3를 받고 실행한후
설치된 보이스 로이드(저는 체험판을 사용)와 나마로이드를 동시 실행시키면
나마로이드가 보이스로이드를 알아서 인식합니다
프로그램이 범용성이 좋아서 보이스로이드 말고도
통칭 윳크리 보이스라 불리는 소프토크(프리웨어)나 다른 일본 보이스웨어하고도 연동이 됩니다
그렇게 시연해본 영상
일본어를 발음했을때는 대체적으로 잘 알아듣길래
50초부터 한국어로 말해봤는데 한국어는 여전히 어설프게 알아듣네요;;;
한국어 엔진이 안깔려있어서 한국어는 기대하지말아야할듯
이렇게 사용자가 말하는 말하는 그대로 따라말해주는 프로그램은 일본에서도 현재진행형으로 많이 쓰이고있는데
위 영상은 어떤 일본유저가 나마로이드를 쓰지않고 인텔 리얼센스 SDK가
바로 보이스로이드에게 직접 보내주도록 코드를 바꿔서 실행해본 영상으로,
나마로이드를 쓰는것보다 더 정확도가 높은것을 확인해볼수있습니다.
아니면 제가 일본어를 몰라서 발음이 이상하다보니 제 발음을 인식 못했던 것일지도 모르고요.
어쨌든 이 프로그램이든 저 프로그램이든 계속해서 버전업이 되고있고,
일본의 실황 문화는 계속해서 흥하는 추세다보니 음성인식 프로그램은 앞으로도 계속 발전해 나갈 것으로 보입니다.
사실 음성인식만 발전하면 뭔가 2%가 부족하고,
비주얼적으로도 뭔가 필요하다고 생각해서 여러가지 방법을 구상해봤는데
최근 Facerig라는 프로그램이 유행하고 있었더군요
[사용자 수듄이...?]
이 프로그램은 말 그대로 웹캠으로 보이는 사용자의 얼굴을 인식해서
화면의 캐릭터가 사용자의 표정을 따라하는 신기하고 특이한 프로그램입니다
표정인식률이 워낙에 높다보니, 이런식으로 아헤가오까지 가능합니다[..]
다만 아무래도 웹캠만 쓰다보니 집의 웹캠의 성능이 좋지않으면
잘못인식되서 캐릭터가 이렇게 사용자를 피하는 현상이 나타납니다[..]
지누님의 영상이 대표적인데, 1분 7초부터
------------------------------------------------------------
"이렇게 못볼걸 봤다는 듯이 고개를 뒤로 젖히면서 저를 기피해요
소개팅에 나갔는데 여자가 갑자기 내얼굴을 보고 집에 가고싶어가지고 아래쪽 핸드폰 만지작거리면서
주선자한테 왜 이딴 사람을 소개시켜줬냐고뭐라하는거 같애...
-중략-
아니 나는 지금 이 똑바로 너구리를 보고있는데,
얘는 점점 고개를 비틀면서 위를 쳐다보거나 아래를 쳐다보거나 마약한거마냥
내가 뭘 그렇게 잘못했길래 제가 왜 이 프로그램을 만오천원이나 주고 자괴감을 샀는지 모르겠네요 "
------------------------------------------------------------
슬프게도 저도 10년된 웹캠을 꺼내서 써보니 비슷한 현상이 일어나는 바람에
로지텍 웹캠으로 하나 새로 장만했습니다;;
거기다 최근 페이스리그가 Live2D까지 지원해서 같이 구입하면
이런식으로 애니캐릭터를 실시간으로 움직여주는 것도 가능합니다
그렇게 Facerig의 Live2D기능을 써서 구현해본 유즈키 유카리.
표정도 다양해서 웃을수도, 부끄러워할수도, 화낼수도, 얀데레가 될수도까지 있는데
여기서 중요한건
위에서 설명했던 음성인식 프로그램과 페이스 리그를 합치면
사용자는 컴퓨터 상에서 "유즈키 유카리" 그 자체가 되는것이 가능합니다
최근 VR이다 인공지능이 뭐다 기술발전으로 말이 많은데
사실 사용자 본인이 직접 컴퓨터 세상의 캐릭터가 되는 것만큼의 가상 현실은 없는 법입니다.
실황하시는 분들도 일일히 대사를 쳐서 보이스로이드로 발음시킬 필요가 없이
말만으로도 간단하게 실황하는것도 가능하고,
여기에 더더욱 발전된다면 아프리카에서 게임방송할때 얼굴, 목소리 다 공개하지않고
유카리 보이스만으로도 게임BJ가 되는 것도 가능해지게 되는겁니다.
..... 생각해보니 끔찍하네요.
이 프로젝트는 폐기하도록 하겠습니다.
덧글
- 유카리 실황중 마키 왈-
랄까 유카리씨에게 무슨 말을 시키시는 겁니까 주인장님(...)
사용자가 얘기한걸 유즈키유카리가 대답도 할수 있겠네요.
음성인식한걸 심심이에 입력 심심이가 대답한 텍스트를 유즈키가 발음.
이런걸 자동으로요.
물론 진짜 심심이 말고 인공지능 같은 api가 있으면 말이죠 ㅎㄹ
"난 싫은데." 라고 대답하는 뭐 그런 느낌으로 말입니다 ㅎㅎ
일본에서도 chatchat이라고해서 인공지능캐릭터를 상대로 음성인식->글자입력->대화하는 프로그램이 진짜있더군요 ㄷㄷ;
아이폰의 Siri를 응용한 프로그램같습니다. 나중에 한번다뤄봐야할듯
https://webmidilab.appspot.com/chatchat/
중국 바이두에서 15일제한으로 공유하고있던걸 찾았습니다
마지막에 mf4r 라고 써진 자료입니다
그림의 떡이 너무 많아
사이트에서 여러개의 버전을 제작해놨습니다.
다른버전으로 시도해보세요
http://ch.nicovideo.jp/StackGamesEmpire/blomaga?page=3
http://ch.nicovideo.jp/StackGamesEmpire/blomaga?page=2
보이스로이드만으로는 문제가 어떤건지 모르니 한번 softalk도 깔아보시고 실험해보세요
http://www35.atwiki.jp/softalk/pages/15.html
두개의 프로그램을 동시 실행해야하며
운영체제버전도 맞아야합니다.
아마 저보다는 이 사이트를 번역기돌려서 보시는게 더 나을것같습니다만
http://ch.nicovideo.jp/StackGamesEmpire/blomaga/ar944481
정작 제일 중요한 인텔 리얼센스 sdk 설치가 안됍니다.
카메라가 없어서 설치에 실패했다는 메세지가 뜨는데...음성인식 하는데 카메라가 왜 필요한걸까요. 방법이 없을까요? sdk설치만 무사히 성공하면 될 것 같은데.