项目需求，需要使用讯飞的语音识别接口，将微信小程序上传的录音文件识别成文字返回
首先去讯飞开放平台中申请开通语音识别功能
在这里面下载sdk,然后解压，注意appid与sdk是关联的，appid在初始化接口时候需要
由于是在Linux上开发，所以需要将.so文件和.dll文件上传到Linux服务器上安装的jdk/lib/amd64里面，要不会报引擎错误，window环境直接放在项目跟目录就行.
由于微信小程序上传的文件格式是silk的，而讯飞接口能识别wav 格式的文件，所以需要将小程序上传的silk文件转成wav的格式
由于小程序上传的silk文件是变异的silk（小程序上传的silk文件中在编码头多添加了一个字节）文件，所以需要将他处理成正常的silk文件
由于项目是运行在Linux上，所以写了一个简单的shell脚本以供java程序调用处理
这个脚本的作用是删除输入文件中#！SILK_V3所在行的第一个字节
好了，文件处理完了，现在就是格式转换了
经调研，发现一般是先将silk文件转换成pcm，这里使用的是Kronopath/SILKCodec，下载到linux服务器上，然后在SILK_SDK_SRC_ARM里执行
make lib
make decoder
执行之后会生成命令行工具decoder
使用方法：
./decoder 要转换文件.silk 要生成文件.pcm
执行完上面代码就会生成.pcm文件，然后就是将pcm转成wav格式了，这里使用的是ffmpeg,没有安装的可以参考一下
ubuntu14.04安装ffmpeg：http://blog.csdn.net/leezha/article/details/77849286
阿里云linux安装ffmpeg:http://blog.csdn.net/baijinwen/article/details/77235725
安装ffmpeg可能出现的问题：http://blog.51cto.com/zlyang/1709508
为了保证语音识别的准确性，使用一下代码识别生成的wav文件，讯飞接口识别结果最好
ffmpeg -f s16le -ar 12k -ac 2 -i /path/to/pcm -f wav -ar 16k -ac 1 /path/to/wav
下面就是java的讯飞语音接口开发了，直接贴代码
package com.example.utils; import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.List; /** * Created by songzs on 2017/12/12.
* 封装的转码工具类 */ public class FFMPEGUtil { public static String silk2Pcm(String inputfile,String outputfile){ List<String> commend = new ArrayList<String>(); commend.add("/usr/local/silk2pcm_tool/SILKCodec/SILK_SDK_SRC_ARM/./decoder"); commend.add(inputfile); commend.add(outputfile); StringBuffer test=new StringBuffer(); for(int i=0;i<commend.size();i++) test.append(commend.get(i)+" "); System.out.println("decoder命令:"+test+""); exec(test); return outputfile; } public static String pcm2Wav(String inputfile,String outputfile){ //ffmpeg -f s16le -ar 12k -ac 2 -i /path/to/pcm -f wav -ar 16k -ac 1 /path/to/wav List<String> commend = new ArrayList<String>(); commend.add("ffmpeg"); commend.add("-f"); commend.add("s16le"); commend.add("-ar"); commend.add("12k"); commend.add("-ac"); commend.add("2"); commend.add("-i"); commend.add(inputfile); commend.add("-f"); commend.add("wav"); commend.add("-ar"); commend.add("16k"); commend.add("-ac"); commend.add("1"); commend.add(outputfile); StringBuffer test=new StringBuffer(); for(int i=0;i<commend.size();i++) test.append(commend.get(i)+" "); System.out.println("ffmpeg命令:"+test+""); exec(test); return outputfile; } public static String silk_remove_word(String filepath){ List<String> commend = new ArrayList<String>(); commend.add("/home/workspace/./test.sh"); commend.add(filepath); StringBuffer test=new StringBuffer(); for(int i=0;i<commend.size();i++) test.append(commend.get(i)+" "); System.out.println("test命令:"+test+""); exec(test); return filepath; } private static void exec(StringBuffer test){ try { Runtime rt = Runtime.getRuntime(); Process proc = rt.exec(test.toString()); InputStream stderr = proc.getErrorStream(); InputStreamReader isr = new InputStreamReader(stderr); BufferedReader br = new BufferedReader(isr); String line = null; while ( (line = br.readLine()) != null) ; } catch (Exception e) { e.printStackTrace(); } } }
语音结果处理工具类（代码简陋，见谅）
package com.example.utils;
import com.alibaba.fastjson.JSON;
import java.util.List;
import java.util.Map;
/**
* Created by songzs on 2017/12/15.
*/
public class SR2Words {
public static String sr2words(String jsonString){
StringBuffer sb = new StringBuffer();
String[] split = jsonString.split("}]}]}");
for (int i = 0; i < split.length; i++) {
String s = split[i] + "}]}]}";
System.out.println(s);
Map parse = (Map) JSON.parse(s);
List<Map> ws = (List<Map>) parse.get("ws");
for (int i1 = 0; i1 < ws.size(); i1++) {
List<Map> cw = (List<Map>)ws.get(i1).get("cw");
String w = cw.get(0).get("w").toString();
sb.append(w);
}
}
return sb.toString();
}
}
小程序录音文件上传与讯飞语音识别
package com.example.service.impl;
import com.example.service.XunFeiService;
import com.example.utils.FFMPEGUtil;
import com.example.utils.SR2Words;
import com.example.utils.SRTool;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;
import java.io.File;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
import java.util.UUID;
/**
* Created by songzs on 2017/12/12.
*/
@Service
public class XunFeiServiceImpl implements XunFeiService {
@Override
public Map<String,String> speechRecognition(MultipartFile multi) {
Map<String,String> map =new HashMap<>();
UUID uuid = UUID.randomUUID();
String path = "/home/workspace/audio";
String fileName = uuid.toString()+".silk";
//临时silk文件
String tempFile = "/home/workspace/audio/"+uuid.toString()+".silk";
//中间过渡pcm文件
String pcmFile = "/home/workspace/audio/"+uuid.toString()+".pcm";
//可识别的wav文件
String wavFile = "/home/workspace/audio/"+uuid.toString()+".wav";
File file = new File(path,fileName);
try {
multi.transferTo(file);
} catch (IOException e) {
e.printStackTrace();
}
/*移除临时silk文件首字节start*/
//标准silk文件
String silkFile = FFMPEGUtil.silk_remove_word(tempFile);
/*移除临时silk文件首字节end*/
//silk文件转换成pcm文件
String silk2Pcm = FFMPEGUtil.silk2Pcm(silkFile, pcmFile);
//pcm文件转换成wav文件
String pcm2Wav = FFMPEGUtil.pcm2Wav(silk2Pcm, wavFile);
//讯飞语音识别接口识别wav音频文件，转成文字返回
SRTool sr = new SRTool();
String words = null;
try {
words = sr.voice2words(pcm2Wav);
} catch (InterruptedException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
System.out.println("讯飞识别的语音结果："+words);
if("".equals(words)){
System.out.println("讯飞识别的语音结果：null");
map.put("status","error");
map.put("content","对不起，请您在描述一遍！");
return map;
}
String result = SR2Words.sr2words(words);
System.out.println("讯飞识别的语音结果："+result);
map.put("status","success");
map.put("content",result);
return map;
}
}
讯飞语音识别工具类
package com.example.utils;
import com.iflytek.cloud.speech.*;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.util.ArrayList;
/**
* Created by songzs on 2017/12/4.
*/
public class SRTool {
private int perWaitTime = 100;
private StringBuffer mResult = new StringBuffer();
static {
SpeechUtility.createUtility("appid=********");//申请的appid
}
public String voice2words(String fileName) throws InterruptedException, IOException {
return to(fileName);
}
public String to(String fileName) throws InterruptedException, IOException {
File file = new File(fileName);
if(!file.exists()){
throw new RuntimeException("要读取的文件不存在");
}
FileInputStream fis = new FileInputStream(file);
int len = 0;
byte[] buf = new byte[fis.available()];
fis.read(buf);
fis.close();
//1.创建SpeechRecognizer对象
SpeechRecognizer mIat = SpeechRecognizer.createRecognizer();
//2.设置听写参数，详见《MSC Reference Manual》SpeechConstant类
mIat.setParameter(SpeechConstant.DOMAIN, "iat");
mIat.setParameter(SpeechConstant.LANGUAGE, "zh_cn");
mIat.setParameter(SpeechConstant.ACCENT, "mandarin ");
mIat.setParameter(SpeechConstant.AUDIO_SOURCE, "-1");
//3.开始听写
mIat.startListening(mRecoListener);
//voiceBuffer为音频数据流，splitBuffer为自定义分割接口，将其以4.8k字节分割成数组
ArrayList<byte[]> buffers = splitBuffer(buf, buf.length, 4800);
for (int i = 0; i < buffers.size(); i++) {
// 每次写入msc数据4.8K,相当150ms录音数据
mIat.writeAudio(buffers.get(i), 0, buffers.get(i).length);
}
mIat.stopListening();
while (mIat.isListening()) {
Thread.sleep(perWaitTime);
}
return mResult+"";
}
/**
* 将字节缓冲区按照固定大小进行分割成数组
*
* @param buffer 缓冲区
* @param length 缓冲区大小
* @param spsize 切割块大小
* @return
*/
private ArrayList<byte[]> splitBuffer(byte[] buffer, int length, int spsize) {
ArrayList<byte[]> array = new ArrayList<byte[]>();
if (spsize <= 0 || length <= 0 || buffer == null
|| buffer.length < length)
return array;
int size = 0;
while (size < length) {
int left = length - size;
if (spsize < left) {
byte[] sdata = new byte[spsize];
System.arraycopy(buffer, size, sdata, 0, spsize);
array.add(sdata);
size += spsize;
} else {
byte[] sdata = new byte[left];
System.arraycopy(buffer, size, sdata, 0, left);
array.add(sdata);
size += left;
}
}
return array;
}
//听写监听器
private RecognizerListener mRecoListener = new RecognizerListener() {
public void onResult(RecognizerResult results, boolean isLast) {
System.out.println("Result:" + results.getResultString());
mResult.append(results.getResultString());
}
//会话发生错误回调接口
public void onError(SpeechError error) {
System.out.println(error.getErrorCode()+"=========="+error.getErrorDesc());
System.out.println(error);
}
//开始录音
public void onBeginOfSpeech() {
}
//音量值0~30
public void onVolumeChange(int volume) {
}
@Override
public void onVolumeChanged(int i) {
}
@Override
public void onEndOfSpeech() {
}
@Override
public void onEvent(int i, int i1, int i2, String s) {
}
};
}
*小程序上传接口必须是https请求，所以可能需要搭建https,相关内容可以参考我上一篇文章
请发表评论