• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

微信小程序语音与讯飞语音识别接口(Java),Kronopath/SILKCodec,ffmpeg处理silk,p ...

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

项目需求,需要使用讯飞的语音识别接口,将微信小程序上传的录音文件识别成文字返回

首先去讯飞开放平台中申请开通语音识别功能

在这里面下载sdk,然后解压,注意appid与sdk是关联的,appid在初始化接口时候需要

由于是在Linux上开发,所以需要将.so文件和.dll文件上传到Linux服务器上安装的jdk/lib/amd64里面,要不会报引擎错误,window环境直接放在项目跟目录就行.

 

由于微信小程序上传的文件格式是silk的,而讯飞接口能识别wav 格式的文件,所以需要将小程序上传的silk文件转成wav的格式

由于小程序上传的silk文件是变异的silk(小程序上传的silk文件中在编码头多添加了一个字节)文件,所以需要将他处理成正常的silk文件

由于项目是运行在Linux上,所以写了一个简单的shell脚本以供java程序调用处理

这个脚本的作用是删除输入文件中#!SILK_V3所在行的第一个字节

好了,文件处理完了,现在就是格式转换了

经调研,发现一般是先将silk文件转换成pcm,这里使用的是Kronopath/SILKCodec,下载到linux服务器上,然后在SILK_SDK_SRC_ARM里执行

make lib
make decoder

执行之后会生成命令行工具decoder

使用方法:

./decoder  要转换文件.silk   要生成文件.pcm

执行完上面代码就会生成.pcm文件,然后就是将pcm转成wav格式了,这里使用的是ffmpeg,没有安装的可以参考一下

ubuntu14.04安装ffmpeg:http://blog.csdn.net/leezha/article/details/77849286

阿里云linux安装ffmpeg:http://blog.csdn.net/baijinwen/article/details/77235725

安装ffmpeg可能出现的问题:http://blog.51cto.com/zlyang/1709508

为了保证语音识别的准确性,使用一下代码识别生成的wav文件,讯飞接口识别结果最好

ffmpeg -f s16le -ar 12k -ac 2 -i /path/to/pcm -f wav -ar 16k -ac 1 /path/to/wav

下面就是java的讯飞语音接口开发了,直接贴代码

package com.example.utils;

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.List;

/**
 * Created by songzs on 2017/12/12.
* 封装的转码工具类 */ public class FFMPEGUtil { public static String silk2Pcm(String inputfile,String outputfile){ List<String> commend = new ArrayList<String>(); commend.add("/usr/local/silk2pcm_tool/SILKCodec/SILK_SDK_SRC_ARM/./decoder"); commend.add(inputfile); commend.add(outputfile); StringBuffer test=new StringBuffer(); for(int i=0;i<commend.size();i++) test.append(commend.get(i)+" "); System.out.println("decoder命令:"+test+""); exec(test); return outputfile; } public static String pcm2Wav(String inputfile,String outputfile){ //ffmpeg -f s16le -ar 12k -ac 2 -i /path/to/pcm -f wav -ar 16k -ac 1 /path/to/wav List<String> commend = new ArrayList<String>(); commend.add("ffmpeg"); commend.add("-f"); commend.add("s16le"); commend.add("-ar"); commend.add("12k"); commend.add("-ac"); commend.add("2"); commend.add("-i"); commend.add(inputfile); commend.add("-f"); commend.add("wav"); commend.add("-ar"); commend.add("16k"); commend.add("-ac"); commend.add("1"); commend.add(outputfile); StringBuffer test=new StringBuffer(); for(int i=0;i<commend.size();i++) test.append(commend.get(i)+" "); System.out.println("ffmpeg命令:"+test+""); exec(test); return outputfile; } public static String silk_remove_word(String filepath){ List<String> commend = new ArrayList<String>(); commend.add("/home/workspace/./test.sh"); commend.add(filepath); StringBuffer test=new StringBuffer(); for(int i=0;i<commend.size();i++) test.append(commend.get(i)+" "); System.out.println("test命令:"+test+""); exec(test); return filepath; } private static void exec(StringBuffer test){ try { Runtime rt = Runtime.getRuntime(); Process proc = rt.exec(test.toString()); InputStream stderr = proc.getErrorStream(); InputStreamReader isr = new InputStreamReader(stderr); BufferedReader br = new BufferedReader(isr); String line = null; while ( (line = br.readLine()) != null) ; } catch (Exception e) { e.printStackTrace(); } } }

 语音结果处理工具类(代码简陋,见谅)

package com.example.utils;

import com.alibaba.fastjson.JSON;

import java.util.List;
import java.util.Map;

/**
 * Created by songzs on 2017/12/15.
 */
public class SR2Words {

    public static String sr2words(String jsonString){
        StringBuffer sb = new StringBuffer();
        String[] split = jsonString.split("}]}]}");
        for (int i = 0; i < split.length; i++) {
            String s = split[i] + "}]}]}";
            System.out.println(s);
            Map parse = (Map) JSON.parse(s);
            List<Map> ws = (List<Map>) parse.get("ws");
            for (int i1 = 0; i1 < ws.size(); i1++) {
                List<Map> cw = (List<Map>)ws.get(i1).get("cw");
                String w = cw.get(0).get("w").toString();
                sb.append(w);
            }

        }
        return sb.toString();
    }
}

小程序录音文件上传与讯飞语音识别

package com.example.service.impl;

import com.example.service.XunFeiService;
import com.example.utils.FFMPEGUtil;
import com.example.utils.SR2Words;
import com.example.utils.SRTool;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;

import java.io.File;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
import java.util.UUID;

/**
 * Created by songzs on 2017/12/12.
 */
@Service
public class XunFeiServiceImpl implements XunFeiService {

    @Override
    public Map<String,String> speechRecognition(MultipartFile multi) {
        Map<String,String> map =new HashMap<>();
        UUID uuid = UUID.randomUUID();
        String path = "/home/workspace/audio";
        String fileName = uuid.toString()+".silk";
        //临时silk文件
        String tempFile = "/home/workspace/audio/"+uuid.toString()+".silk";
        //中间过渡pcm文件
        String pcmFile = "/home/workspace/audio/"+uuid.toString()+".pcm";
        //可识别的wav文件
        String wavFile = "/home/workspace/audio/"+uuid.toString()+".wav";
        File file = new File(path,fileName);
        try {
            multi.transferTo(file);
        } catch (IOException e) {
            e.printStackTrace();
        }
        /*移除临时silk文件首字节start*/
        //标准silk文件
        String silkFile = FFMPEGUtil.silk_remove_word(tempFile);
        /*移除临时silk文件首字节end*/
        //silk文件转换成pcm文件
        String silk2Pcm = FFMPEGUtil.silk2Pcm(silkFile, pcmFile);
        //pcm文件转换成wav文件
        String pcm2Wav = FFMPEGUtil.pcm2Wav(silk2Pcm, wavFile);
        //讯飞语音识别接口识别wav音频文件,转成文字返回
        SRTool sr = new SRTool();
        String words = null;
        try {
            words = sr.voice2words(pcm2Wav);
        } catch (InterruptedException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
        System.out.println("讯飞识别的语音结果:"+words);
        if("".equals(words)){
            System.out.println("讯飞识别的语音结果:null");
            map.put("status","error");
            map.put("content","对不起,请您在描述一遍!");
            return map;
        }
        String result = SR2Words.sr2words(words);
        System.out.println("讯飞识别的语音结果:"+result);
        map.put("status","success");
        map.put("content",result);
        return map;
    }
}

讯飞语音识别工具类

package com.example.utils;

import com.iflytek.cloud.speech.*;

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.util.ArrayList;

/**
 * Created by songzs on 2017/12/4.
 */
public class SRTool {

    private int perWaitTime = 100;

    private StringBuffer mResult = new StringBuffer();

    static {
        SpeechUtility.createUtility("appid=********");//申请的appid
    }

    public String voice2words(String fileName) throws InterruptedException, IOException {
        return to(fileName);
    }

    public String to(String fileName) throws InterruptedException, IOException {

        File file = new File(fileName);
        if(!file.exists()){
            throw new RuntimeException("要读取的文件不存在");
        }
        FileInputStream fis = new FileInputStream(file);
        int len = 0;
        byte[] buf = new byte[fis.available()];
        fis.read(buf);
        fis.close();

        //1.创建SpeechRecognizer对象
        SpeechRecognizer mIat = SpeechRecognizer.createRecognizer();
        //2.设置听写参数,详见《MSC Reference Manual》SpeechConstant类
        mIat.setParameter(SpeechConstant.DOMAIN, "iat");
        mIat.setParameter(SpeechConstant.LANGUAGE, "zh_cn");
        mIat.setParameter(SpeechConstant.ACCENT, "mandarin ");
        mIat.setParameter(SpeechConstant.AUDIO_SOURCE, "-1");
        //3.开始听写
        mIat.startListening(mRecoListener);

        //voiceBuffer为音频数据流,splitBuffer为自定义分割接口,将其以4.8k字节分割成数组
        ArrayList<byte[]> buffers = splitBuffer(buf, buf.length, 4800);
        for (int i = 0; i < buffers.size(); i++) {
            // 每次写入msc数据4.8K,相当150ms录音数据
            mIat.writeAudio(buffers.get(i), 0, buffers.get(i).length);
        }
        mIat.stopListening();

        while (mIat.isListening()) {
            Thread.sleep(perWaitTime);
        }
        return mResult+"";
    }

    /**
     * 将字节缓冲区按照固定大小进行分割成数组
     *
     * @param buffer 缓冲区
     * @param length 缓冲区大小
     * @param spsize 切割块大小
     * @return
     */
    private ArrayList<byte[]> splitBuffer(byte[] buffer, int length, int spsize) {
        ArrayList<byte[]> array = new ArrayList<byte[]>();
        if (spsize <= 0 || length <= 0 || buffer == null
                || buffer.length < length)
            return array;
        int size = 0;
        while (size < length) {
            int left = length - size;
            if (spsize < left) {
                byte[] sdata = new byte[spsize];
                System.arraycopy(buffer, size, sdata, 0, spsize);
                array.add(sdata);
                size += spsize;
            } else {
                byte[] sdata = new byte[left];
                System.arraycopy(buffer, size, sdata, 0, left);
                array.add(sdata);
                size += left;
            }
        }
        return array;
    }

    //听写监听器
    private RecognizerListener mRecoListener = new RecognizerListener() {
        public void onResult(RecognizerResult results, boolean isLast) {
            System.out.println("Result:" + results.getResultString());
            mResult.append(results.getResultString());
        }

        //会话发生错误回调接口
        public void onError(SpeechError error) {
            System.out.println(error.getErrorCode()+"=========="+error.getErrorDesc());
            System.out.println(error);
        }

        //开始录音
        public void onBeginOfSpeech() {
        }

        //音量值0~30
        public void onVolumeChange(int volume) {
        }

        @Override
        public void onVolumeChanged(int i) {

        }

        @Override
        public void onEndOfSpeech() {

        }

        @Override
        public void onEvent(int i, int i1, int i2, String s) {

        }
    };
}

*小程序上传接口必须是https请求,所以可能需要搭建https,相关内容可以参考我上一篇文章


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
热门推荐
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap