实验室作品“会务宝”荣获2018年全国大学生物联网设计竞赛(TI杯)全国总决赛 一等奖

由教育部高等学校计算机类专业教学指导委员会主办,上海交通大学电子信息与电气工程学院承办,全球领先的模拟和嵌入式处理半导体厂商德州仪器 (TI) 协办的“2018全国大学生物联网设计竞赛(TI 杯)”(以下简称“物联网设计竞赛”)全国总决赛9月16日下午在世界物联网博览会(无锡)圆满落幕,实验室团队在总决赛中夺得了”一等奖”的荣誉。

 

 

会务宝是一个采用IoT和AI技术实现的完整语音会务文本记录系统。该系统可以实时记录显示会议发言人的语音文本,并根据声纹自动切换、标记发言人,在会议结束时输出完整的会议记录文本文件。设备端采样Wi-Fi MCU,使用VAD算法实现低功耗、减少网络流量。云端SaaS化设计,支持多租户、多设备。会议数据智能化分析,比如去除语气词汇,进行多国语言实时翻译,生成会议摘要。与会人可对会议记录进行分享。

 

作品的创新之处在于

1.采用IoT和AI技术。

2.设备端采用低成本的Wi-FiMCU,VAD算法实现低功耗。

3.声纹提取判断,自动切换发言人。

4.SaaS化设计,支持多租户、多设备。

 

进入总决赛后,团队的成员齐心协力,在华东赛的成果基础上添加了声纹识别技术,进一步地完善了会务记录系统。决赛中,每一个人各司其职,配合默契。决赛答辩前,队员们仍然全面认真的测试,答辩时,队员们面对专家们的提问从容不迫地应对,展现出华东师范大学的风采。

 

 

依托2018世界物联网博览会“数字新经济,物联新时代”主题,我队展现出的富有创意和实用性的参赛作品,体现出队员们在物联网前沿技术和应用领域的探索,未来,我们仍然不会停下脚步。

实验室作品“会务宝”荣获2018年全国大学生物联网设计竞赛(TI杯)华东赛区 特等奖

在进行中小型会议时,通常需要进行会议记录。为了减轻会议秘书的工作负担,设计了一款基于云语音识别的会务记录系统,简称会务宝,系统结合物联网,云技术和人工智能。会议时,设备采集会议语音,实时回显说话人语音字幕,标记发言人信息,语言翻译。会议后,分析和辅助语音听写,语音回顾,形成会议记录,可以存档与分享。

本系统主要研究了在MCU上实现语音录音、语音实时传输的方案,并结合云端服务,构建了一套较为完整的IoT智能语音处理系统。

本系统硬件使用基于Cotex-M4核的SimpleLink CC3220S嵌入式物联网芯片[1],TLV320AIC3254音频编码芯片以及TPA2012D2RTJR音频运放器的定制板。软件使用Java Spring Boot框架,调用阿里云智能语音交互,基于SaaS架构,部署在云服务器。

 

实验室15级全体学生共同组织毕业聚餐

 

春去秋来,时光流转,又是一年毕业季来临,这也意味着15级三年的学生生活就此结束,别离之情,难于言表。
在校期间,老师严谨的学风,渊博的学识,谦逊的为人,使我终生受益。

在此,谨致以衷心的感谢和崇高的敬意。

学生名单:
第一排 左一 张红艳 左二 张炤 右一 洪明杰 右二 林雯
第二排 左一 陶立清 左二 周剑晟 左三 陈子炎 右一 侯立阳 右二 孙乐晨 右三 彭晓晶
第三排 左一 贺佳杰 右一 杜欣宇

使用AZ3166实现传感器语音数据的采集与云端上传

AZ3166开发板的主控单元是庆科公司开发的低功耗WiFi模块EMW3166。板载有DAP 模拟器, 音频处理单元,128×64 OLED显示屏,和其它资源比如LED灯。

具体详见:http://www.mxchip.com/az3166

项目将开发板简单当作一个数据采集终端,并尽可能的使用板载资源,采集环境信息至云端。

项目主要分为三个功能模块:一是的数据采集,二是基于MQTT的轻数据传输,三是语音数据的传输。

 

数据采集

数据的采集分为两个部分,语音数据的采集和板载传感器数据的采集。

传感器数据可以通过MQTT的上行通道进行传输,而语音数据由于其持续性的特点,产生的数据量较多,不适合MQTT传输。

《嵌入式软件概论》(沈建华译)由北京航空航天大学出版社出版发行

内容简介

本书总结了作者从事嵌入式系统开发几十年的经验,对嵌入式软件开发中经常会遇到的一些问题进行了分析与解答,涉及面较广,几乎涵盖了嵌入式软件的所有方面,包括处理器体系架构、C/C++编程语言、开发环境和工具、实时问题、RTOS、网络及FPGA等。尽管这些主题都比较大,但作者凭借其丰富的专业知识和实践经验,基本上从中抽取了与嵌入式软件开发等特征相关的要点,具有较强的针对性。

 

本书附有一张光盘,内容是作者以本书内容为基础的很多讲稿,已经做成了PPT和PDF文件,特别适合于嵌入式软件设计的培训、讲座等。

 

本书适合于嵌入式系统的开发人员、管理人员、培训人员阅读参考,也可作为嵌入式系统专业方向研究生和本科生的参考读物。