首页 你的工程项目 1001+电子项目为您

第一种动物/鸟类语言翻译装置

Ashwini Kumar Sinha

159

使你能与自然对话。

所有的生物,无论是植物还是动物,都有一种独特的方式,用不同的声音和信号来交流和表达他们的情感。我们人类有观察、学习和说多种语言的能力。我们也有一种天生的好奇心,想要更多地了解我们的生态系统和我们周围的世界。理解大自然的感受是我们的愿望。同时,我们也想分享我们的感受。

这让我思考——为什么不观察、研究和收集动物和鸟类的声音,提取这些声音中的情感,然后制造一个设备,把它们的语言翻译成我们的语言,反之亦然?那太棒了。根据科学家们的研究,有几个关于自然交流方法的开源数据集可供任何人使用。

因此,通过使用这些开源数据集,你可以开发和训练一个ML模型,它可以理解不同动物声音中的情绪,并根据它们进行分类。你会

也能够部署ML模型,将人类语言翻译成自然语言,并将其翻译回来,实现高效的交流。

听起来是不是很棒??所以不要浪费任何时间,让我们开始我们美丽的旅程。

材料清单

准备数据集

ML需要提供关于声音和情绪的正确数据。你可以在网上下载各种鸟类和动物的开源数据集。例如,大象用来传达动作、爱、关心、愤怒等的声音。

下载这些动物的声音后,将它们编译成数据集来训练ML模型。你可以使用Tensorflow, Edge Impulse, SensiML, teachachable Machine等工具来达到这个目的。这里,我使用的是Edge Impulse。

现在,打开Raspberry Pi终端,安装Edge Impulse依赖项。然后使用以下命令,创建一个名为Fauna Translator的新项目。

curl - sl https://deb.nodesource.com/setup_12.x | sudo bash -Sudo apt install -y GCC g++ make build-essential nodejs sox gstreamamer1.0 -tools gstreamamer1.0 -plugins-good gstreamamer1.0 -plugins-base安装NPM -g -unsafe-perm

在此之后,连接树莓派项目与边缘冲动使用

Edge-impulse-linux

接下来,打开终端并选择项目名称,在项目名称之后,您将得到一个用于提供数据集的URL。在这个URL中,输入捕捉到的动物的声音,并根据不同的情绪(生气、高兴、饥饿)或表情(“走吧”、“我爱你”)适当地给它们贴上标签。

注意:-在继续进行声音数据捕捉之前,首先将AIY声音帽安装到如图所示的树莓派上。

图1所示。设置话音罩

图2所示。连接RPI与项目

培训毫升模型

选择学习和处理块来训练ML模型。这里我们使用Spectrogram作为处理块,Keras作为学习块。利用这些,提取不同的音频参数训练ML模型从数据集学习。然后测试模型并不断完善它,直到您对它的精度水平感到满意为止。

图3所示。设置处理模块
图5所示。

图6所示。ML模型测试期间的精度输出
图7

部署模型

要部署ML模型,请进入deploy选项并选择Linux板。安装它并克隆edge impulse的SDK。

Sudo apt-get安装libatlas-base-dev libportaudio0 libportaudio2 libportaudiocpp0 portaudio19-devPip3安装edge_impulse_linux -ihttps://pypi.python.org/simplepip3安装edge_impulse_linuxgit克隆https://github.com/edgeimpulse/linux-sdk-python

编码

创建一个名为animal_translate的.py文件,并在Python代码中导入speak,它将动物的声音翻译成人类可以理解的声音。创建一个如果条件,用于检查ML模型输出中呈现的情绪的准确性。如果检测到特定标签的输出精度达到98%或更高,则输出与标签描述匹配。例如,如果动物发出的“hello”的声音符合上述百分比,那么它确实是在说“hello”。

图8所示。Python代码
图9所示。代码检查输出值并将声音翻译成人类语言

测试

下载.iem ML模型文件,打开终端,运行animal_translate.py,输入ML模型的路径位置。选择一种动物,比如大象。因此,每当大象发出任何声音时,ML模型就会实时捕捉它,并将它所说的话翻译给你理解。

恭喜! !你创造了世界上第一个动物和鸟类语言翻译。现在你可以理解自然的语言,甚至与它交谈。

注意:-如果你在下载时遇到错误,请关闭防病毒软件几分钟。

下载代码和ML模型

没有评论

分享你的想法和评论

请输入您的评论!
请在这里输入你的名字

Baidu