首个动物/鸟类语言翻译,让您与自然对话

145

所有的生物,无论是植物还是动物,都有一种独特的方式,用不同的声音和信号来交流和表达他们的情感。我们人类有观察、学习和说多种语言的能力。我们也有一种天生的好奇心,想要更多地了解我们的生态系统和我们周围的世界。理解大自然的感受是我们的愿望。同时,我们也想分享我们的感受。

这让我思考,为什么不观察、研究和收集动物和鸟类的声音,提取这些声音中的情感,并制造一个设备,把它们的语言翻译成我们的语言,反之亦然?那太棒了!根据科学家们的研究,有几个关于自然交流方法的开源数据集可供任何人使用。

因此,通过使用这些开源数据集,您可以开发和训练一个机器语言(ML)模型,它可以理解不同动物声音中的情绪,并根据它们进行分类。您还将能够部署ML模型,将人类语言转换为自然语言,并将其转换为自然语言,从而实现高效的通信。
听起来是不是很棒?所以,不浪费任何时间,让我们开始我们美丽的旅程。

准备数据集

ML需要提供关于声音和情绪的正确数据。你可以从网上下载各种鸟类和动物的开源数据集,比如大象用来交流运动、爱、关心、愤怒等的声音。

下载这些动物的声音后,将它们编译成数据集来训练ML模型。可以使用Tensorflow、Edge Impulse、SensiML、teach Machine等工具。这里,我使用的是Edge Impulse。

打开Raspberry Pi终端,安装Edge Impulse依赖项。然后使用以下命令,创建一个名为Fauna Translator的新项目:

curl https://deb.nodesource.com/ sl
setup_12。X | sudo bash -

Sudo apt install -y GCC g++ make build-
基本的nodejs sox gstream1.0 -tools
gstreamer1.0-plugins-good gstreamer1.0 -
plugins-base gstreamer1.0-plugins -
base-apps

安装NPM时设置root用户
edge-impulse-linux - g -unsafe-perm

在此之后,使用Edge- Impulse -linux连接树莓派项目和Edge Impulse
接下来,打开终端并选择项目名称,在项目名称之后,您将得到一个用于提供数据集的URL。在这个URL中,输入捕捉到的动物的声音,并根据不同的情绪(生气、高兴、饥饿)或表情(“走吧”、“我爱你”)适当地给它们贴上标签。

请注意

在进行声音数据采集之前,如图1所示,将AIY Voice阀盖安装到树莓派上。

毫升模型

选择学习和处理块来训练ML模型。这里我们使用Spectrogram作为处理块,Keras作为学习块。利用这些,提取不同的音频参数训练ML模型从数据集学习。然后测试模型并不断完善它,直到您对其准确性感到满意为止。

要部署ML模型,请进入deploy选项并选择Linux板。安装它并克隆edge impulse的SDK。

Sudo apt-get安装libatlasbase -dev
libportaudio0 libportaudio2 libportaudi
ocpp0 portaudio19-dev
Pip3 install edge_impulse_linux -i https://
pypi.python.org/simple
pip3安装edge_impulse_linux
git克隆https://github.com/edgeimpulse/
linux-sdk-python

编码

创建一个名为animal_translate的.py文件,并在Python代码中导入speak,它将动物的声音翻译成人类可以理解的声音。创建一个if条件,用于检查ML模型输出中呈现的情绪的准确性。如果检测到特定标签的输出精度达到98%或更高,则输出与标签描述匹配。例如,如果动物对标签“hello”的发音符合上述百分比,那么动物确实在说“hello”。

测试

下载.iem ML模型文件,打开终端,运行animal_translate.py,然后输入ML模型的路径位置。选择一种动物,比如大象。因此,每当大象发出任何声音时,ML模型就会实时捕获并翻译大象对你说的话。

恭喜你!你创造了也许是世界上第一个动物和鸟类语言翻译。现在你可以理解自然的语言,甚至与它互动。

下载源代码


阿什维尼·库马尔·辛哈(Ashwini Kumar Sinha)是EFYi的电子爱好者和科技记者

这篇文章最初是在网上发表的,你可以阅读它在这里

分享你的想法和评论

请输入您的评论!
请在这里输入你的名字