基于Processing的声音交互绘图应用设计

龙源期刊网的声音交互绘图应用设计作者：宇璐嘉来源：《艺术殿堂》2018年第03期【摘要】Processing是基于Java语言的一种新兴计算机语言，为电子艺术设计开辟了新的道路。笔者在进行了一段时间的Processing学习后，结合国内外对声音可视化研究，分析了OpenProcessing网站上的Processing实验性作品，发现一些极客在创作时没有关注到的交互方式。通过自主开发声音交互绘图应用“Soundbrush”，将眼、耳、口和手结合，让使用者以新的方式创作声音交互绘画作品。【关键词】Processing；聲音交互；数字艺术；绘图应用一.引言Processsing是基于Java语言的一种新兴计算机语言，将计算机技术和交互艺术相结合，形成跨领域的电子艺术设计环境。美国麻省理工学院媒体实验室的CaseyReas和BenFry是这门语言的创始人，也是最早的创作艺术家。他们不仅创立了Processing这种语言，还开放了源代码，使得全世界的交互艺术爱好者都能够学习和使用这门相对简化的编码技术。二.Processing的应用现状分析Processing的应用非常丰富，配合着其他硬件和技术语言，产生了很多别出心裁的交互艺术作品。Processing与Kinect的结合，产生了“unnamedsoundsculpture”身体运动可视化3D运动片，通过识别舞蹈演员的动作，用点阵组成3D模型；Processing与Arduino的结合，产生了“ParticleFlow”粒子流控制物理装置；Processing与Box2D的结合，产生了“Keyfleas”键盘交互投影。因为学习经验等因素的限制，本文仅根据OpenProcessing网站和相关研究，研究Processing代码技术本身能够进行的创作，不研究与其他外接设备和技术语言结合。Processing的创始人公开源代码，使得全世界各地的爱好者都能最大限度的发挥想象空间。在OpenProcessing的官方网站上，各式各样的交互作品层出不穷，总数已经接近20万个。按照类型来区分，种类最多的就是交互动画和平面作品。按照创作方式来区分，以下两种最为常见：1.基于图片识别的图像重构。这类作品以特定的图片为基础，提取色彩信息，用不同颜色的点和线条重新绘制图像，或者进行图像的重构。2.基于运动规律的图形绘制。这类作品通过固定点和线条的运动，形成不同样式的图形。龙源期刊网还有一种类型，基于声音特征提取进行的图形绘制。这类作品主要是通过图形变化，展示声音的变化，形成可视化呈现方式。但是这类作品目前的数量并不多，因此还需要更多的创作。三.声音可视化研究现状可视化是指在人脑中形成对某物（某人）的图像.是一个心智处理过程，促进对事物的观察及建立概念等。声音可视化一种对声音特征的视觉呈现方式，通过多声音的特征提取和图像处理，形成特定的视觉效果。当前，国内外对声音可视化的研究主要集中在音乐可视化方面。由于音乐更有规律性，因此容易提取特征，很多研究，通过提取音频的振幅、频率和音色，借助时间和速度构建可视化模型。国内李华、胡春辉等人，创作出具有水墨画风格的音乐可视化方法；国外MartinGasser则将音频数据的振幅映射产生可视化效果。很多研究人员通过很有创意的交互装置，研究不同感官之间的交互方式。但是在这些研究中，研究者都在关注如何将声音元素用视觉方式表达。视觉呈现方式各具特点，都是以呈现声音为目的。如果能够在呈现声音元素的基础上，对声音加以利用，用来进行图形绘画创作，就能更好的应用声音可视化技术，逐渐将科研和艺术创作融入生活。四.基于Processing的交互作品研究在OpenProcessing的网站上，以“sound”关键词进行搜索，可以找到400个左右作品。在这些作品中，最受欢迎并且制作最好的有两个作品：一个是“SoundTriangle”，通过鼠标拖拽白色三角，可以产生不同音调的声音。另一款是“SoundViz”，可以选择播放歌曲，并且控制速度和声音，产生跟随音乐变化的图形。前者是利用触觉触发声音和动画效果，产生视觉和听觉的享受；后者是通过视觉图形增强听觉体验。其他的作品的交互方式也大同小异，无外乎这两种类型。Processing本身包含声音交互、视觉增强和触觉控制，能够刺激三种不同的感官。但是现在的实验作品都只是用某一种感官去增强其他感官的体验，仅仅将眼睛、耳朵和手结合起来。所有的创意局限在三个人体器官，无法进行突破。倘若将声音的来源变成使用者自身，那么就可以增加口部发声，调动第四器官进行交互。基于Processing的作品中，除了制作精良、颇具创意的平面图像和动画外，最受欢迎的就是带有游戏性质的交互程序。在OpenProcessing的网站上最受欢迎的三款作品，一款是设计感与交互并存的“Frozenbrush”；一款是极具设计美感的运动动画“ProcessingNetwork”，还有一款就是图形设计游戏“Duel”。可见，就连在创作者群体内，设计精致并且具有交互的作品，都会受到青睐。因此，当基于Processing本身进行创作时，需要注意以下几点：龙源期刊网充分调动多感官互动，提升使用体验；2.增加交互性和可玩性，增强使用者参与感；3.提升设计感，保证质量。五.基于processing的声音互动作品——“Soundbrush”“Soundbrush”是一款基于Processing的声音交互绘图应用，利用声音，配合鼠标键盘进行绘画创作。（1）创作来源现阶段国内外和Processing相关的设计作品，以交互装置最为常见。平面设计类的作品数量虽多，但主要以代码创建的功能为主，用户能够控制操作的部分相对较少。现阶段主要利用体感设备来获取用户的动作和表情，然后形成人机交互，产生数字图像，这样相对实验性的作品虽然能够展示Processing的交互性，却缺少了一些实际应用性，局限在科学研究和艺术创作本身。在经历一段时间的Processing编码后，笔者希望将自己的所学加以应用，做成能够应用到实际生活中的作品，因此，基于Processing，制作了声音交互绘图应用——“Soundbrush“。（2）功能实现逻辑利用硬件设备自带的麦克风获取声音，通过Processing计算识别，按照一定计算方式将获取到的声音响度转化成控制数据，在屏幕范围内产生固定形状的图形，经过一次或者多次操作，产生构成图画。（3）主要功能介绍1.吹画模式当使用者对着屏幕吹气或者说话时，电脑自带的麦克风开始获取声音信号，通过编码设计，在屏幕范围内随机位置产生图形，根据声音响度的变化，绘制不同大小的圆形。首先，使用者可以选择“随机颜色”，以图形出现位置为原点，在图形内，按照环形的方式，在不同大小的范围内，随机产生颜色。其次，使用者还可以通过键盘上的按键，选择不同颜色，并且根据使用者声音响度的大小，控制着色的饱和度。声音越大，图形绘制的饱和度就越高，声音越小，绘制的图形颜色就越淡。龙源期刊网在“吹画”模式下，可以把“Soundbrush”看做一个可以吹出不同颜色不同形状的喷桶，喷洒出不同样式的图形。并且由于没有固定位置的限制，整个屏幕内都会随机产生重复构成的图画。2.鼠标绘画模式在“鼠绘”模式中，使用者可以用鼠标左键点击，确认每个图形在屏幕中出现的位置。在“吹画”模式中，图形产生的位置是随机的，可以控制产生图形的和颜色；在“鼠绘”模式中，使用者用鼠标确定图形产生的位置，用声音确定图形的大小，用按键来确定图形的样式。在这个模式下，除了圆形，还可以选择正方形、菱形、等边三角形和直角三角形。并且可以用方向键，切换直角三角形最小角的方向。在这种模式下，使用者除了用声音控制图形的生成，还可以用鼠标键盘控制图形的样式和位置，不仅能够实现声音和图画绘制的交互，还能够生成最终的作品，并且保存成为图片。龙源期刊网是一门具有前瞻性的计算机语言，简化的流程和多样的交互接口，为交互设计提供了便利。笔者在短期学习Processing的基础上，结合前人研究，总结了目前Processing实验性作品的类型，发现了可以增加交互感官的方法。创作声音交互绘画作品“Soundbrush”，加入口部发声控制的交互方式，口手并用，让使用者进行绘画创作。目前，越来越多的设计者开始运用Processing进行创作，也越来越多的和其他技术和硬件设备结合。在未来，随着人工智能和声音识别技术的发展，Processing的声音交互应用，甚至可以让每个人用自己的声音特质进行绘画创作，绘制有自己声音风格的作品。七.后记笔者结合所学知识，在搜集资料和研究案例的基础上，分析了基于Processing进行交互产品创作时需要注意的要点，并且创作了一款声音交互应用“Soundbrush”。由于笔者刚刚开始学习Processing，因此在眼界和技术上都有很大的局限，只能在自己所学所知范围内进行创作和创新。本文也是笔者对自己学习经历的总结，希望能对未来的学习和研究提供帮助。参考文献：龙源期刊网[1]李华，胡春晖，顾明.基于实时渲染技術具有水彩画风格的音乐可视化方法.计算机应用，2005，25（3）：729-731[2]GasscrM.InteractiveVisualizationofExpressivePianoPerformance.2005.