Faust: Programming Audio From Top To Bottom .mdx

모든 프로그래밍 언어는 기본 유형을 제공하며, 이는 거의 항상 동일합니다. int, float, boolean, struct, record, char 등 1995년 이후에 만들어진 언어라면 string도 있을 것입니다. 여기 흔하지 않은 기본 유형이 있습니다. 바로 오디오입니다. 이번 주에는 가장 중요한 내장 유형이 오디오인 프로그래밍 언어를 살펴보겠습니다. 이 언어의 이름은 Faust이며 디지털 악기, 소프트웨어 악기, 음향 효과 생성기와 같은 오디오 처리 프로그램을 작성하도록 설계되었습니다. 이러한 설계 요구 사항에서 나온 언어는 정말 흥미롭습니다. 마치 함수형 프로그래밍과 음악 스튜디오에 가득한 상자와 케이블이 만난 것 같습니다. Faust가 무엇이고 어떻게 작동하는지 알아보기 위해 프랑스 국립 음악 창작 센터에서 갓 온 Faust 개발자, 연구자, 교육자인 Romain Michon과 이야기를 나눠보았습니다. 그는 Faust가 무엇이며 어떻게 작동하는지 설명해 줄 것입니다. 저는 이 대화 전체를 오디오 파이프라인 프로그래밍에 대해 이야기하면서 보내려고 했습니다. 하지만 Faust는 C, Rust, JavaScript, WASM으로 컴파일되고 곧 칩의 로직 게이트를 직접 구성하는 명령어로 컴파일될 수 있는 언어이기 때문에 스택 전체를 살펴보면서 프로그래밍 가능한 하드웨어까지 다루게 되었습니다. 이 에피소드에서는 함수형 프로그래밍부터 1과 0까지, 그 사이에 오디오를 다루는 모든 것을 다룹니다. 다룰 내용이 많으니 바로 시작해 보겠습니다. 저는 여러분의 호스트 Kris Jenkins이고, 오늘의 Developer Voices는 Romain Michon의 목소리입니다.

오늘 Romain Michon과 함께합니다. Romain, 안녕하세요?

잘 지내요, Kris. 휴가 후 막 돌아와서 편안해 보이시네요.

휴가는 좋았어요. 제 취향에는 조금 짧았지만 다시 일을 시작하게 되어 기쁩니다. 당신의 일은 이 흥미로운 Faust 언어를 개발하는 것이죠. 그럼 거기서부터 시작해 볼까요? Faust는 무엇이며 왜 또 다른 프로그래밍 언어를 만들었나요?

Faust는 실시간 신호 처리 애플리케이션을 위한 프로그래밍 언어입니다. 즉, DSL(Domain Specific Language)입니다. Faust는 범용 언어가 아닙니다. Faust는 한 가지 작업, 즉 실시간 오디오 신호 처리를 수행하도록 설계되었습니다.

알겠습니다. 실시간이라는 것이 어려운 부분이라고 생각하는데 맞나요?

네, 맞습니다. Faust가 만들어진 이유는 실시간 애플리케이션을 위한 오디오 프로그래밍을 더 높은 수준에서 처리할 수 있는 방법을 제공하기 위해서였습니다. 일반적으로 실시간 오디오 신호 처리를 수행하는 프로그램을 구현하려면 C, C++ 또는 Rust를 사용해야 합니다. 기본적으로 컴파일된 언어를 사용해야 합니다. 왜냐하면 이러한 종류의 프로그래밍 언어만 저지연 오디오 처리와 같은 작업을 수행하는 데 필요한 실시간 성능을 달성할 수 있기 때문입니다.

예를 들어, 오디오 플러그인을 만들거나 데스크톱 컴퓨터에서 실시간 오디오 처리를 수행하는 독립 실행형 애플리케이션을 만들려고 한다고 가정해 보겠습니다. 그러면 C, C++ 또는 Rust를 사용해야 합니다. Rust는 이를 수행하는 새로운 방법이지만 기본적으로 컴파일된 프로그래밍 언어를 사용해야 합니다.

아시다시피 이러한 언어의 문제점은 사용하기 어렵고 컴퓨터 과학에 대한 배경 지식이 제한적인 사람들이 쉽게 접근할 수 없다는 것입니다. 따라서 Faust가 만들어진 이유는 이 문제에 대한 해결책을 제공하기 위해서였습니다. Faust는 기본적으로 더 높은 수준의 프로그래밍 패러다임을 제공하지만 컴파일된 언어와 동일한 종류의 성능을 제공합니다.

알겠습니다. 예를 들어 설명해 주시겠어요? 이 팟캐스트를 녹음할 때 방의 잔향을 제거하는 소프트웨어를 사용하는 경우가 있습니다. 잔향음을 오디오에서 분리하려는 그런 애플리케이션을 작성하는 사람을 위한 것인가요?

네, 맞습니다. 오디오 처리의 예는 매우 많고, 지금 말씀하신 대로 이 녹음의 백그라운드에서 에코를 제거하거나 방의 자연스러운 잔향을 제거하기 위해 상당한 양의 오디오 처리가 진행되고 있을 것입니다. 또는 다이내믹 레인지 압축이나 필터링, 심지어 일부 경우에는 사운드 합성을 적용할 수도 있습니다. 예를 들어, 음성 합성과 같은 작업을 수행하려면 사운드를 합성해야 하며, 이것이 실시간 오디오 처리의 또 다른 사용 사례입니다.

신시사이저와 같은 것도 말씀하시는 건가요?

네, 집에 있는 키보드 신시사이저와 같이 키를 누르면 소리가 나는 그런 것을 Faust로 만들 수 있습니다.

그렇군요. Faust 사용자는 대부분 저수준 C 엔지니어링 프로그래머는 아니지만 하이브리드 프로그래머 겸 음악 디자이너와 같은 프로그래머인가요?

좋은 질문입니다. 일반적으로 오디오 플러그인을 만들거나 이런 종류의 작업을 하는 회사에서 일하는 경우 두 가지 유형의 엔지니어가 있습니다. 알고리즘을 개발하는 사람과 기본적으로 DSP 엔지니어라고 부르는 사람이 있습니다. 이들은 기본적으로 사운드를 처리하는 수학을 연구합니다. 그리고 이러한 사람들이 하는 일을 가져다가 컴퓨터나 스마트폰 등에서 실시간으로 작동하도록 구현하는 소프트웨어 프로그래머가 있습니다.

일반적으로 이 두 사람은 이 작업을 수행하는 데 동일한 소프트웨어를 사용하지 않습니다. DSP 엔지니어는 MATLAB이나 Python과 같은 도구를 사용하여 알고리즘 프로토타입을 제작하고, 완제품을 구현하는 소프트웨어 개발자는 C, C++, Rust, JavaScript, 웹을 사용하는 경우 웹 어셈블리를 사용합니다. 하지만 기본적으로 프로세스에서 이러한 두 단계가 필요합니다. Faust가 제공하는 것은 DSP 엔지니어가 Python이나 MATLAB에서 얻을 수 있는 것과 동일한 수준의 접근성입니다. 하지만 구현 단계로 넘어가면 바로 더 낮은 수준의 결과물을 얻을 수 있습니다. 어떤 의미에서는 두 가지 장점을 모두 얻는 셈입니다.

그렇군요. 음악에 특화된 표현력을 갖춘 언어와 C의 성능으로 컴파일되는 언어를 모두 갖춘 언어가 없다면 이것이 목표가 되는군요.

네, 맞습니다. 제가 아직 말씀드리지 않은 중요한 점이 하나 있습니다. Faust는 트랜스파일러라고 부르는 것입니다. 기본적으로 Faust로 작성된 코드를 더 낮은 수준의 프로그래밍 언어로 컴파일합니다. 즉, Faust는 더 낮은 수준의 언어로 코드를 생성합니다. 기본적으로 Faust로 코드를 작성한 다음 C, C++, 앞서 말씀드린 것처럼 Rust, 웹 어셈블리, Java, JavaScript로 내보낼 수 있습니다. Faust의 대상은 매우 많습니다. 기본적으로 Faust로 작성한 모든 것을 더 낮은 수준의 프로그래밍 언어로 내보낼 수 있습니다. 따라서 Faust 자체가 반드시 바이너리 코드를 생성하는 것은 아닙니다. 하지만 Faust는 더 낮은 수준의 프로그래밍 언어로 코드를 생성하고, 이러한 언어는 자체적으로 바이너리 코드를 생성할 수 있습니다.

그렇군요. Faust를 사용하여 C를 생성한 다음 수동 컴파일 단계를 거쳐 최종 제품을 만드는군요.

네, 여러 언어로 내보내는 것을 고려하면 관리가 문제가 될 수 있을 것 같습니다. 하지만 그 부분을 살펴보기 전에 Java라고 말씀하셔서 놀랐습니다. 이 도메인에는 컴파일된 언어가 필요하다는 것을 알 수 있지만 일시 중지가 허용되지 않기 때문에 가비지 수집기를 사용하지 않는 언어도 필요할 것이라고 생각했습니다.

네, Faust 컴파일러가 처음 설계되었을 때는 여러 언어로 내보낼 수 있도록 설계되었기 때문에 Faust 컴파일러에 새로운 백엔드를 추가하는 것이 쉽습니다. 즉, 새로운 언어가 등장하면 해당 언어를 지원하는 것이 그렇게 복잡하지 않습니다. 실질적인 관점에서 Java로 코드를 내보내는 것은 실제로 C++로 코드를 내보내는 것과 크게 다르지 않습니다. 구문적으로 말하면 Java와 C++는 DSP 알고리즘을 표현하는 데 있어서 크게 다르지 않습니다. 따라서 Java를 지원하는 이유는 어떤 시점에 누군가가 요청했기 때문입니다. 하지만 Faust에서 가장 많이 사용되는 대상은 아닙니다. 사실, 최신 버전의 Faust 컴파일러는 더 이상 Java를 지원하지 않습니다. 따라서 이 부분은 잊어버리는 게 좋을 것 같습니다.

네, 하지만 JavaScript도 비슷한 경우죠. 웹 어셈블리는 가비지 수집기가 없지만 쉽게 지원할 수 있다고 말씀하시는군요. 런타임으로는 최선의 선택이 아닐 수도 있지만 지원할 수는 있습니다.

네, 런타임 측면에서 최상의 성능을 얻으려면 선택의 폭이 그렇게 넓지 않습니다. 앞서 말씀드린 대로 웹 브라우저를 사용하는 경우 웹 어셈블리를 사용해야 하고, 데스크톱 애플리케이션을 사용하는 경우 기존의 컴파일된 언어를 사용해야 합니다. 요즘 사람들이 여전히 사용하는 컴파일된 언어는 그렇게 많지 않습니다. 기본적으로 C, C++, Rust가 전부입니다.

작성자가 오디오 워크스테이션을 만들려고 하다가 우연히 만들어진 언어가 있는데, 그 언어도 지원하나요? 솔직히 말씀드리자면 그 언어에 대해 들어본 적은 있지만 정확히 어떻게 작동하는지, 무엇을 하는지 잘 모르겠습니다.

네, 그렇군요. 그럼 Faust 자체로 돌아가서 오디오 처리에 적합한 언어를 어떻게 설계하나요? 어떻게 다른가요? 어떻게 다르게 보이나요?

어려운 질문이네요. 아마도 매우 긴 답변이 필요할 것 같습니다. 최대한 짧게 답변하려고 노력하겠습니다. Faust에 대해 가장 먼저 알아야 할 것은 함수형 언어라는 것입니다. 명령형 언어가 아닙니다. 따라서 명령형 언어인 C, C++, Rust와는 매우 다릅니다. Faust는 이러한 면에서 매우 다릅니다. 또 한 가지 말씀드리고 싶은 것은 Faust는 원래 Yann Orlarey라는 사람이 만들었다는 것입니다. Yann은 지금도 Faust 작업을 활발히 하고 있습니다. 사실, 저희는 여기 같은 팀에 속해 있어서 서로 자주 봅니다. Yann은 항상 함수형 언어를 연구해 왔고 람다 미적분이라는 개념에 매우 관심이 많은 사람입니다. 기본적으로 Yann은 이러한 원칙을 결합한 오디오 애플리케이션용 프로그래밍 언어를 만들려고 했습니다. Faust는 람다 미적분의 원칙을 차용했으며 매우 함수형적인 언어입니다. Yann이 이 언어를 만들었을 때의 주요 확신은 함수형 프로그래밍 언어가 명령형 프로그래밍 언어보다 오디오 알고리즘을 코딩하는 데 더 나은 패러다임을 제공한다는 것이었습니다. 그렇다면 그 이유는 무엇일까요? 옛날에는 사람들이 오디오 처리를 할 때 반드시 디지털 기술을 사용하지는 않았습니다. 아날로그 회로를 사용했죠. 네, 맞아요. 그래서 저항, 트랜지스터, 트랜지스터는 아니지만 커패시터와 다양한 부품을 함께 연결하여 필터나 사운드 신시사이저와 같은 것을 구현했습니다. 이를 표현하기 위해 회로의 블록 다이어그램을 그렸습니다. 어떤 의미에서 회로의 블록 다이어그램은 작업이 순차적으로 발생하는 명령형 프로그래밍 언어보다 함수형 프로그래밍 패러다임에 더 가깝습니다. 기본적으로 Faust는 이러한 점을 염두에 두고 설계되었습니다. 기본적으로 Faust는 데이터 흐름 프로그래밍 언어로 볼 수 있습니다. 멋지네요. 기본적으로 블록을 블록에, 블록을 블록에 연결하고 블록을 결합하여 알고리즘을 구현합니다. 명령형 언어에서는 그렇게 하지 않습니다. 데이터 흐름 연결을 만들 수는 있지만 언어에 Faust만큼 깊이 내장되어 있지는 않습니다. 그게 기본적으로 가장 큰 차이점입니다.

바이트 배열을 반복한 다음 바이트 청크로 체인의 다음 함수를 호출하는 대신 맵 스트림 처리 스타일 프로그래밍을 더 많이 하는 것 같습니다.

Faust는 기본적으로 블록 다이어그램을 구축할 수 있는 언어입니다. Faust 프로그램을 작성할 때 하는 일은 블록 다이어그램을 설계하는 것입니다. 실제로 언어의 의미론에 너무나 깊이 내장되어 있어서 스크립트 언어인 Faust 프로그램을 블록 다이어그램으로 내보낼 수 있습니다. Faust 웹 IDE(faustide.grame.fr에서 찾을 수 있음)를 사용하는 경우 Faust 프로그램을 작성할 때 페이지 하단에 작성 중인 프로그램에 해당하는 블록 다이어그램이 자동으로 표시됩니다. 기본적으로 Faust에서 작성하는 내용에는 항상 그래픽 대응 관계가 있습니다. 따라서 Faust와 오디오 처리에 사용할 수 있는 다른 언어의 가장 큰 차이점 중 하나는 이것이라고 생각합니다. Faust에서는 블록 다이어그램을 구축하므로 오디오 프로세스를 만들려면 어떤 종류의 작업을 다른 작업에 연결하고, 또 다른 작업에 연결해야 하며, 항상 이에 해당하는 블록 다이어그램이 있습니다.

기타 페달 보드를 너무 많이 설계한 것을 떠올리게 하네요. 기타를 에코, 컴프레서 등에 연결합니다.

바로 그거예요. 그리고 기본적으로 오디오 DSP 알고리즘을 구현할 때 일반적으로 하는 일이 바로 그겁니다. 필터는 기본적으로 기본 수학 연산의 조합입니다. 덧셈, 뺄셈, 때로는 곱셈과 지연이죠. Faust에서 필터를 코딩하려면 덧셈, 뺄셈, 곱셈, 지연을 결합한 올바른 블록 다이어그램을 만들기만 하면 됩니다.

어떤 의미에서는 이러한 작업을 수행하는 물리적 회로와 유사합니다. 커패시터는 지연을 발생시키고, 저항은 곱셈이나 나눗셈과 같습니다. 이러한 것들을 조합하여 만들 수 있습니다.

네, 맞아요. 그럼 이걸 음악 관련 작업에만 사용하나요? 아니면 제가 모르는 다른 종류의 오디오 신호 처리가 있나요?

음, 이 질문에 대한 답은 여러 가지가 있습니다. 전통적으로 오디오 DSP는 항상 음악과 밀접한 관련이 있었습니다. 왜냐하면 20세기 후반에 음악 기술을 연구한 사람들이 지금 우리가 컴퓨터, 자동차, 스피커 기술 등에서 사용하는 모든 오디오 디지털 인프라를 개발한 사람들과 같았기 때문입니다. 하지만 음악이 유일한 애플리케이션은 아닙니다. 스마트폰에도 사운드가 있고, 헤드폰에도 사운드가 있고, 스피커에도 사운드가 있습니다. 앞서 말씀드린 것처럼 지금처럼 화상 회의를 할 때도 사운드를 사용하고 있으며, 당연히 지금 우리가 말하는 동안에도 사운드 처리가 진행되고 있습니다. 이 화상 녹화를 하는 동안에도 말이죠. 기본적으로 사운드가 있는 곳이라면 어디든 어떤 종류의 처리가 필요하며, Faust는 음악 애플리케이션에만 국한되지 않고 사운드 처리가 필요한 모든 종류의 애플리케이션, 즉 오늘날 우리 주변의 모든 곳에 사용할 수 있습니다.

네, 맞아요. 몇 년 전에 iOS용 Objective-C 오디오 라이브러리를 사용해 보려고 했던 기억이 나는데, 너무 저수준이었고 기본적으로 보이지 않는 경험이었습니다. 네, 저희 모두 그런 경험을 해봤을 거예요.

더 높은 수준의 무언가가 필요하다는 데 동의합니다. 그래서 궁금한 점이 생겼습니다. 이 언어는 메모리 안전한가요? 유형 안전한가요? 그런 문제에 대해 걱정하시나요?

그렇지는 않습니다. Faust가 메모리 측면에서 안전하지 않다는 말은 아니지만 유형 측면에서 Faust는 하나의 유형만 가지고 있습니다. 바로 오디오 신호입니다. 기본적으로 Faust에서 표현할 수 있는 것은 오디오 신호뿐이며, Faust 컴파일러가 저수준에서 int, float 등 무엇이 될지 자동으로 결정합니다. 기본적으로 Faust 컴파일러는 Faust에서 작성한 내용을 자동으로 최적화하여 C, C++ 또는 다른 프로그래밍 언어로 가장 최적화된 코드를 제공합니다. 따라서 유형 측면에서 Faust는 하나의 유형만 가지고 있기 때문에 매우 안전하며, 메모리 관리는 더 낮은 수준에서 이루어집니다. 기본적으로 Faust 컴파일러는 C, C++ 또는 Faust에서 지원하는 모든 언어로 가장 최적화된 코드를 제공합니다. 이론적으로 Faust 컴파일러는 메모리 관리와 관련하여 잘못된 결정을 내리지 않습니다. 따라서 Faust에서는 일반적으로 그런 것에 대해 걱정할 필요가 없습니다.

가비지 수집기가 있기 때문이 아니라 오디오 신호를 체인 아래로 전달할 때쯤이면 더 이상 걱정할 필요가 없기 때문에 자동 메모리 관리를 수행할 수 있는 특별한 경우라고 생각합니다.

네, 맞습니다. 이 경우에는 가비지 수집기가 꼭 필요하지 않습니다. 그리고 실시간 오디오 애플리케이션을 생각해 보면 모든 것이 항상 실행되고 있습니다. 따라서 다시 전자 회로의 패러다임을 예로 들어 보겠습니다. 회로의 왼쪽에서 무언가가 들어오면 항상 오른쪽에서 무언가가 나오고 그 사이에 있는 모든 것이 항상 작동합니다. 따라서 오디오 처리에서는 가비지 수집을 많이 할 필요가 없는 경우가 많습니다. 왜냐하면 모든 것이 항상 실행되고 있기 때문입니다.

네, 맞아요. 라이브 실행 프로세스가 있고, 데이터가 들어오면 데이터가 전송됩니다. 네, 맞습니다.

이제 내부 아키텍처를 살펴보고 싶지만, 한 가지 질문이 더 있습니다. 병렬화가 가능한가요? 여러 코어에서 쉽게 병렬화할 수 있을 것 같습니다.

네, 답은 '예'이기도 하고 '아니오'이기도 합니다. 가장 먼저 고려해야 할 점은 일반적으로 실시간 오디오 처리의 경우 너무 많은 병렬화를 시도하지 않는다는 것입니다. 전통적으로 사람들은 실시간 오디오 애플리케이션에서 병렬화를 많이 하지 않았습니다. 왜냐하면 실시간 오디오 애플리케이션에서 스레드 안전성을 확보하는 것이 꼭 필요하지는 않았기 때문입니다. 실시간 오디오는 프로그래밍에서 매우 특수한 경우입니다. 왜냐하면 실시간 오디오 처리를 수행할 때 실시간 제약 조건이 매우 까다롭기 때문입니다.

이미지 처리나 비디오 처리와 같은 작업을 수행하는 경우 일반적으로 초당 30번, 때로는 초당 60번 새 이미지를 전달해야 합니다. 하지만 이 경우에는 실시간 제약 조건이 그렇게 까다롭지 않습니다. 실시간 오디오 처리의 경우 초당 48,000번 새 샘플을 전달해야 합니다. 샘플 하나를 놓치거나 샘플이 제 시간에 전달되지 않거나 조금이라도 늦으면 소리가 들립니다. 사운드에 미치는 영향은 즉각적이며 사람들은 이를 매우 잘 들을 수 있습니다. 따라서 오디오 처리를 수행할 때는 실시간 제약 조건이 매우 까다롭기 때문에 일반적으로 바이너리로 직접 컴파일되는 저수준 프로그래밍 언어를 사용합니다.

하지만 무슨 질문을 하셨는지 잊어버렸네요.

기타 페달 보드와 같은 비유를 떠올리고 있습니다. 여러 가지를 연결하여 파이프라인을 만들었습니다. 이러한 페달 중 하나를 다른 CPU에 연결하는 것이 얼마나 어려운가요?

아, 이제 질문이 기억났습니다. Faust는 Faust로 작성한 내용을 자동으로 병렬화할 수 있습니다. Faust 컴파일러에는 사용할 수 있는 컴파일 플래그가 있으며, 이 플래그를 사용하여 Faust 컴파일러에서 생성되는 코드의 다양한 옵션을 구성할 수 있습니다. 따라서 Faust 컴파일러에서 생성되는 코드를 자동으로 벡터화하고 병렬화하도록 요청할 수 있습니다.

이 기능은 약 10년 전에 Faust 컴파일러에 구현되었으며 일종의 실험적인 기능이었습니다. 일부 사람들은 다양한 시나리오, 특히 GPU를 사용하여 이 기능을 사용해 보려고 했습니다. GPU에서는 당연히 많은 것을 병렬화할 수 있지만 실제로 사람들은 Faust의 이 기능을 많이 사용하지 않았습니다. Faust 컴파일러에서 생성되는 코드를 자동으로 병렬화하는 기능 말이죠. 따라서 현재 언어의 메인 브랜치에서 지원되는 기능이 아니며, 앞서 말씀드린 것처럼 일반적으로 실시간 오디오 신호 처리를 수행할 때는 병렬화를 많이 하지 않습니다. 일반적으로 디지털 오디오 워크스테이션을 사용하고, 이 디지털 오디오 워크스테이션에서 여러 플러그인을 병렬로 실행합니다.

일반적으로 DAW는 하나의 코어에서 플러그인을 실행하고, 다른 코어에서 다른 플러그인을 실행하려고 하지만, 하나의 플러그인에서 여러 코어에서 여러 가지 작업을 실행하는 것은 일반적이지 않습니다. 왜냐하면 스레드 안전성이 그렇게 높지 않기 때문입니다. 따라서 일반적으로 이러한 종류의 패칭은 디지털 오디오 워크스테이션에서 직접 수행하지만, 작성 중인 플러그인에서 직접 수행하려고 하는 것은 아닙니다. 따라서 Faust 컴파일러의 해당 기능은 많이 사용되지 않았습니다.

그렇군요. 기술적으로는 가능하지만 사용자의 수요가 많지 않기 때문에 일반적으로 코어당 하나의 악기를 실행하는군요. 네, 일반적으로 그렇습니다.

이제 내부 구조를 살펴보고 싶습니다. 함수형 프로그래밍 파이프라인처럼 보이는 Faust 코드를 작성하고 컴파일러인 당신에게 전달하면 다음 단계는 무엇인가요?

Faust 컴파일러가 가장 먼저 하는 일은 Faust 프로그램을 분석하여 DSP 그래프를 만드는 것입니다. 기본적으로 Faust 프로그램을 가져와서 플랫 블록 다이어그램을 만들려고 합니다. DSP 코드 내에서 발생하는 모든 수학 연산의 플랫 블록 다이어그램을 만드는 것입니다. Faust는 다른 많은 프로그래밍 언어와 마찬가지로 라이브러리를 사용할 수 있으므로 모든 것이 Faust 프로그램에 직접 작성되는 것은 아닙니다. 라이브러리를 가져올 수 있으며, 이러한 라이브러리를 통해 함수에 액세스할 수 있으며, 작성 중인 Faust 프로그램, Faust 언어에서 이러한 함수를 호출할 수 있습니다.

Faust 컴파일러가 가장 먼저 하는 일은 기본적으로 필요한 모든 함수를 하나의 큰 파일로 가져와서 기본적으로 모든 것이 포함된 인라인 Faust 프로그램을 만드는 것입니다. 이 단계가 끝나면 Faust 컴파일러는 앞서 말씀드린 DSP 그래프를 만듭니다. 기본적으로 모든 것을 평평하게 만들고 트리를 구성합니다. 입력은 상단에, 출력은 하단에 있으며, 그 사이에 메모리 액세스를 포함하여 DSP 알고리즘을 구현하는 데 필요한 모든 수학 연산이 있습니다. 기본적으로 오디오 DSP 알고리즘을 구현하는 데 필요한 모든 것입니다. 이 단계에 도달하여 DSP 알고리즘의 이러한 저수준 표현에 액세스할 수 있게 되면 Faust 컴파일러는 사용자가 원하는 내용에 따라 Faust 코드에서 생성된 DSP 그래프를 기반으로 여러 프로그래밍 언어로 코드를 생성합니다.

그렇군요. 기본적으로 이 단계가 끝나면 C, C++, 웹 어셈블리 또는 Faust 컴파일러에서 지원하는 모든 백엔드, 모든 프로그래밍 언어를 생성하도록 지정하고, Faust 컴파일러는 DSP 트리의 저수준 표현을 기반으로 이 작업을 수행합니다.

네, 맞습니다. 다른 많은 언어와 마찬가지로 추상 구문 트리 또는 추상 오디오 처리 트리로 볼 수 있는 것으로 전달합니다. 그런 다음 저수준 트리를 읽고 C, C++로 변환하는 여러 가지 방법이 있습니다. 네, 맞습니다.

궁금한 점이 있는데, Zig를 추가하려면 메인 코드베이스를 해킹해야 하나요, 아니면 별도의 프로그램을 제공하면 되나요?

오디오 DSP 프로그램은 결국 그렇게 복잡하지 않습니다. 오디오 DSP 알고리즘은 앞서 말씀드린 것처럼 기본적으로 간단한 기본 수학 연산일 뿐입니다. 따라서 덧셈, 뺄셈, 곱셈, 나눗셈, 삼각 함수 연산을 수행하고 메모리에 저장할 수만 있다면 세상에 존재하는 거의 모든 오디오 알고리즘을 구현할 수 있습니다. 따라서 DSP 알고리즘의 저수준 DSP 표현을 다른 언어로 내보내는 것은 실제로 그렇게 복잡하지 않습니다. 즉, Faust에 새로운 백엔드를 추가하려는 경우, 다른 프로그래밍 언어를 지원하려는 경우 실제로 그렇게 복잡하지 않습니다. 왜냐하면 결국 생성되는 내용이 언어마다 크게 다르지 않기 때문입니다.

하지만 예외가 몇 가지 있습니다. 이러한 예외에 대해 이야기해 보겠습니다. 왜냐하면 꽤 흥미로운 부분이기 때문입니다. 최근에 저희는 Faust를 사용하여 FPGA를 프로그래밍하는 새로운 프로젝트를 진행하고 있습니다. FPGA는 필드 프로그래밍 가능 게이트 어레이입니다. FPGA에 대해 들어본 적이 없거나 들어본 적은 있지만 정확히 무엇인지 모르는 분들을 위해 설명해 드리겠습니다. FPGA는 프로세서의 아키텍처가 고정되어 있지 않고 프로세서를 프로그래밍하는 방법이 내부 전자 회로를 재구성하는 방식으로 이루어지는 매우 특수한 종류의 프로세서입니다. 기본적으로 FPGA로 프로그램을 구현하려면 자체 프로세서를 설계해야 합니다. 즉, FPGA는 하나의 작업만 수행하도록 사용되며, 프로그래밍된 작업만 수행합니다. CPU와 달리 범용적이지 않고 한 가지 작업만 수행하며, 구현한 작업만 수행합니다.

Intel에서 CPU를 가져와서 조금 다르게 작동하도록 하고 싶다고 가정해 보겠습니다. FPGA를 플래싱하여 약간 다른 실리콘 아키텍처처럼 작동하도록 할 수 있습니다. 네, 맞습니다.

FPGA에서 액세스할 수 있는 리소스는 로직 게이트, RAM 블록, 곱셈기 등입니다. 기본적으로 FPGA는 매우 저수준입니다. 네, 맞습니다. 일반적으로 FPGA를 프로그래밍하려면 하드웨어 설명 언어를 사용합니다. 하드웨어 설명 언어는 기본적으로 전자 회로가 FPGA에 배치된 후 어떻게 보일지 설명할 수 있는 프로그래밍 언어입니다. 하드웨어 설명 언어에서는 이 로직 게이트를 이 로직 게이트에 연결하고 이 입력을 가져오며, 이 입력은 아마도 1과 0의 스트림일 것이라고 말합니다. 그리고 이것이 1과 0의 열에서 수행하려는 작업입니다. 매우 저수준입니다. 하드웨어 설명 언어는 세상에 그렇게 많지 않습니다. 주요 언어는 Verilog와 VHDL입니다. 제가 말씀드리고 있는 이 프로젝트의 목표는 Faust에서 직접 VHDL 코드 또는 Verilog 코드를 생성하는 것입니다.

정말 정말 어렵습니다. 정말 정말 어렵습니다. 그래서 앞서 말씀드린 것처럼 예외가 있다고 말씀드린 것입니다. 일반적인 표준 언어의 새로운 백엔드를 Faust에 추가하려면 쉽지만 VHDL 또는 Verilog만큼 저수준인 언어의 백엔드를 추가하려면 훨씬 더 복잡할 수 있습니다. 따라서 저희는 아직도 이 문제로 어려움을 겪고 있습니다. 따라서 대상 언어에 따라 다릅니다.

Faust에서 꿈의 신시사이저를 작성한 다음 실행 프로그램으로 컴파일하는 것뿐만 아니라 하드웨어에 구워서 하드웨어 신시사이저로 만들 수 있다는 아이디어가 마음에 듭니다. 로직 게이트 측면에서 설명하는 것이 이상하다는 것을 알 수 있습니다. 덧셈 연산자 측면에서 설명하는 것보다 훨씬 어려운 이유는 무엇인가요?

이 질문에 대한 답변도 매우 깁니다. 죄송합니다. 가장 어려운 점은 고정 소수점 연산을 처리하는 것입니다. 이런 종류의 작업을 수행할 때 가장 큰 어려움 중 하나입니다. 일반적으로 실시간 오디오 신호 처리를 수행하고 오디오 DSP 알고리즘을 표현하려면 부동 소수점을 사용해야 합니다. 왜냐하면 신호, 즉 전압의 변화에 대해 이야기하고 있기 때문입니다. 아날로그 회로를 다시 생각해 보면 부동 소수점 연산을 사용하여 신호에 대해 수행할 연산을 쉽게 표현할 수 있습니다.

고정 소수점은 복잡합니다. 옛날에도, 그리고 지금도 고정 소수점을 사용하여 오디오 DSP 알고리즘을 작성하는 방법을 아는 DSP 엔지니어가 있습니다. 그 이유는 DSP(디지털 신호 프로세서)와 같이 고정 소수점에서만 작동하는 오디오 신호 처리용 칩이 아직도 있기 때문입니다. 일반적으로 이러한 칩은 저렴하거나 에너지 소비를 최소화하도록 최적화되어 있습니다. 부동 소수점 연산과 고정 소수점 연산은 에너지 소비량이 다릅니다.

질문에 대한 첫 번째 답변은 기본적으로 Faust에서 부동 소수점을 사용하여 오디오 DSP 알고리즘을 표현할 수 있다는 것입니다. 왜냐하면 부동 소수점 측면에서 생각할 필요조차 없기 때문입니다. 기본적으로 십진수를 사용하고 싶을 것입니다. Faust에서는 이 작업을 수행할 수 있으며, Faust 구문의 중요한 부분입니다. 간단한 숫자를 표현할 수 있는 것입니다.

FPGA에는 십진수라는 개념이 없습니다. 왜냐하면 매우 저수준이기 때문입니다. 말 그대로 바이너리 수준까지 내려가는 것입니다.

네, 맞습니다. 로직 게이트에 대해 이야기할 때 당연히 부동 소수점 숫자에 대해 이야기하는 것이 아닙니다. 따라서 FPGA에 적합하게 최적화된 HDL 코드를 생성하려면 Faust 컴파일러 내에서 직접 부동 소수점에서 고정 소수점으로 자동 변환을 지원해야 하며, 이 작업은 간단하지 않습니다.

네, 추가 작업이 상당히 많을 것 같습니다. 그게 첫 번째 이유이고, 다른 이유도 많습니다. 다른 이유는 FPGA를 사용할 때 일반적으로 수행하는 최적화와 관련이 있습니다.

FPGA를 사용할 때 일반적으로 전자 회로를 설계할 때 수행할 수 있는 두 가지 주요 최적화는 계산 병렬화와 파이프라이닝입니다. 계산 병렬화는 CPU 또는 DSP를 사용할 때 쉽게 수행할 수 있는 작업이 아닙니다. 수행할 수는 있지만 CPU 또는 DSP는 병렬화를 위해 설계된 것이 아닙니다. FPGA에서는 CPU 또는 DSP에서는 불가능한 대규모 병렬화를 수행할 수 있습니다. 그리고 파이프라이닝은 기본적으로 FPGA에 이미 할당된 리소스를 재사용하는 것입니다. 동일한 작업을 반복해서 수행하기 위해 FPGA에 이미 할당된 리소스를 재사용하는 것입니다. 예를 들어, 알고리즘에 동일한 일련의 작업이 있고 이 작업을 병렬로 여러 번 실행해야 한다고 가정해 보겠습니다. FPGA의 클럭이 충분히 빠르다면 잠재적으로 해당 작업 청크를 여러 번 재사용하여 병렬로 실행되는 다른 모든 필터의 결과를 계산할 수 있습니다. 이것이 바로 파이프라이닝입니다. 일반적으로 FPGA에서 좋은 성능을 얻으려면 병렬화와 파이프라이닝을 수행해야 하며, 이러한 종류의 작업은 CPU를 다룰 때는 전혀 자연스럽지 않습니다. 즉, C, C++ 또는 더 표준적인 프로그래밍 언어를 대상으로 할 때 Faust에서 일반적으로 수행하는 최적화는 VHDL 또는 Verilog를 대상으로 할 때는 더 이상 적용되지 않습니다. 따라서 복잡합니다. 파이프라이닝, 병렬화, 고정 소수점 숫자 처리가 바로 이러한 특정 언어를 지원하는 데 어려움을 겪는 이유입니다.

네, 이해가 됩니다. 중간 표현이 있다는 것은 체인의 앞부분으로 돌아가서 최적화되지 않은 버전을 가져와서 기존 언어에 맞게 트리를 최적화하거나 하드웨어에 맞게 다른 방향으로 트리를 최적화할 수 있는 두 개의 컴파일러가 있다는 것을 의미하나요?

안타깝게도 그렇게 할 수는 없습니다. 정말 그렇게 할 수 있으면 좋겠지만, 할 수 없습니다. 지금까지 이 특정 프로젝트에서 Faust를 만든 Yann Orlarey는 기본적으로 Faust 컴파일러를 다시 작성하려고 노력하고 있습니다. 왜냐하면 우리가 가지고 있는 내부 표현이 방금 언급한 모든 것과 호환되지 않기 때문입니다.

다시 말씀드리지만, 이것은 새로운 종류의 애플리케이션입니다. 왜냐하면 얼마 전까지만 해도 사람들은 실시간 오디오 애플리케이션에 FPGA를 사용하지 않았기 때문입니다. 따라서 어떤 의미에서는 새로운 것입니다. 따라서 이러한 종류의 애플리케이션에 대해 생각해 본 적이 없고, 신호 처리에 대해 그런 식으로 생각해 본 적이 없습니다. FPGA와 하드웨어 설명 언어를 다룰 때는 여러 면에서 알고 있는 모든 것을 잊어버려야 합니다. 소프트웨어 프로그래머에게는 매우 힘든 일입니다. 따라서 이 프로젝트를 수행하기 위해 저희는 모두 하드웨어 설명 언어를 다루는 방법을 배워야 했습니다. 정말 정말 힘들었습니다.

소프트웨어 프로그래머는 FPGA용 소프트웨어 코드를 작성하고 싶은 유혹을 강하게 느끼지만, 이는 전혀 불가능한 일입니다. 하드웨어 설명 언어는 충분히 고수준이기 때문에 잠재적으로 C 또는 C++ 코드와 같은 코드, 즉 매우 저수준의 C 코드를 작성할 수 있습니다. 하지만 그렇게 하면 최적화되지 않아 프로그램이 실행되지 않을 가능성이 매우 높습니다. 프로그램을 실행하려면 소프트웨어 프로그래머에게는 전혀 자연스럽지 않은 너무나 많은 최적화를 수행해야 합니다. 이러한 모든 이유로 Faust 컴파일러의 일부를 다시 작성해야 했습니다.

네, 이해가 됩니다. 업계에서는 40년대와 50년대에 로직 게이트를 다루고 있다는 사실을 숨기려고 노력했던 것 같습니다. 이제 이러한 종류의 하드웨어를 다루려면 로직 게이트를 다시 받아들여야 합니다. 네, 맞습니다. 어떤 의미에서는 C 또는 C++ 컴파일러를 설계하는 사람들이 익숙한 일입니다. 왜냐하면 가장 밑바닥에서 일어나는 일이 바로 그것이기 때문입니다. 하지만 소프트웨어 프로그래머는 그런 모든 것을 잊어버립니다. C 프로그래머조차도 머신 코드로 변환하는 것에 대해 생각하지, 반드시 AND 게이트에 대해 생각하지는 않습니다. 음악가가 작성할 수 있을 만큼 추상적인 것부터 1과 0까지 다루려고 한다는 것을 생각해 보면 정말 놀랍습니다. 지금까지 다룬 프로젝트 중 가장 광범위한 프로젝트인 것 같습니다.

네, 다시 말씀드리지만 저희에게는 쉽지 않습니다.

그럴 만도 합니다. 알아야 할 것이 정말 많습니다. 이 부분을 마무리하자면, 현재 Faust 프로그램을 작성한 다음 FPGA에서 실행하는 방법은 고수준 합성이라는 것을 사용하는 것입니다. 사운드 합성이라는 의미의 합성이 아니라 완전히 다른 것입니다. 하지만 20~30년 전에 어떤 사람들은 C 또는 C++를 사용하여 FPGA를 프로그래밍할 수 있는 방법이 있을 것이라고 생각했습니다. 대부분의 FPGA 공급업체는 HLS(고수준 합성) 도구를 제공하며, 이 도구를 사용하면 하드웨어 설명 언어가 아닌 더 높은 수준의 언어를 사용하여 FPGA를 프로그래밍할 수 있습니다. 일반적으로 이러한 언어는 C, C++, 경우에 따라 Python입니다. MATLAB도 경우에 따라 사용할 수 있습니다.

네, 하지만 문제는 하드웨어 설명 언어를 사용할 때와 동일한 문제가 발생한다는 것입니다. 즉, 고정 소수점 연산, 파이프라이닝, 대규모 병렬화를 처리해야 합니다. 따라서 C 코드를 가져와서 FPGA에서 실행할 수는 없습니다. FPGA용으로 특별히 설계된 C 코드를 작성해야 하며, 해당 C 코드는 아마도 고수준 합성 도구에서 제공하는 프라그마를 사용하여 코드가 실행될 수 있도록 올바르게 최적화해야 할 것입니다. 따라서 현재 Faust에서 이러한 맥락에서 수행하는 작업은 다시 말씀드리지만 Faust에서 직접 HDL 코드를 생성하는 것이 복잡하기 때문에 지금까지 사용해 온 대안적인 방법이며 매우 잘 작동하고 있습니다. 바로 이러한 고수준 합성 도구를 사용하는 것입니다. 그리고 Faust에서 C 코드를 생성합니다.

고수준 합성에 최적화된 C 코드를 생성합니다. 기본적으로 Faust 프로그램을 작성하고, Faust는 고수준 합성에 최적화된 특정 C 코드를 생성하고, 해당 C 코드를 가져와서 FPGA 공급업체에서 제공하는 HLS 도구에 넣으면 FPGA에 적합하게 최적화된 FPGA 프로그램을 얻을 수 있습니다. VHDL 또는 Verilog로 직접 작성한 것만큼 좋지는 않겠지만 CPU를 사용했을 때보다 훨씬 좋습니다.

한 번에 이동할 수 없다면 두 번에 걸쳐 이동하면 됩니다.

네, 하지만 그래도 어렵습니다. 왜냐하면 Faust 컴파일러에서 직접 파이프라이닝과 병렬화를 처리해야 하기 때문입니다. HLS에서 제공하는 도구가 파이프라이닝과 병렬화를 처리하는 데 도움이 되지만, Faust 컴파일러에서 생성되는 코드에 직접 포함해야 합니다. 쉽지 않습니다.

Yann이 다음 버전을 출시하면 더 깔끔해질까요? 아니면 항상 어려울까요?

좋은 질문입니다. 저희 팀은 FPGA에 매우 관심이 많습니다. 왜냐하면 CPU보다 훨씬 더 많은 연산 능력을 제공하기 때문입니다. 그리고 모든 면에서 FPGA의 성능은 기존 플랫폼보다 뛰어납니다. 예를 들어, 오디오 지연 시간이 큰 장점입니다. 기본적으로 FPGA는 지연 시간이 거의 없습니다. 약간의 지연 시간은 있지만 CPU에 비해 훨씬 짧습니다. 즉, FPGA에서 사운드를 가져와서 FPGA 외부로 출력하는 데 걸리는 시간이 매우 짧습니다. CPU, 디지털 신호 프로세서 또는 다른 처리 시스템에 비해 말이죠. FPGA를 사용하는 또 다른 이유는 잠재적으로 매우 높은 샘플링 속도(전통적으로 사용되는 킬로헤르츠 범위가 아닌 메가헤르츠 범위)로 오디오 DSP 알고리즘을 실행하려는 경우입니다. FPGA에서는 20MHz로 오디오 DSP 알고리즘을 실행할 수 있습니다. 실제로 더 낮은 샘플링 속도로 실행하는 것에 비해 연산 측면에서 그렇게 비싸지 않습니다.

흥미롭네요. 질문이 있는데, 가능한 가장 높은 샘플링 속도를 원하는 극단적인 오디오 애호가만을 위한 것은 아닐 것입니다. 무선 신호 처리와 같은 것을 위한 것인가요?

매우 틈새시장이고 특수한 애플리케이션을 위한 것입니다. 예를 들어, 가상 아날로그 DSP 알고리즘을 만들고 싶다고 가정해 보겠습니다. 아날로그 전자 회로처럼 작동하는 사운드 신시사이저 또는 아날로그 전자 회로처럼 작동하는 필터를 만들고 싶은 것입니다. 일반적으로 DSP 세계에서 이러한 작업을 수행하려고 하면 신호에 불연속성이 발생하여 앨리어싱 문제가 발생합니다.

신호의 급격한 변화는 기본적으로 앨리어싱을 초래합니다. 앨리어싱은 DSP 엔지니어가 항상 처리해야 하는 문제입니다. 앨리어싱을 제거하는 한 가지 방법은 샘플링 속도를 높이는 것입니다. 샘플링 속도를 높이면 나이퀴스트 주파수라고 하는 시스템에서 샘플링할 수 있는 가장 높은 주파수가 높아지기 때문입니다. 이것은 이미 오디오 업계에서 수행되고 있는 작업입니다. 일반적으로 매우 멋진 오디오 녹음 스튜디오라면 일반적으로 오디오 DSP 워크스테이션을 사람의 귀가 실제로 처리할 수 있는 것보다 훨씬 높은 샘플링 속도로 실행합니다.

기본적으로... 우리 머리에는 하드웨어 제한이 있기 때문입니다. 네, 우리 머리의 하드웨어 제한은 기본적으로 40kHz 이상의 샘플링 속도는 우리 귀에는 의미가 없다는 것입니다.

하지만 앨리어싱에는 의미가 있습니다. 샘플링 속도가 충분히 높지 않으면 항상 앨리어싱이 발생할 위험이 있습니다. 따라서 앨리어싱을 제거하는 가장 좋은 방법은 샘플링 속도를 높이는 것입니다. 일반적으로 오디오 DSP 알고리즘은 앨리어싱이 발생하지 않도록 최적화되어 있지만 앨리어싱이 조금 발생하는 오디오 DSP 알고리즘도 있습니다. 가상 아날로그는 일반적으로 그중 하나입니다. 따라서 앨리어싱을 방지하려면 샘플링 속도를 높이는 방법밖에 없습니다. 시중에는 FPGA의 이러한 특성을 활용하는 디지털 키보드가 몇 가지 있습니다. 예를 들어, Novation Summit 키보드가 있습니다. Novation Summit 키보드는 내부적으로 FPGA를 사용하여 일부 오실레이터(20MHz 또는 그와 비슷한 속도로 실행되는 디지털 오실레이터)를 실행합니다. 그 이유는 디지털 오실레이터가 완전히 앨리어싱이 없도록 하기 위해서입니다.

그렇군요. 샘플링 속도가 너무 높아서 아날로그 회로에서 자연적으로 제공되는 것과 거의 동일합니다. 네, 거의 그렇습니다.

이해가 됩니다. 오디오 세계에서 수십 년 동안 계속되는 경쟁을 볼 수 있습니다.

네, 맞습니다. 이러한 모든 이유로 FPGA는 매우 매력적입니다. 따라서 저희는 이러한 종류의 플랫폼을 지원하기 위해 정말 노력하고 싶습니다. 앞서 말씀드린 것처럼 현재 이 작업을 합리적인 방식으로 수행할 수 있는 유일한 방법은 HLS를 사용하는 것입니다. 아마도 미래에는 Verilog 또는 VHDL을 지원할 수 있을 것입니다. 하지만 현재는 여전히 HLS 도구에 의존해야 합니다. 이는 반드시 좋은 일만은 아닙니다. 왜냐하면 이러한 도구는 독점적이고 FPGA 공급업체에서 제공하며 특정 브랜드의 FPGA에서만 작동하기 때문입니다. 즉, HLS 도구용으로 Faust를 사용하여 최적화된 C 코드를 생성하면 특정 브랜드의 FPGA에서만 제대로 작동합니다. 즉, Xilinx, Intel 등 여러 브랜드의 FPGA를 지원하려면 매번 처음부터 다시 작업해야 할 것입니다. 하지만 Faust에서 직접 VHDL 코드 또는 Verilog 코드를 생성할 수 있다면 VHDL 코드는 FPGA마다 동일하게 작동하기 때문에 이러한 문제에 대해 걱정할 필요가 없습니다.

VHDL 코드는 FPGA 브랜드에 관계없이 동일하게 작동합니다.

네, 그렇군요. 제조업체에서 만든 것이 아니라 오랫동안 확립된 표준이기 때문인가요?

네, 맞습니다. 다시 말씀드리지만, FPGA를 프로그래밍하려면 일반적으로 FPGA에서 동일하게 작동하도록 설계된 하드웨어 설명 언어를 사용해야 합니다.

재미있네요. 그래픽 카드의 발전과 비슷한 부분이 있습니다. 전용 하드웨어, 전용 언어가 있어서 사람들이 C#이나 Java에서 호출할 수 있습니다. 예를 들어, "네, 완전히 동의합니다. 바이너리 수준까지 너무 깊이 들어간 것 같으니 다시 돌아가 보겠습니다." 언어 자체로 돌아가 보면, 이 고수준 함수형 언어를 작성하여 오디오를 생성하는 것부터 임시 펌웨어를 굽는 것까지 매우 광범위합니다. 직업의 일환으로 이러한 내용을 가르치고 계신데, 얼마나 깊이 있게 다루시나요? 전통적인 프로그래머가 아닌 사람들에게 이것이 어떻게 작동하는지 어떻게 가르치시나요?

솔직히 말씀드리면 가르치지 않습니다. 오디오 DSP 자체가 매우 광범위한 분야입니다. 최고 수준의 대학교에 다니는 매우 우수한 학생이라도 일반적으로 여기서 이야기한 모든 것을 겉핥기식으로만 배울 수 있습니다.

컴파일, 프로그래밍 언어 설계 등에 관심 있는 학생과 오디오 신호 처리에 관심 있는 학생은 다릅니다.

일반적으로 오디오 DSP를 하는 학생은 전기 공학 전공 학생이고, 컴파일러 제작과 프로그래밍 언어 생성에 관심 있는 학생(요즘에는 그렇게 많은 학생이 관심을 가지지 않습니다)은 일반적으로 컴퓨터 과학 전공 학생입니다. 따라서 저는 이러한 내용을 가르칠 때 Faust에서와 같이 한 수업에서 모두 함께 가르치는 경우는 거의 없습니다. 불가능하기 때문입니다. 때때로 컴퓨터 과학 수업을 가르칠 때 언어 설계 측면에 집중해야 합니다. 하지만 Faust에서와 같이 이 모든 것을 결합할 수 있는 경우는 매우 드뭅니다. 신호 처리, 오디오 신호 처리를 가르치는 도구로 Faust를 사용하는 수업을 가르치기도 합니다. 하지만 Faust가 실제로 어떻게 작동하는지 자세히 다루는 경우는 매우 드뭅니다. 왜냐하면 오디오 신호 처리 자체를 배우는 데 이미 많은 시간이 걸리고, 일반적으로 이 수업은 이미 석사 과정 학생 중 졸업 전 마지막 해 또는 그 전 해의 학생을 대상으로 하기 때문입니다. 저희가 하는 일에 대한 청중은 실제로 그렇게 넓지 않습니다.

이해가 됩니다. 학생들은 전문화 단계에 있을 것입니다. 지금까지 이야기한 내용은 아마도 4가지의 다른 진로를 다루는 것 같습니다.

네, 거의 그렇습니다. 이러한 분야에서 일하게 되는 학생도 있지만 일반적으로 박사 과정 학생입니다. 기본적으로 이러한 작업을 실제로 수행하기 위해 알아야 하는 추가적인 내용을 배울 시간이 있는 학생들입니다.

이러한 내용을 한 수업에서 가르치는 것은 정말 어렵습니다.

네, 그럴 만도 합니다. 아마도 실습부터 시작할 것이라고 생각합니다. 왜냐하면 Faust는 매우 실습적인 언어이고 코드를 입력하면 결과를 직접 들을 수 있기 때문입니다.

네, Faust의 장점은 기본적으로 바로 사용할 수 있다는 것입니다. 웹 브라우저에서 한 줄의 코드만 작성해도 실제로 소리를 얻을 수 있습니다.

저는 개인적으로 그렇게 하지 않습니다. 왜냐하면 그렇게 할 시간이 없기 때문입니다. 하지만 여기에는 중학교와 고등학교에서 실제로 이러한 작업을 하는 동료가 있습니다. 프로그래밍이나 오디오 신호 처리에 대한 배경 지식이 없는 중학생도 쉽게 접근할 수 있습니다. 물론 언어가 배우기 쉽기 때문에 한두 줄의 코드만으로도 간단한 악기나 오디오 효과 프로세서를 위한 코드를 작성할 수 있습니다. 몇 년 전에 AmstrumGram이라는 프로젝트를 진행했습니다. AmstrumGram의 목표는 기본적으로 프로그래밍 가능한 악기를 프로그래밍하여 중학생에게 과학을 가르치는 것입니다.

이 팟캐스트를 듣고 있는 분들은 이해하기 어려울 수도 있지만, 보고 계신 분들을 위해 제가 말하는 악기를 보여드리겠습니다. 그리고 듣고 계신 분들을 위해 설명해 드리겠습니다.

이제 비디오 팟캐스트와 라디오 팟캐스트가 결합되었습니다.

이것이 그라모폰입니다. 그라모폰은 기본적으로 블루투스 스피커처럼 생겼습니다.

딸기잼 병에 노브가 달린 것처럼 생겼네요. 네, 거의 그렇습니다. 이렇게 손에 들 수 있습니다. 뒷면에 끈이 있습니다.

끈을 사용하여 딸기잼 병을 손에 직접 들고 다양한 버튼과 노브를 조작할 수 있습니다. 기본적으로 이 장치는 Faust로 프로그래밍할 수 있습니다. 배터리로 작동하기 때문에 완전히 독립적입니다. 배터리는 약 20시간 동안 지속됩니다. 즉, 꽤 오랫동안 연주할 수 있습니다. 기본적으로 이 장치는 Faust로 프로그래밍할 수 있습니다.

학생들은 이 장치를 프로그래밍하여 소리를 내고, 악기에 있는 다양한 센서를 특정 Faust 프로그램에 매핑하는 방법을 배웁니다. 악기 본체에 장착된 물리적 센서가 있습니다. 노브, 전위차계 등이 있습니다. 하지만 이 악기에는 가속도계, 자이로스코프, 나침반 등의 모션 센서도 내장되어 있습니다. 이러한 모든 센서를 사운드 합성 매개변수에 매핑할 수 있습니다. 예를 들어, 이 악기에서 사인파 오실레이터를 실행하고 사인파 오실레이터의 주파수 매개변수를 가속도계의 x축에 매핑하려는 경우 매우 쉽게 수행할 수 있습니다. Faust에서 한 줄의 코드만 작성하면 됩니다. 그리고 해당 악기를 제 손에 들고 있는 그라모폰으로 내보낼 수 있습니다. 그러면 잠재적으로 가속도계의 x축을 사용하여 주파수를 제어할 수 있습니다. 아마도 공간에서 그라모폰의 방향에 따라 소리가 다르게 들릴 것입니다.

정말 재미있는 학교 수업이 될 것 같네요. 그리고 정말 엉망진창이 될 것 같습니다.

네, 일반적으로 아이들은 이걸 좋아합니다. 왜냐하면 어떤 의미에서는 매우 실감 나기 때문입니다. 하지만 중학생 30명이 이렇게 큰 스피커가 있는 같은 방에서 사인파의 주파수를 모두 함께 조작한다고 생각해 보세요. 정말 힘듭니다. 아마도 제가 이 수업을 담당하지 않는 이유 중 하나일 것입니다.

제 처제는 선생님인데, 아이들의 흥미를 유발하기 위해 더 힘든 일도 해봤습니다. 하지만 저는 그 일을 전혀 부러워하지 않습니다.

아, 네, 저는 그 일을 정말 존경합니다. 그리고 이렇게 인내심이 강한 동료가 있어서 정말 다행이라고 생각합니다. 하지만 정말 정신없는 일입니다. 어쨌든 Faust를 배우고 싶거나 Faust를 사용하고 싶다면 전문가가 될 필요는 없습니다. DSP 엔지니어라면 매우 저수준의 코드를 작성할 수 있지만, 중학생이고 Faust에 이미 구현된 객체를 사용하여 전위차계와 같은 것에 매핑하기만 하면 정말 정말 쉽습니다. 따라서 전문가뿐만 아니라 누구나 쉽게 사용할 수 있습니다.

좋네요. 마지막으로 이 팟캐스트의 청취자를 위한 질문입니다. 숙련된 프로그래머가 이 독특한 프로그래밍 언어를 새로운 분야에서 실험해 보고 싶다면 어디서부터 시작해야 할까요?

가장 먼저 Faust 웹사이트(Faust.grame.fr)를 방문하는 것이 좋습니다. 쇼 노트에 링크를 남겨 놓겠습니다.

네, 이 웹사이트에서 Faust를 시작하는 데 필요한 모든 정보를 얻을 수 있습니다. 그런 다음 좀 더 고급 작업을 하고 싶다면, 몇 년 전에 Faust를 만든 Yann과 함께 Kadenze 플랫폼에 Faust에 대한 온라인 강좌를 녹화했습니다. Kadenze는 K-A-D-E-N-Z-E로 표기합니다. 미국에 기반을 둔 플랫폼이고, 당시 제가 가르치고 있던 스탠퍼드 대학교가 이 플랫폼과 협력하여 온라인 강좌를 제작하고 있었습니다. 따라서 이 플랫폼에서 Faust에 대한 온라인 강좌를 무료로 수강할 수 있습니다. 이 강좌는 5~6년 전에 제작되었기 때문에 조금 오래되었지만 여전히 상당히 최신 내용을 다루고 있습니다. Faust 웹사이트를 방문한 후 Faust를 배우는 다음 단계라고 생각합니다.

네, 거기서부터 시작해 보세요. 그리고 몇 년 후에는 당신의 독특한 물리적 하드웨어 악기가 다음 Taylor Swift 투어에 사용될 수도 있습니다.

글쎄요, 누가 알겠어요?

진짜 돈이 되는 곳이 바로 거기죠.

네, Taylor Swift를 직접 아는 분이 계시고 Taylor Swift가 저희와 협력하는 데 관심이 있을 것 같다면 언제든지 제안해 주세요.

좋습니다. Taylor, 당신이 이 쇼의 열렬한 팬이라는 걸 알고 있습니다. 연락 주세요. 그때까지 Romain, 정말 감사합니다. 제 예상보다 훨씬 넓고 흥미로운 이야기였습니다. 감사합니다.

네, 감사합니다. 초대해 주셔서 감사합니다. 정말 즐거웠습니다.

Romain, 감사합니다. 쇼 노트에서 모든 링크를 확인하세요. 이번 주에는 정말 많은 내용을 다루었습니다. 첫 번째 링크는 브라우저에서 실행되는 Faust 환경으로 연결됩니다. 지금 바로 오디오 파이프라인을 코딩해 볼 수 있습니다. 정말 재미있습니다. 요즘에는 대부분의 사람들이 집에서 일하기 때문에 지금 바로 이상한 소리를 프로그래밍해도 사무실의 다른 사람들에게 방해가 되지 않습니다. 5분만 시간을 내어 연주해 보세요. 저는 실제로 이것을 사용하여 신시사이저의 에코 효과를 프로그래밍했습니다. 정말 쉬웠습니다. 한번 시도해 보세요.

이 에피소드가 마음에 드셨다면 가시기 전에 좋아요, 평점을 남겨 주시고 친구와 공유해 주세요. Developer Voices의 향후 에피소드를 지원하고 싶다면 Patreon에 가입해 주세요. Taylor, 당신을 보고 있습니다. 당신은 충분히 감당할 수 있다는 걸 알고 있습니다. Eras Tour가 끝나면 바로 가입하세요. 이제 그만 마무리해야 할 것 같습니다. 저는 여러분의 호스트 Kris Jenkins였습니다. 지금까지 Romain Michon과 함께한 Developer Voices였습니다. 들어주셔서 감사합니다.