Earshot은 소리 파일을 분석해 “어떤 소리처럼 들리는지” 글로 설명하고 원하는 소리가 들어 있는 구간을 찾도록 돕는 오픈소스 도구입니다. 예를 들어 게임 효과음 파일이 둔탁한 키보드 누름 소리에 가까운지 살피거나 긴 녹음에서 클릭 소리가 나는 순간을 찾을 수 있습니다. 영상의 화면 전환과 효과음이 맞는지도 점검합니다.
개발자 Leon Lin이 공개한 Earshot 공식 GitHub 저장소는 이 도구를 AI 코딩 에이전트의 ‘귀’로 소개합니다. AI 에이전트가 소리 파일을 직접 듣는 대신 분석 결과를 읽고 다음 편집 작업을 결정하도록 만들었습니다. 코드는 MIT 라이선스로 공개돼 개인·상업적 프로젝트에 무료로 사용할 수 있지만 현재 사용법은 명령어와 Python 중심입니다. 이 글은 2026년 11월 9일 공개 자료를 확인해 작성했습니다.
Earshot은 소리를 어떻게 설명하나요?
가령 버튼 효과음 하나를 만들었는데 직접 들어 보니 ‘딸깍’인지 ‘툭’인지 표현하기 어려울 수 있습니다. Earshot의 describe 명령은 소리를 분석하고 키보드 키 누름 같은 가까운 소리 설명 후보와 음량·길이·소리의 밝기 같은 측정값을 제시합니다. 사람처럼 자유롭게 상황을 이해해 긴 감상문을 쓰는 방식은 아닙니다. 결과를 읽을 때는 후보와 근거를 함께 살펴야 합니다.
비슷한 명령도 역할이 다릅니다. match는 “묵직한 키 누름 소리”처럼 적은 설명이 특정 파일에 얼마나 맞는지 살피고 rank는 여러 후보 파일 중 설명에 가까운 순서로 정렬합니다. find는 긴 녹음에서 그런 소리가 들리는 구간을 찾아 시작·끝 시간을 돌려줍니다. 즉 설명하기 → 비교하기 → 필요한 구간 찾기가 이 도구의 기본 흐름입니다.
어떤 작업에 사용할 수 있나요?
- 게임·앱 효과음 고르기: 비슷한 클릭·충돌·알림 소리 파일을 모아 두고 원하는 느낌을 문장으로 적어 후보를 정렬할 수 있습니다. 최종 선택은 사람이 직접 들어 보고 결정하는 편이 좋습니다.
- 긴 녹음에서 순간 찾기: 예컨대 직접 녹음한 여러 번의 키 누름 중 단독으로 깨끗하게 녹음된 순간을 찾는 데
find를 활용할 수 있습니다. 공식 명령을 참고해 든 활용 예시입니다. 제가 직접 처리한 결과는 아닙니다. - 영상·제품 시연 음향 점검:
timeline과sheet는 소리가 언제 시작되고 화면의 컷과 맞는지 살필 자료를 만듭니다.critique는 제작자가 정한 출시 영상의 음향 기준과 비교해 수정 후보를 제시합니다. - 코드로 효과음 만들기:
forge는 소리 합성 코드를 바꿔 효과음 후보를 만들고 분석 결과로 다시 평가합니다.sfx에는 코드로 렌더링하는 효과음 뱅크도 들어 있습니다. 문장 하나만 넣으면 완성된 음악이 나오는 서비스와는 다릅니다.
마지막 두 용도는 특히 영상이나 게임을 코드로 제작하는 사람과 AI 코딩 에이전트에게 유용합니다. 음향을 고르고 화면에 맞출 때 결과를 숫자와 짧은 설명으로 확인할 수 있습니다. 일반 사용자가 파일을 올리고 버튼만 누르는 웹 서비스는 공식 배포 경로에서 확인되지 않았습니다.
AI가 소리를 듣는다는 말의 실제 뜻
Earshot은 공개 음향 AI 모델 두 가지와 소리 측정 기능을 함께 사용합니다. CLAP은 소리와 설명 문장이 얼마나 가까운지 비교하고 AudioSet 분류 모델은 녹음에 들어 있을 법한 소리 종류를 제안합니다. 소리의 크기, 시작 시점, 영상의 컷과 어긋나는 정도 등을 수치로 잽니다. 이 결과를 명령줄 도구(CLI), Python 프로그램, MCP 서버를 통해 AI 에이전트에 전달합니다. MCP는 에이전트가 외부 도구의 기능을 호출하게 하는 연결 방식입니다.
받아쓰기 도구와는 다릅니다. Earshot은 목소리가 있는지 판단할 단서를 줄 수 있지만 사람이 말한 문장을 전사하지는 않습니다. 대화 내용을 글로 옮기려면 별도의 음성 인식(STT) 도구가 필요합니다. 또한 ‘실제 녹음에 가까운 소리’라는 판정만으로 파일의 제작자나 라이선스를 알아낼 수 없습니다.
사용 전 필요한 환경과 설치 방법
일반 사용자는 uv와 FFmpeg·FFprobe를 준비합니다. uv는 Python 도구를 설치하고 실행 환경을 관리해 주는 도구입니다. 코드를 수정할 목적으로 저장소를 직접 내려받는 방법에는 Python 3.10 이상과 Git이 필요합니다. 분석 모델은 CPU에서 실행하며 GPU가 필수는 아닙니다. 첫 모델 사용에는 약 1.1GB의 모델 파일 다운로드가 필요합니다. 이후 캐시가 갖춰지면 로컬에서 동작합니다. 공식 문서에는 컴퓨터의 최소 RAM이나 처리 속도를 보장하는 수치가 없습니다. 제작자 설명에 따르면 매번 새 명령을 실행할 때 모델을 다시 읽는 데 약 20~40초가 걸릴 수 있습니다. 여러 작업을 할 때는 MCP 서버나 Python API가 낫습니다.
uv로 설치하고 소리 파일 분석하기
공식 uv 설치 문서에서 운영체제에 맞는 방법으로 uv를 설치합니다. FFmpeg와 FFprobe도 터미널에서 명령을 찾을 수 있게 준비한 뒤 첫 줄을 실행하세요. 둘째 줄은 약 1.1GB의 모델을 미리 내려받고 셋째 줄은 소리 파일을 분석합니다. sample.wav는 실제 파일 경로로 바꿉니다.
uv tool install "earshot[mcp] @ git+https://github.com/Leonxlnx/earshot"
earshot doctor --fetch
earshot describe sample.wav텍스트를 직접 선택해 복사할 수 있습니다.
코드를 수정하려는 개발자용 설치 방법
아래 명령은 공식 설치 안내의 macOS·Linux 형식입니다. 터미널은 명령어를 입력하는 앱이고 .venv는 이 프로젝트만을 위한 Python 환경입니다. FFmpeg·FFprobe 명령어를 실행하려면 설치 경로가 PATH에 잡혀 있어야 합니다.
git clone https://github.com/Leonxlnx/earshot
cd earshot
python -m venv .venv
.venv/bin/python -m pip install torch --index-url https://download.pytorch.org/whl/cpu
.venv/bin/python -m pip install -e ".[mcp,llm,dev]"
.venv/bin/python -m earshot doctor --load
.venv/bin/python -m earshot describe sample.wav텍스트를 직접 선택해 복사할 수 있습니다.
doctor --load는 설치된 도구와 모델 로딩 상태를 점검합니다. 마지막 줄의 sample.wav는 실제로 분석할 소리 파일의 경로로 바꿔야 합니다. 공식 안내의 [mcp,llm,dev]는 MCP·선택적 외부 LLM 기능·개발용 의존성을 함께 설치하는 형식입니다. 외부 Gemini 분석은 별도 API 키와 명시적 업로드 옵션을 사용할 때만 호출됩니다. 일반적인 로컬 분석에 음성 파일을 자동 업로드하는 기능으로 이해하면 안 됩니다.
Windows에서는 공식 README가 가상 환경 Python 경로를 .venv/Scripts/python으로 바꾸라고 안내합니다. 다만 위 전체 절차를 Windows에서 직접 실행해 검증하지 않았으므로 Windows 설치 성공이나 속도는 단정하지 않습니다. 이 방법은 소스 코드를 내려받아 개발 환경을 준비하는 방식입니다.
공식 GitHub 저장소가 새 탭에서 열립니다. 버튼이 프로그램을 자동 설치하지는 않습니다.
결과를 믿을 때 주의할 점
제작자는 한계 문서에서 효과음이 개별로 또렷하게 들리면 종류를 비교하고 음량과 시점을 재는 데 유용하다고 밝힙니다. 음악과 여러 소리가 겹친 장면의 개별 소리 이름은 추정에 가깝다고 덧붙입니다. 음악의 분위기나 취향이 갈리는 ‘좋은 소리’ 여부도 정확히 판정할 수 없습니다. 영상 음향 평가표는 제작자가 고른 출시 영상 7편의 스타일을 기준으로 하므로 모든 장르에 적용할 점수표가 아닙니다.
따라서 Earshot이 “키보드 소리에 가깝다”거나 “화면 전환보다 조금 늦다”고 알려 주면 편집할 위치를 좁히는 단서로 쓰는 것이 적절합니다. 실제 게임·영상에 넣을 최종 소리는 직접 듣고 확인해야 합니다. 특히 소리의 원본·저작권·녹음 동의 여부는 이 도구가 판별하지 못합니다.
라이선스와 상업적 이용
Earshot 프로그램 코드는 MIT 라이선스여서 개인 작업과 상업적 프로젝트에서 무료로 사용·수정할 수 있습니다. 코드를 복사하거나 재배포할 때는 원 저작권 표시와 라이선스 문구를 함께 포함해야 합니다. 이는 공식 LICENSE에 명시된 코드 이용 조건입니다.
첫 실행에 내려받는 CLAP 모델은 Apache-2.0, AudioSet 분류 모델은 BSD-3-Clause로 표시됩니다. 코드를 제품에 묶어 배포한다면 포함한 모델과 의존성의 고지 조건도 별도로 적용됩니다. Earshot의 코드 라이선스가 입력한 녹음, 외부 참고 효과음, 음악의 사용 권한까지 부여하지는 않습니다. 공식 자료에서는 코드로 생성한 효과음의 소유권을 모든 상황에 걸쳐 따로 정한 문구를 확인하지 못했습니다. 상업용 결과물은 사용한 원본·참고 자료의 권리와 배포 조건을 구분해 다뤄야 합니다.
이 글은 AI의 도움으로 작성했으며 Earshot 공식 README·설치 안내·한계 문서·LICENSE와 두 기반 모델 카드를 2026년 11월 9일 확인했습니다. 대표 이미지와 본문 그림은 AI 제작 개념 일러스트입니다. 프로그램을 직접 설치해 소리 분석 결과를 재현하지는 않았습니다.
