티스토리

Notes

검색하기

블로그 홈

Notes

sequencedata.tistory.com/m

KeepPersistStay 님의 블로그입니다.

구독자: 4

방명록 방문하기

주요 글 목록

UTF-8, Byte-level BPE (BBPE) "안녕, teacher 의성"이라는 문장을 UTF-8 인코딩과 byte-level BPE를 활용해 처리하는 과정을 설명해 볼게요.1. UTF-8 인코딩 과정UTF-8은 유니코드 문자를 바이트(byte)로 변환하는 방식입니다. 예를 들어, "안녕, teacher 의성" 문장을 UTF-8로 변환하면 각 글자가 바이트 시퀀스로 표현됩니다."안": EC 95 88"녕": EB 85 95",": 2C (ASCII 문자)" ": 20 (공백)"t": 74"e": 65"a": 61"c": 63"h": 68"e": 65"r": 72" ": 20 (공백)"의": EC 9D 98"성": EC 84 B1이렇게 UTF-8 인코딩을 사용하면 각 문자와 기호가 바이트 시퀀스로 변환됩니다.2. Byte-Level BPE 과정Byt.. 공감수 5 댓글수 4 2024. 10. 9.
Public Speech Datasets for ASR OWSM v1, v2, and v3: Refer the paper OWSM v1 AISHELL-1 [23], CoVoST2 [24], GigaSpeech [25], LibriSpeech [26], MuST-C [27], SPGISpeech [28] TEDLIUM3 [29]. OWSM v2 builds upon v1 and includes additional datasets: GigaST [30] Multilingual LibriSpeech [31] WenetSpeech [32]. OWSM v3 extends v2 with even more datasets: AIDATATANG [33], AMI [34], Babel [35], Common Voice [36], Fisher (Switchboard) [37].. 공감수 2 댓글수 0 2023. 11. 18.
Public Speech Datasets for ASR (details) Dataset Name Data Size (Hours) Source Description LibriSpeech 960 LibriSpeech A corpus of read English speech from LibriVox project, segmented and aligned, 16 kHz sampling rate. Fisher Corpus Part 1: 984, Total: >2000 Fisher Corpus Part 1 Transcripts Spontaneous telephone conversations in English, recorded for linguistic research. Switchboard-1 Dataset 260 Switchboard-1 English telephone convers.. 공감수 0 댓글수 0 2023. 11. 18.
16 Bit, 16kHz wav 데이터 사이즈 계산 (Calculation of 16 Bit, 16kHz wave data size) 음성 데이터 관련해서 맨날 까먹고 헷갈리는 간단한 내용에 대해 메모합니다. 만약 이런 질문이 있다면, 어떤식으로 계산할 수 있을까요? 16kH, 16 Bit인 Wave 파일들 여러개의 총 용량이 500GB 일 때, 해당 Wav 파일들의 총 몇시간인가? 우선 단위에 대해서 정리를 해보겠습니다. 1) 연산 단위 1 KByte = 1024 Byte 1 MByte = 1024 KByte 1 GByte = 1024 MByte 2) 샘플링 레이트 (Sampling Rate) 1 KHz = 1024 Hz (초당 1024 Byte) 16 KHz = 16 * 1024 Hz (초당 16 * 1024 Byte) 3) 비트 레이트 (Bit Rate) 16 Bit = 2 Byte 이제 16kH, 16 Bit인 Wave 1초짜리.. 공감수 2 댓글수 0 2021. 5. 14.
[기본] 음성 신호 처리 - 시간영역/주파수영역 분석 개요 음성 인식, 음성 합성, 오디오 신호 처리 등의 기술을 익히기 위해서는 신호에 대한 기본적인 지식과 컴퓨터 상에서 다룰 수 있는 능력이 있어야 합니다. 신호는 시간 영역과 주파수 영역에서 분석할 수 있으며 파이썬으로 Librosa 라이브러리를 사용하여 손쉽게 분석이 가능합니다. 오디오 파일 Load 오디오 파일은 일반적으로 wav, pcm 등의 형식으로 저장되며 sampling 개념을 사용하여 디지털화 됩니다. 오디오 데이터 처리를 위해 대표적으로 사용하는 Python 라이브러리는 librosa 입니다. librosa를 사용하여, 오디오 파일을 로드 해보겠습니다. import librosa audio_data = 'example.wav' # 오디오 파일은 명시된 특정 샘플 속도 (sr)로 샘플링 된.. 공감수 1 댓글수 0 2020. 9. 18.
16비트 고정소수점, 32비트 부동소수점 WAV 파일 (16-bit fixed point, 32-bit floating point WAV file basics) 개요 이번 글에서는 16 비트 고정 소수점(16-bit fixed point), 24 비트 고정 소수점(24-bit fixed poin), 32 비트 부동 소수점(32-bit floating point) 오디오 파일의 차이에 대해 설명한다. 16-bit fixed point WAV File 기존의 16비트 WAV 파일은 압축되지 않은 오디오 샘플을 저장하며, 각 샘플들은 16 자리(이진수 = "Bit")의 이진수로 표현된다. 이 숫자들은 정수(소수점이 없는)이기 때문에 "Fixed-Point"이다. 이진 형식의 16비트 번호는 0에서 65535(2^16)까지의 정수를 나타낸다. 이 숫자 값은 signal amplitude에 해당하는 discrete voltage level을 나타낸다. 65535는 신호가.. 공감수 1 댓글수 0 2020. 7. 22.
[Microphones] 제품 개발을 위한 엔지니어링 마이크 선택 시 참고사항 General challenges in incorporating microphones 제품에 들어가는 엔지니어링 마이크는 일반적으로 마이크와 그 어플리케이션에 내재된 문제로 복잡하다. 대부분의 마이크에 내재된 한 가지 문제는, 낮은 신호 대 잡음 비율(SNR)이다. 우리는 보통 오디오 전자장치로 90dB 이상의 SNR을 예상하지만, 일반적인 마이크는 60dB의 범위에서 SNR을 가진다. 이 문제를 복잡하게 만드는 것은 마이크가 종종 큰 dynamic range를 커버해야 한다는 것이다. 마이크에 30dB SPL만큼 조용한 소리가 들어갈 수도 있고, 1초 후에 2cm 거리에서 110dB SPL로 소리치는 인간의 목소리 또는 가까운 거리에서 130dB만큼 크게 울리는 드럼을 다룰 수 있다. 이 높은 dyna.. 공감수 0 댓글수 0 2020. 6. 18.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.