고양이 두 잔

몇 점 눈송이가 겨울을 데리고 왔다편백의 숲으로 여독에 물든 것들은왜 추운 바람 냄새를 묻히고 다니는 걸까, 관성처럼기다리는 안부는 멀고희망이 가장 먼저 죽는다는 말을 의심해 보기로 한다두고 온, 나를 잊을 수 없다편백나무의 기억을 기억하는 어느 화가처럼 어둠일수록 별을 아끼는 이유다가올 문장들이 기록된 문장들의 주석이 되어서는 안 된다해석에의 동경보다 오독을 즐겨할 것언제일까 스스로 귀를 자를, 문장의 시간두통의 잉여를 달래는 요법이마에 물먹은 편백나무 한 조각 올려놓는다피톤치드 피톤치드소리 없이 속삭이는 별들두고 간, 화집 속엔 차갑게 타오르는 편백나무여독의 몸이 보내온추운 바람 냄새가 닿을 것 같은 밤, 관성처럼기다리지 않는 안부는 가깝고희망이 가장 나중에 죽는다는 말을 의심해 보기로 한다죽음보다 ..

목차 TL;DR전이 학습 글은 사전 학습된 모델을 새 과제에 맞추는 두 길 중 하나로 「미세 조정」을 한 문장 적고 멈췄다.그 길은 모델의 모든 파라미터를 다시 학습하는 것이라 GPT-3 175B에서는 과제마다 350 GB짜리 사본이 하나씩 생긴다.LoRA는 사전 학습 가중치를 그대로 동결하고 가중치의 변화량만 두 얇은 행렬의 곱으로 학습한다. 두 행렬 중 하나는 0에서 시작하므로 학습은 사전 학습 모델과 정확히 같은 곳에서 출발한다.곱의 랭크 상한 $r$은 1에서 8이면 충분했고,GPT-3에서 학습 파라미터 4.7M으로 세 과제 중 둘은 전체 파인튜닝을 넘고 하나는 변동폭 안에서 같았다. 배포할 때는 두 행렬의 곱을 원래 가중치에 더해 두므로 추론 시간이 늘지 않는다.논문의 수를 다시 센 결과는 이렇다..

목차 TL;DR앞 편의 제곱합 벌점은 계수를 줄이기만 하고 0으로 만들지는 않았다.벌점을 절댓값 합으로 바꾸면 계수가 정확히 0이 되는 경우가 생긴다.0은 절댓값이 미분되지 않는 점이고, 그래서 미분 대신 서브그래디언트로 조건을 쓴다. 0에서는 서브그래디언트의 집합이 구간이라 작은 상관을 전부 흡수한다.직교 설계에서는 답이 닫힌 형태로 나오고 그것이 soft-thresholding이다.최소제곱 추정값을 벌점 계수만큼 0 쪽으로 옮기고 부호가 바뀌면 0으로 만든다. 벌점 계수가 임계값을 넘으면 모든 계수가 0이 되고, 직교가 아니면 좌표 하강법이 한 좌표씩 같은 연산을 반복한다.상관 높은 변수 그룹에서 하나만 남기는 한계는 Elastic Net이 보완한다.임계값 5에서 두 계수가 0이 되고 바로 아래에서 ..

목차 TL;DR최소제곱은 정규방정식 하나로 끝나지만 그 식은 'XᵀX'가 뒤집힌다는 전제 위에서만 성립한다.설명 변수 둘이 거의 같은 방향을 가리키면 그 전제가 실질적으로 깨지고 계수가 표본마다 크게 흔들린다.Ridge는 그 자리에서 대각에 상수를 더하는 것 하나로 답하고, 그 한 줄이 이 글 전체가 뜯어보는 조작이다. 앞 편이 세운 제약 꼴과 벌점 꼴의 대응이 여기서 처음 값으로 쓰인다.더한 상수가 하는 일은 방향마다 다르다. 설계행렬을 특잇값으로 갈라 보면 작은 특잇값 방향이 더 세게 눌리는 것이 보인다.흔들림이 큰 방향을 골라 누르는 셈이고 그것이 이 방법이 다중공선성에 듣는 이유다. 같은 조작을 계수를 0으로 끌어당기는 가짜 관측 몇 개를 자료에 쌓는 일로 읽을 수도 있고,그러면 벌점 없는 최소제..

목차 TL;DR계수의 크기를 일정 범위 안에 묶으라는 요구에서 출발한 문제가, 손실 함수 뒤에 벌점 항을 하나 더한 꼴로 다시 쓰인다.그 둘이 같은 문제라는 진술은 거의 어디에나 나오지만 그것이 성립하는 조건까지 적는 글은 드물다.이 글은 라그랑주 승수법으로 등식 제약을 다루고 KKT 조건으로 부등식까지 넓혀 그 조건을 세운다. Ridge와 Lasso가 왜 그런 모양에서 출발하는지가 여기서 정해진다.제약이 붙으면 미분해서 0으로 놓는 방법이 통하지 않는다.움직일 수 있는 방향이 제약 곡면 위로 제한되어 모든 방향에서 함숫값이 안 변할 필요가 없어지기 때문이다. 최적점에서는 목적 함수와 제약 함수의 두 그래디언트가 나란해지고 그 비율이 곧 라그랑주 승수다.목적 함수가 2차이고 제약이 선형이면 그 조건 전체..

목차 들어가며이 글은 내가 불편해서 기획했다. 같은 파일 하나를 두고 사람들이 부르는 이름이 열 개쯤 된다. 회의 녹음에서 한 사람 목소리만 뽑는 일을 누구는 추출이라 하고 누구는 분리라 하며,어떤 자리에서는 아예 그것을 인식 문제로 부른다. 논문을 읽다 보면 AV-TSE와 TSE와 PSE가 한 문단에 함께 나오고,검색창에 TSE를 치면 목표 화자 추출과 목표 소리 추출이 뒤섞여 돌아온다. 그때마다 원문으로 돌아가 정의를 다시 읽어야 했다. 같은 확인을 몇 번이나 되풀이하면서 답답했고,한자리에 정리해 둔 글을 찾지 못해 직접 만들었다. 이 글은 그 이름들을 한자리에 놓고 서로 무엇이 다른지 적는다. 순서대로 읽지 않아도 된다. 이 글은 논문 리뷰가 아니라 찾아보는 글이라,필요한 약어 하나만 열고 닫아도 ..

목차 TL;DR앞 편은 실제 대화 녹음에서 목표 화자를 뽑는 챌린지를 읽었고, 그 채점의 한 축이 받아쓰기 오류율이었다.그 오류율을 낸 것이 이 편이 읽는 Zipformer이고, 그것을 그대로 둘지가 이번 자리다.Zipformer는 음성 인식 인코더이고 Conformer를 대신하겠다고 내건 논문이다. 바꾼 것은 넷이다.초당 프레임 수를 50에서 6.25까지 내렸다가 다시 25로 올리는 구조를 세우고,블록 안에서 어텐션 가중치를 한 번 계산해 세 자리가 나눠 쓰게 하고, 정규화와 활성화 함수와 학습 알고리즘을 함께 갈았다. 가운데 스택이 느리게 도는 대신 넓어지는 것이 이 얼개의 요점이다.저자가 낸 체크포인트와 학습 로그를 열어 다시 셌다.파라미터 65,549,011이 체크포인트와 로그와 우리가 세운 모델..

목차 TL;DR앞 편은 화면에 함께 있는 다른 얼굴을 단서로 더한 추출기를 읽었고 그 처리에 지연이 얼마까지 허용되는지를 남겼다.이번 논문은 모델이 아니라 챌린지의 보고다.회의실과 카페와 집과 차 안에서 실제로 오간 중국어와 영어 대화를 그대로 평가에 쓰고, 낮은 지연으로 도는 온라인 트랙과 전체를 다 보는 오프라인 트랙을 나눠 열여덟 팀의 스물네 시스템을 받았다.온라인 트랙의 예산은 end-to-end 알고리즘 지연 100 ms다.창과 미래를 미리 보는 폭과 청크를 모으는 시간이 다 그 안에 들어야 하고 기계의 연산과 입출력에 걸리는 시간은 빠진다. 실제 대화에는 깨끗한 정답 음성이 없어 채점은 받아쓰기 오류율과 등록 음성과의 화자 유사도와 참조 없이 품질을 추정하는 점수와 목표 화자가 말하는 구간..

목차 TL;DR앞 편은 등록 음성을 갈아 끼우는 게이트를 읽었고 그것이 오래 닫히는 구간을 남겼다.이 논문에서 없어지는 단서는 목표 화자의 얼굴이 아니라 화면에 함께 있는 다른 얼굴이다.그 사람이 말하고 있는지가 목표 화자의 소리를 가르는 단서가 되고 ISAM은 그 얼굴들을 배치로 합쳐 넣은 뒤 블록 끝마다 화자 사이에서 self-attention을 한 번 하는 0.2M짜리 모듈이다. 문제는 다른 얼굴이 늘 있지는 않다는 것이다.논문은 학습 중에 이 모듈을 가끔 건너뛰어 얼굴이 하나뿐일 때도 백본 그대로 돌게 만든다.VoxCeleb2 2화자 혼합에서 AV-TFGridNet-ISAM은 목표 얼굴만 볼 때 13.9 dB이고 두 얼굴을 볼 때 14.5 dB이며 ISAM 없는 AV-TFGridNet은 13.7..

목차 TL;DR앞 편이 설계한 어댑터는 동결한 백본에 뱅크를 끼우는 자리였고, 그 뱅크에 무엇을 넣을지는 열려 있었다.EvoTSE는 등록 음성을 녹음해 둔 한 토막으로 고정하지 않는다.한 세션을 이어지는 과정으로 보고 지금까지 뽑아낸 결과 가운데 믿을 만한 것을 골라 등록 음성을 매 걸음 다시 만든다. 그렇게 하면 뱅크가 스스로 오염될 수 있다. 잘못 뽑은 세그먼트가 다음 걸음의 기준이 되고 오류가 쌓이기 때문이다.이 논문이 그 자리에 넣은 것이 신뢰도 임계값 τ 하나다.논문이 WSJ으로 학습한 모델에서 그 값을 0.0으로 두면 SI-SDRi가 1.03 dB, 0.5로 두면 10.73 dB라 적는데 그 두 값의 차가 9.70 dB이고 걸러내지 않은 1.03은 등록 음성을 고정한 기준선 2.09보다도 낮..