고양이 두 잔

목차 TL;DR얼굴로 사람을 확인하는 일은 두 가지다.사용자가 이름을 먼저 대면 등록된 얼굴 하나와 견주고 대지 않으면 등록된 전체를 검색한다.이 차이는 이 지표 이름까지 정리해 두었으므로 이 글은 그 정리를 다시 만들지 않는다. 이 글이 더하는 것은 그다음이다. 검색하는 쪽이 한 가지가 아니다.갤러리에 답이 있다고 보느냐 없을 수도 있다고 보느냐로 한 번 나뉘고,판정을 기계가 하느냐 사람이 후보를 검토하느냐로 다시 나뉜다. 두 축은 서로 독립이라 한쪽 이름으로 다른 쪽을 부르면 틀린다.뒤쪽 구분은 지표의 정의까지 바꾼다.NIST는 같은 알고리즘을 두 모드로 따로 재는데 FNIR이라는 한 이름이 모드마다 다른 것을 센다. 한쪽은 정답이 기준선을 넘었는지를 세고 다른 쪽은 정답이 1위인지를 센다.공개 표에..

목차 TL;DR이전 글 중 편은 프레임 여러 장을 하나의 판정으로 합치는 곳까지 다뤘다.그 편의 결론은 판정이 한 시점의 값이 아니라 한 구간에 대한 값이 된다는 것이었다.그 구간이 지난 뒤에 무엇을 믿어야 하는지는 인증 규격과 정책의 문제로 남았다. 현행 규격은 그 일을 세 주체로 나눈다.얼굴을 보고 서명까지 하는 Authenticator, 그것을 전달하는 클라이언트, 그 서명을 공개키로 검증하는 신뢰 당사자다.얼굴은 첫 번째 주체 안에서만 쓰이고 서버로 가지 않는다. 서버가 받는 것은 얼굴도 점수도 아니고 사용자 검증이 일어났다는 표시와 서명이다.그래서 WebAuthn도 CTAP도 얼굴의 정확도를 직접 재지 않는다. 그 값은 FIDO가 별도 인증 프로그램에서 재고 등급으로 준다.등급 이름에 붙는 더..

목차 TL;DR이전 글 중 편은 얼굴 인식이 한 장을 받는다는 전제로 검출과 정렬을 다루고,정렬 품질을 다루는 절에서 프레임마다 랜드마크 좌표가 달라져 임베딩도 함께 이동한다는 것을 적었다. 얼굴 검출과 정렬: 얼굴을 찾고 반듯하게 세우기 | 얼굴인식과 생체인증 (3) 얼굴 검출과 정렬: 얼굴을 찾고 반듯하게 세우기 | 얼굴인식과 생체인증 (3)목차 얼굴인식과 생체인증라이브니스는 왜 별개의 문제인가 | 얼굴인식과 생체인증 (1)생체인증 용어 사전: FAR부터 PAD, ISO 30107까지 | 얼굴인식과 생체인증 (2)얼굴 검출과 정렬: 얼굴을 찾고 반듯gnidinger.tistory.com그 편은 완화책 둘까지 이름으로 남겼다. 시간축으로 좌표를 다듬는 것과 여러 프레임의 임베딩을 평균 내는 것이다. ..

몇 점 눈송이가 겨울을 데리고 왔다편백의 숲으로 여독에 물든 것들은왜 추운 바람 냄새를 묻히고 다니는 걸까, 관성처럼기다리는 안부는 멀고희망이 가장 먼저 죽는다는 말을 의심해 보기로 한다두고 온, 나를 잊을 수 없다편백나무의 기억을 기억하는 어느 화가처럼 어둠일수록 별을 아끼는 이유다가올 문장들이 기록된 문장들의 주석이 되어서는 안 된다해석에의 동경보다 오독을 즐겨할 것언제일까 스스로 귀를 자를, 문장의 시간두통의 잉여를 달래는 요법이마에 물먹은 편백나무 한 조각 올려놓는다피톤치드 피톤치드소리 없이 속삭이는 별들두고 간, 화집 속엔 차갑게 타오르는 편백나무여독의 몸이 보내온추운 바람 냄새가 닿을 것 같은 밤, 관성처럼기다리지 않는 안부는 가깝고희망이 가장 나중에 죽는다는 말을 의심해 보기로 한다죽음보다 ..

목차 TL;DR전이 학습 글은 사전 학습된 모델을 새 과제에 맞추는 두 길 중 하나로 「미세 조정」을 한 문장 적고 멈췄다.그 길은 모델의 모든 파라미터를 다시 학습하는 것이라 GPT-3 175B에서는 과제마다 350 GB짜리 사본이 하나씩 생긴다.LoRA는 사전 학습 가중치를 그대로 동결하고 가중치의 변화량만 두 얇은 행렬의 곱으로 학습한다. 두 행렬 중 하나는 0에서 시작하므로 학습은 사전 학습 모델과 정확히 같은 곳에서 출발한다.곱의 랭크 상한 $r$은 1에서 8이면 충분했고,GPT-3에서 학습 파라미터 4.7M으로 세 과제 중 둘은 전체 파인튜닝을 넘고 하나는 변동폭 안에서 같았다. 배포할 때는 두 행렬의 곱을 원래 가중치에 더해 두므로 추론 시간이 늘지 않는다.논문의 수를 다시 센 결과는 이렇다..

목차 TL;DR앞 편의 제곱합 벌점은 계수를 줄이기만 하고 0으로 만들지는 않았다.벌점을 절댓값 합으로 바꾸면 계수가 정확히 0이 되는 경우가 생긴다.0은 절댓값이 미분되지 않는 점이고, 그래서 미분 대신 서브그래디언트로 조건을 쓴다. 0에서는 서브그래디언트의 집합이 구간이라 작은 상관을 전부 흡수한다.직교 설계에서는 답이 닫힌 형태로 나오고 그것이 soft-thresholding이다.최소제곱 추정값을 벌점 계수만큼 0 쪽으로 옮기고 부호가 바뀌면 0으로 만든다. 벌점 계수가 임계값을 넘으면 모든 계수가 0이 되고, 직교가 아니면 좌표 하강법이 한 좌표씩 같은 연산을 반복한다.상관 높은 변수 그룹에서 하나만 남기는 한계는 Elastic Net이 보완한다.임계값 5에서 두 계수가 0이 되고 바로 아래에서 ..

목차 TL;DR최소제곱은 정규방정식 하나로 끝나지만 그 식은 'XᵀX'가 뒤집힌다는 전제 위에서만 성립한다.설명 변수 둘이 거의 같은 방향을 가리키면 그 전제가 실질적으로 깨지고 계수가 표본마다 크게 흔들린다.Ridge는 그 자리에서 대각에 상수를 더하는 것 하나로 답하고, 그 한 줄이 이 글 전체가 뜯어보는 조작이다. 앞 편이 세운 제약 꼴과 벌점 꼴의 대응이 여기서 처음 값으로 쓰인다.더한 상수가 하는 일은 방향마다 다르다. 설계행렬을 특잇값으로 갈라 보면 작은 특잇값 방향이 더 세게 눌리는 것이 보인다.흔들림이 큰 방향을 골라 누르는 셈이고 그것이 이 방법이 다중공선성에 듣는 이유다. 같은 조작을 계수를 0으로 끌어당기는 가짜 관측 몇 개를 자료에 쌓는 일로 읽을 수도 있고,그러면 벌점 없는 최소제..

목차 TL;DR계수의 크기를 일정 범위 안에 묶으라는 요구에서 출발한 문제가, 손실 함수 뒤에 벌점 항을 하나 더한 꼴로 다시 쓰인다.그 둘이 같은 문제라는 진술은 거의 어디에나 나오지만 그것이 성립하는 조건까지 적는 글은 드물다.이 글은 라그랑주 승수법으로 등식 제약을 다루고 KKT 조건으로 부등식까지 넓혀 그 조건을 세운다. Ridge와 Lasso가 왜 그런 모양에서 출발하는지가 여기서 정해진다.제약이 붙으면 미분해서 0으로 놓는 방법이 통하지 않는다.움직일 수 있는 방향이 제약 곡면 위로 제한되어 모든 방향에서 함숫값이 안 변할 필요가 없어지기 때문이다. 최적점에서는 목적 함수와 제약 함수의 두 그래디언트가 나란해지고 그 비율이 곧 라그랑주 승수다.목적 함수가 2차이고 제약이 선형이면 그 조건 전체..

목차 들어가며이 글은 내가 불편해서 기획했다. 같은 파일 하나를 두고 사람들이 부르는 이름이 열 개쯤 된다. 회의 녹음에서 한 사람 목소리만 뽑는 일을 누구는 추출이라 하고 누구는 분리라 하며,어떤 자리에서는 아예 그것을 인식 문제로 부른다. 논문을 읽다 보면 AV-TSE와 TSE와 PSE가 한 문단에 함께 나오고,검색창에 TSE를 치면 목표 화자 추출과 목표 소리 추출이 뒤섞여 돌아온다. 그때마다 원문으로 돌아가 정의를 다시 읽어야 했다. 같은 확인을 몇 번이나 되풀이하면서 답답했고,한자리에 정리해 둔 글을 찾지 못해 직접 만들었다. 이 글은 그 이름들을 한자리에 놓고 서로 무엇이 다른지 적는다. 순서대로 읽지 않아도 된다. 이 글은 논문 리뷰가 아니라 찾아보는 글이라,필요한 약어 하나만 열고 닫아도 ..

목차 TL;DR앞 편은 실제 대화 녹음에서 목표 화자를 뽑는 챌린지를 읽었고, 그 채점의 한 축이 받아쓰기 오류율이었다.그 오류율을 낸 것이 이 편이 읽는 Zipformer이고, 그것을 그대로 둘지가 이번 자리다.Zipformer는 음성 인식 인코더이고 Conformer를 대신하겠다고 내건 논문이다. 바꾼 것은 넷이다.초당 프레임 수를 50에서 6.25까지 내렸다가 다시 25로 올리는 구조를 세우고,블록 안에서 어텐션 가중치를 한 번 계산해 세 자리가 나눠 쓰게 하고, 정규화와 활성화 함수와 학습 알고리즘을 함께 갈았다. 가운데 스택이 느리게 도는 대신 넓어지는 것이 이 얼개의 요점이다.저자가 낸 체크포인트와 학습 로그를 열어 다시 셌다.파라미터 65,549,011이 체크포인트와 로그와 우리가 세운 모델..