고양이 두 잔

심장과 손톱 사이에 가시나무 한 그루를 심고는 밤새 말을 더듬는다 ​모로 누울 때마다 사랑 같은 것들이 따가웠다 ​손톱 끝에 가시나무 꽃이 피고​가시에 걸린 바람의 살점을 뜯어 먹으며구름은 또 밤새 비를 내렸다 꿈의 뿌리가 젖는 동안​손톱 끝에서 꽃송이가 사라지고 머리끝에서 머리카락이 사라지고 혀끝에서 입술이 사라지고 바퀴벌레의 촉수가 사각사각 지워지고 새의 부리가 녹아내린다 꿈이 하나의 점이 될 때까지 꽃이 다 질 때까지-, 문학과지성사

목차 TL;DR앞 편은 한국어 시청각 데이터가 어떤 모양으로 존재하는지를 봤고,그 데이터가 각도 아홉을 담아 놓고도 그것을 쓰는 기제는 갖고 있지 않다는 것으로 끝났다.이 논문이 그 자리다. 각도를 여럿 놓고 학습하되 시험할 때는 하나만 들어와도 되는 구조를 제안한다. 발상은 각도 차이를 지워야 할 잡음으로 보지 않는 데 있다.앞선 연구들은 비정면 얼굴을 정면으로 되돌리거나 각도마다 따로 처리하는 쪽이었는데,이 논문은 각도가 서로 다르다는 사실 자체를 조음 정보로 읽고 두 각도의 입술 특징을 곱해서 섞는다. 그 곱이 외적(outer product)이고 모듈 이름이 MVTF 다.저자 코드를 그대로 세워 논문 표 4 의 MVTF 행이 소수 셋째 자리까지 나왔다. 471.824 와 파라미터 7,561,326 ..

목차TL;DR앞의 세 편은 실시간으로 도는 분리 모델과 시청각 화자 추출의 부품과 시각 단서가 끊기는 조건을 차례로 다뤘다.셋 다 한국어가 없는 데이터로 학습하고 평가했다.이 논문은 모델이 아니라 데이터를 내놓으며 한국어로 같은 일을 하려면 무엇이 있어야 하는지를 묻는다. 데이터는 스튜디오에서 대본을 읽어 만들었다.화자 1,107명이 주제 열넷에서 뽑은 문장을 읽고, 카메라 다섯 대가 동시에 찍는다.각도는 모두 아홉이지만 한 세션에는 다섯만 찍히고 정면만 두 묶음에 걸쳐 두 배가 된다. 저자가 배포한 가중치를 열어 저장소가 적은 파라미터 다섯 줄을 전부 맞췄다. 소스의 층 정의만으로 센 부품 값이 체크포인트의 같은 자리와 하나도 어긋나지 않았고,그 대조가 맞아떨어지자 논문이 한 번도 적지 않은 수치가 따..

목차 TL;DR앞의 두 편은 실시간으로 도는 분리 모델의 계산과 시청각 화자 추출의 부품을 차례로 다뤘다. 이 논문은 그 위에 조건 하나를 더한다. 시각 단서가 도중에 끊기거나 흐려질 때 목표 화자를 얼마나 오래 붙들고 있느냐다.기제는 간단하다. 추출기 블록마다 화자 임베딩을 하나씩 저장해 두고, 지금 창의 시각 특징을 기준으로 저장된 임베딩과 지금 임베딩에 가중치를 매겨 섞는다. 저장된 값을 언제 갈아 끼울지는 그 가중치가 정한다.값은 조건에 따라 갈린다. 영상이 완전히 사라지는 조건에서는 SI-SNR이 '3.46'에서 '6.13'으로 오르지만, 입술이 가려지는 조건에서는 오히려 '7.32'에서 '7.08'로 내려간다. 논문 표 III의 열두 칸 가운데 넷에서 MoMuSE가 진다.검산은 저자 공개 구현..

목차 TL;DR앞 편의 SkiM은 오디오 전용 분리 모델이었다. 이 논문은 그 백본의 출력 스트림을 하나로 줄여 시청각 화자 추출로 옮기고, 위에 두 가지를 얹는다. 얼굴 검출 모델에서 가져온 경량 시각 인코더 BlazeNet64와, 직전에 뽑아낸 음성을 다시 읽는 자기 회귀 음향 인코더다.값은 시각 인코더 쪽이 분명하다. 파라미터를 ResNet18의 112분의 1로 줄여도 SI-SNRi가 0.1 dB 안에서 움직인다. 음향 인코더가 올린다는 0.9 dB는 절반만 자기 몫이고 0.4는 손실 함수가 가져가는데, 논문 자신의 절제 실험이 그렇게 말한다.검산은 저자 공개 구현을 열어 했다. 파라미터는 저자 학습 로그와 한 자리까지 맞고(8,056,569개), 초당 MACs는 표 1과 표 2와 구현이 셋 다 다..

목차 들어가며앞의 일곱 편은 물려받은 모델이 왜 그렇게 생겼는지를 물었다.지표에서 시작해 골격과 비용을 지나 시청각 융합까지 갔고 그 갈래는 시간-주파수 영역을 다룬 편에서 닫혔다.이번부터는 질문이 바뀐다. 무엇을 만들 것인가를 묻는 갈래이고 태그도 [AV-TSE]로 간다.AV-TSE는 audio-visual target speaker extraction의 표준 약어이며, 화면 속 한 사람의 입술을 단서로 그 사람 목소리만 뽑아내는 과제를 가리킨다.그런데 이번 논문에는 영상이 한 프레임도 나오지 않는다. 오디오 전용이고 과제도 화자 추출이 아니라 분리다.태그와 내용이 어긋나는 것은 정상이다. 태그는 목적지의 이름이지 편마다 붙이는 분류가 아니며 앞 갈래도 처음 네 편이 오디오 전용이었다.이 논문이 첫 자..

목차 들어가며앞의 여섯 편 중 모델을 다룬 다섯 편은 전부 시간 영역이었다.두 번째 편의 Conv-TasNet은 제목부터가 이상적인 시간-주파수 크기 마스킹을 넘어선다는 주장이었고, 그 주장의 근거는 마스크가 크기만 바꾸고 위상은 혼합 신호에서 빌려 쓴다는 사실이었다.세 번째 편의 TDANet과 네 번째 편의 SepReformer는 그 시간 영역 골격 위에서 비용과 분리 위치를 다뤘고, 다섯 번째와 여섯 번째 편의 Dolphin과 MeMo는 거기에 입술 영상을 붙였다.이번 논문은 그 흐름을 거슬러 시간-주파수 영역으로 돌아가면서, 파라미터 10분의 1로 당시 최고 성능 모델을 넘어섰다고 적는다.돌아갔다는 말이 정확하지 않다는 것은 6번 섹션에서 드러난다. 이 논문은 마스킹을 버리지 않고 마스크를 복소수로..

목차 들어가며얼굴 인식 모델을 만들 때 가장 먼저 떠오르는 선택지는 백본을 더 깊게 쌓는 것이다.그런데 2015년에서 2019년 사이 이 분야의 성능을 실제로 끌어올린 것은 백본이 아니라 손실 함수였다.같은 ResNet에 어떤 손실 함수를 붙이느냐에 따라 AgeDB-30 정확도가 88.72퍼센트에서 95.15퍼센트까지 벌어진다.ArcFace는 그 계보의 매듭에 해당하는 논문이다. SphereFace와 CosFace가 각각 다른 자리에 넣던 마진을 하나의 식으로 묶어 정리했고, 그중 각도에 직접 더하는 방식이 가장 낫다는 것을 열 개가 넘는 벤치마크로 보였다.이 글은 그 손실 함수가 무엇을 하는지 수식에서 시작해 코드까지 따라가고, 논문이 적은 숫자를 직접 돌려 확인한다.기준 판본은 arXiv:1801.0..

목차 들어가며앞의 다섯 편은 지표와 골격과 비용과 분리 위치, 그리고 영상 인코더를 차례로 다뤘다.첫 편은 성능 표의 dB가 무엇을 재는지 물었고 그 답이 SI-SDR(scale-invariant signal-to-distortion ratio, 스케일 불변 신호 대 왜곡 비)이었다.두 번째 편은 그 지표로 학습한 Conv-TasNet에서 인코더와 분리기와 디코더로 이어지는 3단 골격을 확인했고, 세 번째 편은 그 골격을 유지한 채 분리기를 열한 배 줄인 TDANet을, 네 번째 편은 화자를 나누는 위치를 앞당긴 SepReformer를 읽었다.다섯 번째 편의 Dolphin은 그 골격에 입술 영상을 붙였고, 결론에서 자기 한계를 적으면서 깨끗하고 소리와 잘 맞물린 입술 영상을 전제한다고 밝혔다.이번 논문은..

목차 들어가며앞의 네 편은 전부 소리만 다루는 모델이었다.첫 편은 성능 표의 dB가 무엇을 재는지 물었고 그 답이 SI-SDR(scale-invariant signal-to-distortion ratio, 스케일 불변 신호 대 왜곡 비)이었다.두 번째 편은 그 지표로 학습한 Conv-TasNet에서 인코더와 분리기와 디코더로 이어지는 3단 골격을 확인했다.세 번째 편은 그 골격을 유지한 채 분리기의 복잡도를 열한 배 줄인 TDANet을 읽었고, 네 번째 편은 화자를 나누는 위치를 앞당긴 SepReformer를 읽었다.이번 논문은 그 골격에 입술 영상을 붙인다. 시청각 음성 분리(audio-visual speech separation, AVSS)를 표방한 이 시리즈에서 영상이 실제로 들어오는 첫 편이다.논..