개발 이야기

검색 결과의 주소와 영상 길이를 따로 확인한 이유

Google 이동 링크에서 실제 주소를 확인하고, 쇼츠·10분 미만·길이 미표시를 서로 다른 근거로 분류하도록 수집기를 보강했어요.

사이트 공개일
기록 수정일
기술과 주제
C# · WebView2 · JavaScript · DOM
이 글의 목차

주소와 길이가 빠진 이유는 서로 달랐어요

검색 결과에서 게시물로 이동할 수 있는데 수집 목록에는 ‘주소 확인 필요’가 표시되는 문제가 있었어요. 여기에 영상 길이 미표시 사유까지 붙으면, 주소 자체가 없는 것인지 길이만 확인하면 되는지 구분하기 어려웠어요.

이 수집기는 YouTube와 Google 동영상의 검색 결과 화면을 읽어요. 화면에서 찾은 링크가 게시물 주소인지, 검색 서비스가 이동을 처리하기 위한 주소인지 먼저 구분해야 했어요. 주소를 찾는 과정과 영상 길이를 읽는 과정도 따로 다뤄야 했고요.

Google 이동 주소에서 확인된 목적지만 사용했어요

검색 카드의 링크가 바로 게시물을 가리키면 그 주소를 사용해요. 이동 링크의 매개변수나 같은 카드의 data-curl·data-surl에 전체 목적지 주소가 있으면 그 값을 확인해요. 화면에 보이는 도메인과 잘린 경로를 조합해서 주소를 만들지는 않아요.

여기까지 읽어도 목적지를 확정할 수 없는 HTTPS Google /goto·/url 링크는 공개 이동 응답의 Location 헤더를 확인하도록 보강했어요. 이 확인 요청은 자동 리디렉션과 쿠키 사용을 끄고, 응답 본문이나 외부 목적지는 읽지 않아요. 요청 사이에는 검색 설정의 대기시간을 적용하고 같은 검색 안의 동일 링크는 확인한 결과를 재사용해요.

결과 주소 확인 순서

  1. 01결과 카드의 게시물 주소 확인
  2. 02이동 링크에 명시된 전체 목적지 확인
  3. 03미확정 Google 링크의 이동 응답 확인
  4. 04확정한 주소 저장 또는 확인 사유 유지
업무 흐름 개념도

주소 확인 중 인증·접속 제한이 나타나거나 사용자가 중지해도, 이미 읽은 현재 페이지와 확인된 주소는 보관해요. 목적지가 반환되지 않으면 미확정 상태를 유지해요.

길이는 표시된 값으로 판단했어요

영상 길이는 검색 결과의 배지에서 읽어요. 앞쪽 배지가 비어 있거나 다른 내용을 담고 있어도 나머지 배지를 확인해요. 화면 구조에 따라 배지가 가려진 경우에는 제목을 정확히 제거한 접근성 레이블의 길이 표시도 살펴봐요.

주소와 길이를 독립적으로 보관하면 후속 판단도 달라져요. 예를 들어 주소는 찾았지만 길이가 표시되지 않은 결과는 URL을 복사할 수 있고, 길이만 별도로 확인하면 돼요.

작품명과 제목이 일치하는 일반 결과의 조건처리
주소가 확정되고 표시 길이가 10:00600초 이상 후보로 수집
주소가 확정되고 표시 길이가 09:59600초 미만으로 분류
주소가 확정됐지만 길이 표시가 없음주소를 보관하고 길이 미표시 사유를 남김
10분 이상이지만 주소를 확정하지 못함주소 확인 필요로 남김
길이 문구는 있지만 재생시간으로 읽을 수 없음미표시와 구분해 길이 해석 불가 사유를 남김

사용자가 등록한 URL·도메인 제외 규칙은 이 후보 판단보다 먼저 적용해요. 길이가 짧다는 이유가 이미 확인됐으면 주소를 끝내 찾지 못했더라도 길이 미확인 후보로 바꾸지 않아요.

쇼츠는 길이 미확인 후보에 섞이지 않게 했어요

쇼츠의 길이를 읽지 못하면 단순히 ‘길이 미표시’로 남길 수 있어요. 하지만 이 프로젝트의 수집 범위에서는 쇼츠를 제외해야 했어요. 그래서 YouTube /shorts/ 주소처럼 명시적인 근거가 있으면 후보를 만들기 전에 걸러요.

같은 영상이 나중에 일반 watch 주소로 나타나도 이미 확인한 쇼츠 영상 ID와 비교해 제외해요. 기존에 저장한 후보에서 뒤늦게 쇼츠 근거를 찾으면 분류도 갱신해요. 제목에 ‘쇼츠’라는 단어가 있거나 영상이 짧다는 이유만으로 일반 영상을 쇼츠로 추정하지는 않아요.

쇼츠만 나온 결과 묶음도 새 검색 결과라는 점은 같아요. 저장할 후보가 없다는 이유로 검색 끝으로 판단하지 않도록 페이지 진행에는 반영했어요.

실제 주소 확인과 분류 결과를 함께 검증했어요

주소 확인 테스트는 대체 HTTP 응답으로 Google의 302 이동과 목적지 헤더를 재현해요. 외부 목적지나 응답 본문을 읽지 않는지, 제한 응답에서 후속 조회를 멈추는지 확인해요. 수집 흐름 테스트에서는 복구된 주소가 길이 누락 사유와 별개로 보관되는지 검사해요.

분류 테스트에는 600초 경계, 쇼츠만 있는 묶음의 다음 페이지 진행, 기존 watch 후보의 쇼츠 재분류와 같은 이동 링크의 후속 정보 병합을 넣었어요. 주소가 나중에 확인됐을 때 기존 확인 필요 행을 갱신해 중복 행을 남기지 않는지도 확인해요.

검색 결과의 표시값은 이후 바뀔 수 있어요. 수집 시점에 확보한 근거와 아직 확인할 항목을 나눠 두는 것이 이 분류의 기준이에요.