애드센스를 하는 사람이라면 항상 구글에서 오는 메일에 민감해 질 수밖에 없다. 운영 규칙이 자주 바뀌기도 하지만 조건에 맞춰 블로그나 사이트를 운영 할 때 신경써야 하는 부분이 많기 때문이다. 고객센터를 안내를 봐도 용어들이 낯설고 인공지능이 번역한 한글 설명이 가끔 이해하기 어려울 때가 있다.
최근에 애드센스에서 robots.txt 관련해 메일을 받은 사람이 있을 것이다. 티스토리 운영자들이 그럴텐데 내용은 robots.txt가 뭔가 차단했다는 것인데 구글 검색 노출을 최적화 하면 된다고 한다. 그런데 이게 무슨 말인지 직과적으로 이해되지 않는다.
구글 검색엔진이 내 블로그/사이트의 색인은 만들었지만 일부 페이지가 차단되서 색인이 만들어지지 않았다.
일단 파란색 큼직막한 버튼을 클릭해서 링크를 이동하면 Google Search Console이란 페이지로 이동된다. 처음 보는 페이지다.
적용 범위 > 색인이 생성되었으나 robots.txt에 의해 차단됨.이라는 안내문이 보인다. 안내문 하단에 "자세히 알아보기"를 클릭해 본다.
색인이 생성되었으나 robots.txt에 의해 차단됨: 페이지가 robots.txt에 의해 차단되었지만 색인이 생성되었습니다. Google에서는 항상 robots.txt를 준수하지만 다른 페이지가 이 페이지에 연결되어 있으면 준수하지 않습니다. 게시자가 검색결과에서 페이지를 차단하려고 했는지 확실하지 않기 때문에 페이지가 경고로 표시됩니다. 이 페이지를 차단하려는 경우 robots.txt는 색인이 생성되지 않도록 하는 데 적합한 방법이 아닙니다. 색인이 생성되지 않도록 하려면 'NOINDEX'를 사용하거나 인증을 사용하여 다른 사용자가 페이지를 익명으로 액세스하지 못하게 하세요. robots.txt 테스터를 사용하여 이 페이지를 차단하고 있는 규칙이 어떤 것인지 확인할 수 있습니다. robots.txt로 인해 페이지에 표시된 스니펫이 모두 최적화되지 않을 수도 있습니다. 이 페이지를 차단하지 않으려면 robots.txt 파일을 업데이트하여 페이지 차단을 해제하세요.
해결 방법 같은데 알송달송한 설명이다. 찬찬히 정독해 본다.
"다른 페이지가 이 페이지에 연결되어 있으면 준수하지 않습니다" 이 문장에서 혼란이 생길 수 있는데 스크롤을 내려 아래에 영향 받은 페이지가 어디인지 일단 살펴보기로 한다.
스크롤을 조금 내리니 아래에 영향 받은 페이지가 하나 보인다. 여러 개가 있을 수도 있다. 페이지의 URL을 클릭해 본다.
오른쪽에 스크롤 페이지가 열리면서 "URL 검사, ROBOTS.TXT 차단 테스트" 두 개의 메뉴가 보인다. 일단 URL 검사를 해본다.
URL이 Google에 등록되어 있지만 문제가 있다고 한다. 아래 설명하겠지만 Robots.txt에서 https://****.net/m/search의 접근을 차단했기 때문에 색인에 이 페이지를 넣지 못했다는 뜻이다.
* 해당 페이지는 티스토리 블로그의 모바일 검색 페이지기 때문에 색인 생성 요청을 굳이 할 필요는 없다. 하지만 다른 페이지에서는 필요하다. "색인이 생성되었으나 robots.txt에 의해 차단 됨 ∨"을 클릭해 보면 아래 처럼 자세한 설명을 보여준다.
다시 이전 페이지로 돌아가서 (맨 하단에 "보고서 열기") 이번엔 "URL 검사" 밑에 있는 "ROBOTS.TXT 차단 테스트"를 해본다.
티스토리 robots.txt 오류 경고 그리고 애드센스 배너가 보이지 않을 때
애드센스를 하는 사람이라면 항상 구글에서 오는 메일에 민감해 질 수밖에 없다. 운영 규칙이 자주 바뀌기도 하지만 조건에 맞춰 블로그나 사이트를 운영 할 때 신경써야 하는 부분이 많기 때문이다. 고객센터를 안내를 봐도 용어들이 낯설고 인공지능이 번역한 한글 설명이 가끔 이해하기 어려울 때가 있다.
최근에 애드센스에서 robots.txt 관련해 메일을 받은 사람이 있을 것이다. 티스토리 운영자들이 그럴텐데 내용은 robots.txt가 뭔가 차단했다는 것인데 구글 검색 노출을 최적화 하면 된다고 한다. 그런데 이게 무슨 말인지 직과적으로 이해되지 않는다.
구글 검색엔진이 내 블로그/사이트의 색인은 만들었지만 일부 페이지가 차단되서 색인이 만들어지지 않았다.
일단 파란색 큼직막한 버튼을 클릭해서 링크를 이동하면 Google Search Console이란 페이지로 이동된다. 처음 보는 페이지다.
적용 범위 > 색인이 생성되었으나 robots.txt에 의해 차단됨.이라는 안내문이 보인다. 안내문 하단에 "자세히 알아보기"를 클릭해 본다.
색인이 생성되었으나 robots.txt에 의해 차단됨: 페이지가 robots.txt에 의해 차단되었지만 색인이 생성되었습니다. Google에서는 항상 robots.txt를 준수하지만 다른 페이지가 이 페이지에 연결되어 있으면 준수하지 않습니다. 게시자가 검색결과에서 페이지를 차단하려고 했는지 확실하지 않기 때문에 페이지가 경고로 표시됩니다. 이 페이지를 차단하려는 경우 robots.txt는 색인이 생성되지 않도록 하는 데 적합한 방법이 아닙니다. 색인이 생성되지 않도록 하려면 'NOINDEX'를 사용하거나 인증을 사용하여 다른 사용자가 페이지를 익명으로 액세스하지 못하게 하세요. robots.txt 테스터를 사용하여 이 페이지를 차단하고 있는 규칙이 어떤 것인지 확인할 수 있습니다. robots.txt로 인해 페이지에 표시된 스니펫이 모두 최적화되지 않을 수도 있습니다. 이 페이지를 차단하지 않으려면 robots.txt 파일을 업데이트하여 페이지 차단을 해제하세요.
해결 방법 같은데 알송달송한 설명이다. 찬찬히 정독해 본다.
"다른 페이지가 이 페이지에 연결되어 있으면 준수하지 않습니다" 이 문장에서 혼란이 생길 수 있는데 스크롤을 내려 아래에 영향 받은 페이지가 어디인지 일단 살펴보기로 한다.
스크롤을 조금 내리니 아래에 영향 받은 페이지가 하나 보인다. 여러 개가 있을 수도 있다. 페이지의 URL을 클릭해 본다.
오른쪽에 스크롤 페이지가 열리면서 "URL 검사, ROBOTS.TXT 차단 테스트" 두 개의 메뉴가 보인다. 일단 URL 검사를 해본다.
URL이 Google에 등록되어 있지만 문제가 있다고 한다. 아래 설명하겠지만 Robots.txt에서 https://****.net/m/search의 접근을 차단했기 때문에 색인에 이 페이지를 넣지 못했다는 뜻이다.
* 해당 페이지는 티스토리 블로그의 모바일 검색 페이지기 때문에 색인 생성 요청을 굳이 할 필요는 없다. 하지만 다른 페이지에서는 필요하다. "색인이 생성되었으나 robots.txt에 의해 차단 됨 ∨"을 클릭해 보면 아래 처럼 자세한 설명을 보여준다.
다시 이전 페이지로 돌아가서 (맨 하단에 "보고서 열기") 이번엔 "URL 검사" 밑에 있는 "ROBOTS.TXT 차단 테스트"를 해본다.
robots.txt 파일의 내용과 함께 오류 부분을 볼 수 있다.
Disallow : /m/search는 이 경로에 접근하지 못하도록 차단하겠다는 의미다. 저 문장을 지우면 되지만 안타깝게도 티스토리는 사용자가 robots.txt를 편집 할 수 없다.
티스토리의 /m/search 검색 페이지는 구글 검색이나 애드센스에 큰 영향을 주지 않는 페이지이므로 일단 넘어간다.
메타 태그를 이용한 검색 로봇 접근 설정
티스토리를 기준으로 HTML 편집으로 들어가 <head>...</head>에 다음과 같은 코드를 삽입한다.
<!-- Index 허용, 문서내 링크 추적 허용 -->
<meta name="robots" content="index, follow">
<!-- 네이버 검색 로봇 허용 -->
<meta name="Yeti" content="index, follow">
주석에 설명한 대로이고 검색 로봇의 접근 권한을 설정하고 있다.
티스토리처럼 사용자가 /(Root)에 파일을 업로드 할 수 없는 경우 메타 태그로 대신 할 수 있다고 한다. 혹자는 이 방법에 효과가 있다 하고 혹자는 효과가 없다고 하는데 일단 설정을 해 두고 조금 지켜 보고 결과를 다시 설명해야 할 거 같다. 메타 태그를 사이트 구동에 특별한 영향을 주는 게 아니기 때문에 당분간 이렇게 태그를 달아 놓고 지켜보기로 한다.
내 블로그/사이트에 애드센스 배너가 제대로 보이지 않는 이유를 살펴보자
애드센스 광고가 보이지 않는 이유는 여러가지가 있다. 그 중에 하나의 가능성을 설명해 보려고 한다.
일단 https://search.google.com/search-console 애드센스 search console에 접속해 본다. 좌측 메뉴에 "적용 범위"가 있다. 보고서를 보면 제외된 페이지가 무려 5천 개가 넘는다. 상자를 클릭해 보면 하단에 왜 차단이 되었는지 상세한 정보를 볼 수 있다. 하나씩 살펴 볼 필요가 있다. 차단 된 페이지의 경우 로그인 해서 접근 권한이 있는 페이지인 경우가 많으니 다 신경 쓸 필요는 없다.
"유형"을 하나씩 클릭해 보면 차단 된 페이지 URL 목록을 볼 수 있다. 어떤 페이지가 무슨 이유로 검색 로봇이 접근 할 수 없었는지 확인 할 수 있다.
보통은 관리자 페이지이거나 SNS 공유를 위해 임시로 생성했던 페이지들이 많다. 그 중에서 하나 살펴 볼만 한 게 "중복 페이지, Google에서 사용자와 다른 표준을 선택함" 항목이다.
항목을 클릭해 보면 이렇게 차단 된 페이지 목록을 볼 수 있는데 마우스 오버를 해보면 오른쪽에 두 개의 아이콘이 따라다닌다. 화살표 아이콘은 해당 페이지로 이동하는 것으로 돋보기 아이콘은 색인을 검색한다.
돋보기 아이콘을 클릭한 화면이다. /148번 게시물과 /32번 게시물은 같은 페이지로 이동한다. 블로그를 작성하다 URL이 중복 된 경우다. 이럴 때는 구글이 주소 두 개 중 하나를 표준으로 결정할 것으로 요구하고 있다.
페이지 우측에 보면 "URL 검사"라는 메뉴가 있다. 이 페이지에 가서 중복 된 URL 두 개를 검사 해 본다.
/148번 글을 검사해 보니 Google에 등록되어 있지 않다고 한다. 구글 검색엔진에 색인 정보가 없는 것이다. 그런데 /32번 글을 검사 해보면 구글에 등록되어 있다고 나온다.
*다시 설명하지만 /148번 글과 /32번 글은 어떤 연유로 해서 한 페이지에 동시 접근 된다. 오래 전부터서 티스토리를 사용했던 사용자라면 카테고리를 이동하면서 이런 오류가 생기기도 하고 사이트 리다이렉션 등으로 주소가 중첩 되는 경우다.
만약 구글이 이 페이지 URL로 검색해서 들어 올 수 있게 색인을 생성 할 것을 요청하고 싶다면 위에 "색인 생성 요청"을 하면 된다.
이렇게 정상적으로 페이지에 접근이 이루어지지 않는 포스팅에는 애드센스 배너가 하얀색으로 되서 안 보이게 된다.
'기타등등 > SNS & 블로그' 카테고리의 다른 글
| 페이스북 새 버전에서 내가 언팔로우 한 친구 한번에 관리하기. 뉴스피드 기본설정 (0) | 2020.09.11 |
|---|---|
| 네이버 웹마스터도구의 웹 페이지 수집에서 수집보류 됐을 때 (0) | 2020.06.20 |
| 구글에서 내 블로그가 검색되지 않을 때 Google Search Console에서 색인(Index)을 만들자 (0) | 2020.06.20 |