user-agent 썸네일형 리스트형 티스토리는 robots.txt 설정이 필요하지 않습니다. (Feat. Robots.txt 만드는 방법 이해하기) Robots.txt 란? 지난 글에서는 블로그 운영, 웹사이트 운영을 위한 2가지 작업을 다루었습니다. 1. 네이버 웹마스터 도구/구글 서치콘솔 HTML 태그등록 2. 사이트맵(Sitemap.xml) 제작 및 제출 (내용이 생소하다면, 먼저 읽어보시길 바랍니다.) 자, 이제 검색 엔진에게 나의 블로그가 어떻게 생겨먹었는지 친절하게 알려주었습니다. 그러면 검색 엔진은 로봇을 통해 블로그에 존재하는 콘텐츠들을 수집합니다. 이를 통해 검색 결과로 블로그 글이 노출되는 것이죠. 그럼 Robots.txt 는 무엇일까요? 'Robots.txt' 는 로봇 배제 표준에 대한 웹사이트 지침입니다. (로봇 배제 표준은 웹사이트에 로봇의 접근을 방지하기 위한 규약 - 위키피디아 로봇 배제 표준) 쉽게 설명하면 검색엔진의 로.. 더보기 이전 1 다음
