웹 크롤러란?
웹 크롤러(web crawler)는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램이다.
웹 크롤러가 하는 작업을 '웹 크롤링'(web crawling) 혹은 '스파이더링'(spidering)이라 부른다. 검색 엔진과 같은 여러 사이트에서는 데이터의 최신 상태 유지를 위해 웹 크롤링한다. 웹 크롤러는 대체로 방문한 사이트의 모든 페이지의 복사본을 생성하는 데 사용되며, 검색 엔진은 이렇게 생성된 페이지를 보다 빠른 검색을 위해 인덱싱한다. 또한 크롤러는 링크 체크나 HTML 코드 검증과 같은 웹 사이트의 자동 유지 관리 작업을 위해 사용되기도 하며, 자동 이메일 수집과 같은 웹 페이지의 특정 형태의 정보를 수집하는 데도 사용된다. - 위키백과
간단하게 설명해서 검색 사이트들(구글이나 네이버..)이 여러 사이트를 방문하여 데이터를 수집하고
그 수집한 데이터로 검색 결과를 제공하기 위해 운영한다.
검색에 노출되게 하는 것은 회사입장에서는 중요한 부분이기 때문에 웹크롤러가 내 사이트를 잘 수집할 수 있도록 마케터와 프론트엔드의 합작이 필요하다고 한다!
SEO (Search Engine Optimization, 검색 최적화)
말 그대로 검색 결과에서 상위에 노출될 수 있도록 내 콘텐츠를 최적화하는 방식을 말한다.
구글 :
검색 엔진 최적화의 효과를 보려면 시간이 다소 걸린다. 변경을 시작해서 성과가 나타날 때까지 보통 4개월에서 1년이 소요된다.
SEO를 위해
1. 내 사이트를 여기저기 잘 노출시키도록 하는 것이 좋다.
- 사이트 주소가 여기저기서 링크 되고 있어야한다.
- <head> 에 페이지 정보를 잘 작성한다 (description, og 코드, robot.txt 등)
2. 홈페이지를 컴퓨터가 이해할 수 있도록 만든다.
- sementic elements 가 중요하다.
'웹공부' 카테고리의 다른 글
| Next.js 튜토리얼 따라하기 - 2 (사전렌더링, 데이터 가져오기) (0) | 2022.03.21 |
|---|---|
| Next.js 튜토리얼 따라하기 - 1 (설치, 라우팅, Assets) (0) | 2022.03.21 |
| Parcel Bundler 튜토리얼 (0) | 2022.02.04 |
| socket.IO 를 이용한 채팅 사이트 만들기 - 1 (0) | 2021.10.15 |
| 유의적 버전 (SemVer, Semantic Versioning) (0) | 2021.10.14 |