소금토스트의 IT

크롤링으로 뭘 해볼수 있을까 하고 고민하다가 요즘 자주 사용하는 AI 챗봇을 제어해보자 라는 아이디어가 떠올랐다.AI챗봇은 여러가지가있는데 그중에서 사람들에게 알려지기 전부터 사용했던 뤼튼이라는 AI 챗봇을 사용해봣다정상적으로 AI 챗봇을 제어하려면 API 비용이 든다. 편법으로 비용없이 AI 기능을 사용해보겠다.세팅은 이전 글과 같이 세팅한다. 파이어폭스나 드라이버설치같은 설명이 있어서 보고오는것을 추천한다. Selenium을 이용한 간단 크롤링 하기 (네이버 실행)준비물WindowsESR firefox 78.8.0GeckoDriver 0.29.0java 17IntelliJ셀레니움으로 해커같이 웹브라우저를 자동으로 맘대로 조작할수있고, 필요한 자료가있으면 자동으로 추출해서 리스트화까지 가능한 크롤링sa..

준비물WindowsESR firefox 78.8.0GeckoDriver 0.29.0java 17IntelliJ셀레니움으로 해커같이 웹브라우저를 자동으로 맘대로 조작할수있고, 필요한 자료가있으면 자동으로 추출해서 리스트화까지 가능한 크롤링기능의 간단한 코드를 작성하려고한다.셀레니움의 특징은 브라우저가 실제로 작동하면서 동작하기때문에 리소스를 많이 먹을수있지만,뭔가 화면이 자동으로 휙휙바뀌는게 뭔가 개발자같고 그렇다.설치할것은 ESR firefox 78.8.0, GeckoDriver 0.29.0 이다파이어폭스앞에 ESR은 업데이트를 허용하지않는 버전이라고 생각하면된다크롤링을 배포해놧는데 스스로 최신 업데이트해버리면 버전이 맞지 않게되어 동작이 안될수 있기때문에버전이 고정된 ESR을 사용한다.GeckoDriv..