Python7 Intro to Scrapy Introduction I started using scrapy to create my crawler for the side project. Since I wanted to create a powerful crawler that can go about the web and collect all related webpages for my ankylos search engine, Python's scrapy seemed a good choice. About Scrapy What it is Scrapy is a Python framework for crawling/scraping. Since it has internal engines and asynchronous processes using Twist.. 2022. 6. 1. Python Pytest 관해서 0. 가이드에 들어가기 전에 pytest 에 대한 설명을 담은 페이지입니다. 여기에서는 전반적인 설명과 사용법을 다루며 세부사항을 깊게 보지는 않습니다. 추가적인 자세한 내용은 공식문서를 참고해 주시길 바랍니다. pytest 공식문서 Full pytest documentation - pytest documentation 1. 테스트에 대해서 코딩을 하게 되면 해당 코드가 의도대로 작동하는지, 어떤 부분들을 확인해야 하는지 등 고려해야 할 부분들이 몇몇 있습니다. 따라서 코드가 정상적으로 작동하는지 확인을 하기 위해 추가로 코드를 작성해 확인하는 과정을 거칩니다. 이 때 코드를 추가로 작성한다는 것은 양이 추가되기도 하지만 또다른 코드가 등장하는 것입니다. 즉, 이 테스트 코드를 테스트할 코드를 작성하지 .. 2022. 6. 1. Python Testing Python testing frameworks In python, there is a testing framework that comes with the standard library: unittest. It's quite simple to use and revolves around that simplicity. Another popular framework used in python programming is pytest. With easy to use testing methods and functions, pytest allows quick test write ups and many features that make it useful. Unittest First comes unittest. T.. 2022. 6. 1. Flask 시작 소개 이번에는 제가 알고 있는 Flask 에 대해서 얘기해 보겠습니다. 일단 제일 먼저 파이썬으로 시작한 웹 어플리케이션은 장고를 통해서 만들었습니다. 거대한 몸집으로 거의 대부분의 설정들을 손쉽게 다룰 수 있고 이미 틀이 주어졌던 장고는 신선했습니다. 보일러플레이트도 주어지고 관리자 페이지도 만들어져 있어서 내가 해야 하는 일에만 집중할 수 있는 시간이 되긴 했습니다. 하지만 아무리 좋은 선물을 많이 담아도 산타 할아버지를 제외하면 가져갈 수 없듯이(?) 장고의 단점은 바로 무거움이었습니다. 낄때마다 사용하지도 않는 부분들도 작동을 하고 있어 '굳이?' 라는 느낌을 들게 만들었습니다. 그리고 시간은 지나 2019년에 저는 flask 를 만나게 되었습니다. 사실 처음 접했을 때에 '이게 뭐지' 싶을 정도.. 2022. 5. 31. 파이썬 가상환경을 왜 써야할까...? 소개 파이썬 가상환경에 대한 정보는 많다. 인터넷에 쳐보게 되면 수많은 결과를 볼 수 있다. 내가 애용하는 사이트는 RealPython.org 인데 정말 깔끔한 문서와 내용은 늘 대단하다고 생각한다. 아무튼, 오늘은 내가 경험한 콘다 가상환경과 pipenv 에 대해서 몇 글자 끄적이고자 한다. 파이썬의 패키지 관리 파이썬에서는 패키지 관리가 하나의 버전만 가능하기 때문에 이에 따라 여러 개의 버전을 사용하기가 쉽지 않다. 간단하게 말해서 파이썬에서 기본으로 사용하는 패키지들은 파이썬에서 따로 관리를 하기 때문에 버전 관리를 신경쓸 필요가 없다. 하지만 문제는 제3자의 패키지에서 발생한다. 눈치챘겠지만 파이썬의 기본 라이브러리는 알아서 관리하면 사실상 버전에 따른 패키지 버전 문제는 대부분 알아서 해결해 .. 2022. 5. 31. 파이썬 Flask 간략한 소개 오랜만에 글을 다시 끄적여본다. 사실 깃헙 페이지로 제킬 블로그를 운영하고 있긴 했는데... 티스토리 그냥 써야겠다... 나중에 옮길 수 있지 않을까? Django 과 Flask 먼저 파이썬으로 웹 어플리케이션을 제작하게 될 때 가장 널리 알려져 있는 것은 아마 장고 (Django) 가 아닐까 싶다. 한번 설치하고 부트스트랩만 진행하면 빠밤! 마법처럼 관리자 페이지까지 만들어주는 마법 도구이다. 사실상 웹 어플리케이션을 크게 만들어야 한다면 아마 장고가 파이썬에서는 그나마 나은 선택이 아닐까 싶다. 하지만 장고의 단점은 아마도 필요 이상으로 무거운 경우와 틀에 맞춰 코드를 작성해야 하는 것이 아닌가 싶다. 물론 어떻게 보는지에 따라 장점 혹은 단점으로 구별할 수 있을거다. 처음 장고를 접하는 사람들에게는.. 2022. 5. 31. Login과 Logout 선결론 : django의 로그인과 로그아웃 기능들은 이미 내장되어 있어 편하긴 한데 몇가지 설정들이 있다. django 2.0 이상부터는 이전과 다른 방식으로 내장되어 있는 뷰를 사용할 수 있다. 그러기 위해서는 CBV (Class Based Views)를 이해해야 하지만 일단은 건드리지 않기로 하자. 쉽게 설명하자면 CBV는 클래스를 이용하는 뷰인데 함수 뷰 (Function Views)들과는 달리 클래스를 이용하기 때문에 더 손쉽게 사용하고 편리한 기능들이 많은 경우가 대부분이다. 장고 2이상부터는 CBV를 통해 슈퍼유저에 한해 로그인과 로그아웃을 할 수 있다. django.contrib.auth.models 의 User에는 사용자 정보들이 저장되어 있는데 여기에는 총 다섯가지 기본 정보가 담긴다 :.. 2022. 5. 30. 이전 1 다음
