Hobby4 라즈베리파이 클러스터 구축 소개 해당 글은 라즈베리파이 클러스터 구축을 하게 된 계기와 완료하고나서 들었던 생각과 배운 점 등을 기록하고 있습니다. 주로 계기와 구축 방법 등을 소개할 예정이긴 한데 해당 글 하나로 완성이 될 것 같지는 않아 추가로 글을 작성할 여지를 남겨 구축 계기와 구축 과정을 위주로 설명하도록 하겠습니다. 계기 클러스터를 구축하게 된 계기는 간단합니다. 퇴근하고 주로 개발 관련 영상들이나 책을 주로 보는데 어느날 유투브에서 즐겨보는 Jeff Geerling 이라는 분이 라즈베리파이로 클러스터를 구축한 것을 보게되었습니다. 처음 봤을 때에는 별 생각 없이 대단하다고 생각만 했지만 클러스터로 마인크래프트 서버도 만들고 k3s 도 설치하는 모습을 보면서 분산 시스템에 관하여 배울 수 있는 점들이 많을 것 같았습니다.. 2023. 10. 4. k3s Basic Setup Introduction After finally receiving my last raspberry pi 4 8gb, I setup a k3s cluster. To those reading this post, they may think that it's a great feat or something magical. But no, unfortunately or fortunately, there are smart people out there who already coded repositories for people like me. Steps All you really need to do are small steps, literally no coding at all. First and foremost .. 2022. 6. 1. Basic k3s with Raspberry Pi Introduction As my crawling project with scrapy is progressing, I need to start processing the data that streams from the crawler. Since scrapy can work in an asynchronous manner, a message queue to receive the items should be good for me. Thus, for the storage a document database is probably going to be used such as mongodb. And for the message processing, redis or rabbitmq seemed like a good i.. 2022. 6. 1. Raspberry And Hadoop 하둡 제일 먼저 내가 파고들었던 분야는 하둡이었다. 로고도 희한하게 노란색 코끼리에다가 무슨 의미인지도 모르는 단어를 사용해서 그런 것일수도 있다. 그래서 일단 무작정 책을 사서 읽기 시작했다. 이 때 샀던 책은 '엔터프라이즈 데이터 플랫폼 구축' 이였을 거다. 아무것도 몰라서 그랬는지 처음 듣는 용어들과 낯선 개념들은 한 귀로 들어와 반대 방향으로 걸어 나갔다. 한 장만 읽는다해도 함축된 의미와 용어들이 날뛰었다고 생각했다. 그도 그랬을 것이 첫 장부터 하둡 에코시스템에 대해서 설명을 하게 되면서 한번에 모든 서비스들을 소개했기 때문이다. 지금 돌이켜 생각해보면 오히려 그렇게 한 것이 나았다. 하둡은 엮여 있는 개념들이 있기 때문에 이들을 분리해서 소개하는 것이 힘들다고 생각한다. 아마 .. 2022. 5. 31. 이전 1 다음
