Django가 고장날때까지

자바 공부https://docs.spring.io/spring-kafka/api/org/springframework/kafka/core/KafkaTemplate.html KafkaTemplate (Spring for Apache Kafka 3.3.1 API)Create an instance using the supplied producer factory and autoFlush setting. Set autoFlush to true if you wish for the send operations on this template to occur immediately, regardless of the linger.ms or batch.size property values. This will also block..

AWS 공부 영상은 https://www.youtube.com/watch?v=OGQ8RU-9oP8  악분일상https://www.youtube.com/@Akbun/videos 악분 일상현재 공부한 것들을 공유하는 채널입니다.www.youtube.com   https://www.youtube.com/watch?v=6G0bLDIcO7Y&t=2601s   # 시험 안내서 읽기  https://d1.awsstatic.com/ko_KR/training-and-certification/docs-data-engineer-associate/AWS-Certified-Data-Engineer-Associate_Exam-Guide.pdf        출처) https://www.youtube.com/watch?v=f2Ar-..

https://metacodes.co.kr/edu/read2.nx?EP_IDX=15478&EM_IDX=15302&M2_IDX=31635 [New] Spark를 활용한 Data Engineering 입문 실습 강의 | 네카라쿠배 현직자 강사 metacodes.co.kr 저는 spark 장학생을 신청해서 지금 3강까지 들었는데요. 강의 내용이 정말 괜찮은것 같습니다.    아직 공부를 하고 있는중이라서 주말에 상세한 내용으로 보충하겠습니다.

AWS 박천구 시니어 SA 엔지니어 멘토님과의 만남을 통해 정말 많은 것을 배울 수 있었습니다.먼저, AWS만이 가지는 독특한 문화에 대해 간접적으로나마 멘토님의 경험과 통찰을 통해 들을 수 있었던 것이 큰 영감이 되었습니다. 이를 통해 단순히 기술적인 역량뿐만 아니라 조직의 문화와 철학이 어떻게 엔지니어로서의 성장에 영향을 미칠 수 있는지 느낄 수 있었습니다.또한, 엔지니어의 미래와 우리가 앞으로 갖춰야 할 비엔지니어링적인 소양에 대해 많은 깨달음을 얻었습니다. 기술을 넘어 커뮤니케이션, 비즈니스 이해 등 다양한 역량의 중요성을 다시 한번 생각해보는 계기가 되었습니다.개인적으로 고민하고 있던 부분에 대해서도 멘토님이 진심 어린 조언과 방향성을 제시해 주신 덕분에 많은 도움을 받을 수 있었습니다. 멘토님..

https://kubernetes-sigs.github.io/aws-load-balancer-controller/latest/   1. ingress nginx controller 랑 다른 점은 우선 로드밸런서 controller랑 pod가 같은 vpc 안에 속해 있음2. 보통 ip target 모드와 instance 모드가 있음 헷갈리지 말라고 우선 그림 첨부  elb(elastic load balancer) - #classic(nlb, alb 이전), nlb, alb 존재, gatewaytargetgroupbindings  # 대상 타겟이 부분을 통해서 롤과 클러스터롤을 통해 Pod 정보 파악 https://docs.aws.amazon.com/ko_kr/IAM/latest/UserGuide/id_ro..

9주차 스터디 내용은 기존의 내용들의 조합들이었다. 다른 네트워크 cni 와 달리 aws vpc cni 가 가지는 특성에 대해 살펴보고, 쿠버네티스와 aws의 이기종간의 어떻게 협력하여 리소스를 통제하고, 서비스를 안정적으로 운영하는지 살펴봤다. 강의를 2번 봣는데, 다행히 나름 9주간 열심히 한거 같아서 더 자신감이 붙는다.  물론 ㅜㅜ 도전과제는 1주차에만 조금 하고, 못했지만 ㅜ 앞으로 복습하면서 도전과제도 꼭 해봐야겠다. 감사합니다. 종호님.    꼭 봐야하는 쿠버네티스 관련 글https://aws.amazon.com/blogs/containers/spark-on-amazon-eks-networking-part-1/  Spark on Amazon EKS networking – Part 1 | Am..

cat   # 파드와 veth pair 에 IP가 없다! proxy_arp 도 없다! 하지만 GW MAC 요청 시 lxc(veth)의 MAC 으로 응답이 온다! >> eBPF Magic!# Cilium hijacks ARP table of POD1, forces the next hop to be the peer end (host side) of the veth pair.ip -c addr show dev $LXC  # 테스트 파드들 IPNETPODIP=$(kubectl get pods netpod -o jsonpath='{.status.podIP}')WEBPOD1IP=$(kubectl get pods webpod1 -o jsonpath='{.status.podIP}')WEBPOD2IP=$(kubectl ..

- BPF vs eBPF 소개- cilium 개념 설명- 실습 환경 구성- 실습  ======================================================================================== BPF (Berkeley Packet Filter)초기 목적: BPF는 원래 네트워크 패킷을 필터링하기 위해 개발된 기술임. 커널 수준에서 패킷을 효율적으로 필터링해 필요한 패킷만 사용자 공간에 전달할 수 있도록 설계되었음.사용 방식: 전통적인 BPF는 네트워크 트래픽을 필터링하고 분석하기 위해 사용되며, 주로 네트워크 모니터링 도구와 스니퍼에서 쓰임. 예를 들어, tcpdump와 같은 네트워크 모니터링 툴이 BPF를 사용해 필요한 트래픽만 수집함.eBPF (exte..

Traffic Management 네트워크 policy가 없는 상태 1. request-routing 첫번째 실습virtual-service-all-v1.yaml : 4개 서비스 모두 v1 의 서브셋(subset) 에 전송하는 정책 테스트  # 두번째 실습virtual-service-reviews-test-v2.yaml : User Identity 기반 라우팅, end-user 커스텀 헤더에 jason 매칭 시 reviews v2 로 전달  2. Falut Injection# 첫번째 실습virtual-service-ratings-test-delay.yaml : end-user 가 jason 는 ratings v1 에 7초 지연 발생, 그외 사용자는 ratings v1 정상 연결 # 두번째 실습virtua..

Istio Istio는 마이크로서비스 아키텍처에서 서비스 간 통신, 보안, 모니터링 등을 일관되게 관리하기 위해 등장한 서비스 메쉬(Service Mesh) 솔루션임. 마이크로서비스가 증가하면서 서비스 간의 복잡한 네트워크 관리, 보안 및 로깅 문제를 해결하기 위해 등장 핑크색 부분이 데이터 플레인 역할을 함 Pilot: 서비스 메쉬 내의 트래픽 관리를 담당하는 컴포넌트. 각 마이크로서비스 사이에 설정된 트래픽 규칙을 Envoy 프록시에게 전달하고, 이들이 올바르게 동작할 수 있도록 제어. 이를 통해 서비스 간의 로드 밸런싱, 서비스 디스커버리 등을 중앙에서 관리함 Citadel: 보안을 담당하는 컴포넌트. 서비스 간의 통신을 TLS로 암호화하기 위한 인증서 발급 및 관리, 서비스 인증(Authentic..