[Review] 『그로킹 동시성』 : 데이터엔지니어 관점에서 동시성 이해하기
데이터엔지니어링 필수 개념인 동시성과 병렬성에 대한 이해
Posts by Category
Data
[Spark] 스파크 JDBC 파티셔닝 최적화
스파크에서 JDBC 파티셔닝을 활용해 데이터 읽기 최적화 하기
[Data] 아파치 아이스버그 주요 개념 정리
데이터 레이크를 효율적으로 관리하는 방법
[Data] 아파치 씨터널을 활용한 CDC 데이터 동기화
데이터 통합 플랫폼 씨터널을 활용한 CDC 데이터 동기화
[Spark] 스파크 세션 관리형 도구 소개
스파크 세션 및 원격 작업 등을 관리할 수 있는 다양한 도구 알아보기
[Spark] 스파크 애플리케이션 실행 단계 이해하기
스파크 애플리케이션 최적화를 위한 실행 단계 이해
[CDC] WAL 기반 CDC 파이프라인 구축 (2)
PostgreSQL Wrtie-Ahead LOG 설정 구성
[RabbitMQ] 래빗엠큐 설치 및 관리자 계정 생성
래빗엠큐 설치하고 관리자 계정 생성하기
[Kafka] 카프카 서버 및 UI 구성
로컬에 카프카 설치 및 UI로 Topic 생성하기
[CDC] WAL 기반 CDC 파이프라인 구축 (1)
Change Data Capture의 개념과 WAL 로그 기반 파이프라인 구축 방법
[Spark] Spark NLP를 활용한 감성분석
Spark 기반의 자연어 처리 라이브러리 살펴보기
[Spark] Apache Livy로 Spark 사용하기
Livy를 활용한 인터랙티브한 스파크 작업
[Kafka] AWS EC2에 카프카 설치하기
AWS EC2에 카프카 서버, 프로듀서 구동하기
[Scraping] Selenium 없이 동적 웹페이지 스크래핑 하기
정적/동적 스크래핑 차이, selenium과 requests 스크래핑 방식 차이
[Data] 블로그 스크래핑 데이터 스팸 처리
블로그 광고성 데이터 전처리 방법
[Kafka] 카프카(Kafka) 커넥트와 커넥터
메시지큐 카프카의 커넥트와 커넥터 개념 및 실습
Language
[Python] 파이썬 비동기 프로그래밍 기초(1)
파이썬 비동기 프로그래밍 기초 개념
[Python] 파이썬 멀티프로세싱과 멀티스레딩
파이썬 병렬처리 프로그래밍 멀티프로세싱과 멀티스레딩 비교
Infra
[Network] Ingress Gateway의 개념
Ingress Gateway와 Controller의 개념
[Docker] 도커의 기본 개념
도커의 기본 개념과 명령어 정리
Computer Science
[CS] 비동기와 논블로킹의 개념 차이
Livy API와 asyncpg의 비동기 구성 차이로 확인하는 동기/비동기, 블로킹/논블로킹의 개념
Web
[Web] 웹 페이지에 방문자 분석 기능 추가하기
구글 애널리틱스를 활용해 방문자 분석 기능 추가하는 방법