TERMINAL SCRAPER
TERMINAL SCRAPER
카테고리 : 물류
TERMINAL SCRAPER
1. 프로젝트 개요
- 프로젝트명: FCL(Full Container Load) 스케줄 데이터 수집 시스템
- 역할: 백엔드 개발자
- 기술 스택:
- 백엔드: Java, Spring Boot
- 배치 시스템: Crontab
- 데이터 수집: Web Scraping (Scraper)
- 배포 및 운영: Azure DevOps
2. 프로젝트 상세 내용
1. 터미널 스크래퍼 개발 및 데이터 수집 자동화
- 24개 터미널에서 실시간으로 데이터를 수집하는 웹 스크래핑 시스템 개발
- Crontab을 활용한 스케줄링을 통해 주기적으로 데이터 수집 및 갱신 자동화
- 수집된 데이터를 API를 통해 제공하며, 실시간으로 업데이트되는 정보 활용 가능
스크래퍼를 통해 수집하는 주요 데이터 항목
- 선박 입항 및 출항 일정 (ETA/ETD): 터미널별 도착/출항 예상 시간
- 선석 배정 정보: 선박이 배정된 터미널 및 선석 위치
- 작업 진행 현황: 하역 및 적재 작업 상태, 예상 완료 시간
- 실시간 변동 사항: 일정 변경, 지연 상황 등
2. 배치 시스템 구축 및 데이터 처리 자동화
- 배치 작업(Spring Batch) 및 자동화 프로세스 개발
- 정기 데이터 수집 배치: 터미널별 업데이트 간격에 맞춰 자동 실행
- 데이터 정합성 검증 및 로그 기록: 수집된 데이터의 정확성 검증 및 변경 내역 관리
- 에러 핸들링 및 재시도 로직 구현: 네트워크 오류 및 예외 상황 발생 시 재시도 기능 추가
3. API 개발 및 운영 시스템 구축
- 수집된 데이터를 활용할 수 있도록 REST API 개발
- 데이터 가공 및 필터링 기능 추가하여 사용자가 원하는 정보만 제공
- 이벤트 로그 및 모니터링 시스템 구축하여 운영 안정성 강화
4. 시스템 배포 및 운영 자동화
- Azure DevOps를 활용한 CI/CD 구축 및 배포 자동화
- 운영 안정성을 위한 로그 모니터링 및 데이터 검증 프로세스 구축
3. 프로젝트 성과 및 기여도
- 전국 주요 터미널 대상 실시간 스케줄 수집 체계 구축
- 비정형 HTML 데이터 자동화로 운영 리소스 절감
- Crontab 기반 배치 시스템으로 데이터 최신성 보장
- Azure DevOps 기반 배포 자동화로 배포 시간 단축 및 오류 감소+
