python-crawling-lab/.env.example at main · edumgt/python-crawling-lab · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
# =====================================================
# 🔧 Zavod / OpenSanctions 환경 변수 설정
# =====================================================

# PostgreSQL 연결 (로컬 Docker)
POSTGRES_USER=postgres
POSTGRES_PASSWORD=password
POSTGRES_DB=dev
DATABASE_URL=postgresql://postgres:password@db:5432/dev
ZAVOD_DATABASE_URI=postgresql://postgres:password@db:5432/dev

# 로그 및 디버그
ZAVOD_LOG_JSON=false
ZAVOD_DEBUG=true

# 데이터 경로
ZAVOD_DATA_PATH=data

# Zyte API Key (옵션)
OPENSANCTIONS_ZYTE_API_KEY=xxx

# 사이트 설정
ZAVOD_ARCHIVE_SITE=https://data.opensanctions.org
ZAVOD_WEB_SITE=https://www.opensanctions.org

# DuckDB 메모리 제한
ZAVOD_DUCKDB_MEMORY=2000

# ✅ OpenAI API 설정
OPENSANCTIONS_OPENAI_API_KEY=sk-proj-xxx

# UI 설정
ZAVOD_ALLOW_UNAUTHENTICATED=true

# =====================================================
# 📈 Finance Data Lake 환경 변수
# =====================================================

# MinIO S3 (데이터 레이크 Bronze/Silver 레이어)
MINIO_ENDPOINT=http://minio:9000
MINIO_ACCESS_KEY=minioadmin
MINIO_SECRET_KEY=minioadmin
BUCKET_BRONZE=data-lake-bronze
BUCKET_SILVER=data-lake-silver

# 로컬 파일시스템 폴백 (MinIO 없을 때 true로 설정)
DATA_LAKE_LOCAL=false
LOCAL_DATA_ROOT=/data/lake

# Gold DuckDB 경로
GOLD_DB_PATH=/data/lake/gold/analytics.duckdb
CATALOG_PATH=/data/lake/catalog/catalog.json

# 금융감독원 DART 공시 API (opendart.fss.or.kr 에서 발급)
DART_API_KEY=

# 한국은행 ECOS 경제통계 API (ecos.bok.or.kr/openapi 에서 발급)
ECOS_API_KEY=

# Qdrant 벡터 DB
QDRANT_URL=http://qdrant:6333

# 크롤러 잡 이미지
CRAWLER_IMAGE=finance-crawler-job:latest
DOCKER_NETWORK=shared-net