dql-aged-multi-pumps-cbm/config_pump_cbm_v047_balanced.yaml at main · tk-yasuno/dql-aged-multi-pumps-cbm · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
# Pump CBM v0.4.7 Configuration - Balanced Scenario
# 3台ポンプ設備用バランス型シナリオ（安全性とコスト効率のバランス）

# Target Equipment Configuration
multi_equipment:
  target_equipment_list:
    - equipment_id: 265715  # エアハンドリングユニット2
      equipment_name: "エアハンドリングユニット2（冷却系ポンプ）"
      installation_date: "2016-01-01"  # 9年経過
      current_age: 9.0
      main_measurement_id: 265715
      measurement_name: "冷却水ポンプ流量"
      aging_factor: 0.008              # 実証値
      expected_convergence: 150        # エピソード収束実績
      performance_stability: 45.23     # 標準偏差実績（中程度変動）

    - equipment_id: 137953  # 一般排水ポンプ
      equipment_name: "一般排水ポンプ"
      installation_date: "1999-01-01"  # 26年経過
      current_age: 26.0
      main_measurement_id: 137953
      measurement_name: "排水ポンプ運転状態"
      aging_factor: 0.012              # 実証値（高齢化影響大）
      expected_convergence: 80         # エピソード収束実績（高速学習）
      performance_stability: 78.91     # 標準偏差実績（高変動）

    - equipment_id: 519177  # タンク残量
      equipment_name: "貯水タンクポンプ"
      installation_date: "2022-01-01"  # 3年経過
      current_age: 0.5
      main_measurement_id: 519177  # タンク残量
      measurement_name: "タンク残量"
      aging_factor: 0.003           # 実証値
      expected_convergence: 100     # エピソード収束実績（高速学習）
      performance_stability: 63.53  # 標準偏差実績（高変動）

# Environment Parameters
environment:
  # Real data-driven state transitions (Pump-specific)
  use_real_data_transitions: true  # Use actual measurement data for transition matrices

  horizon: 120                    # Episode length (steps) - 10年間分
  gamma: 0.95                     # Discount factor
  cost_lambda: 0.1               # Cost penalty scaling factor

  # Temperature settings (pump-specific ranges)
  temperature_range:
    min: -10.0
    max: 200.0

  # Normal range (will be set from pump measurement data)
  normal_temp_range:
    min: 0.0
    max: 150.0

  # Equipment aging parameters (pump-specific)
  aging:
    initial_age: 0.0              # Will be overridden by actual ages
    aging_factor: 0.008           # Base aging factor (adjusted per pump)
    max_age: 50.0                 # Maximum equipment age for normalization
    use_real_age: true            # Use real age data from installation dates

# Reward Function for Pump CBM - BALANCED SCENARIO
reward:
  risk:
    normal: 20.0                  # 正常状態維持への標準インセンティブ
    anomalous: -10.0              # 標準的な異常状態ペナルティ

  cost:
    do_nothing: 10.0              # 何もしないことのリスクコスト
    repair: 5.0                   # ポンプ修理コスト
    replace: 25.0                 # ポンプ交換コスト（空調より高め）

  # 保全費用平準化パラメータ（バランス型）
  cost_leveling:
    enabled: true                 # 保全費用平準化を有効にする
    window_size: 12               # 保全費用計算ウィンドウ（月数）
    target_monthly_budget: 30.0   # 目標月次保全予算（ポンプ3台用）
    leveling_penalty_weight: 1.0  # バランス調整重み（標準）
    variance_threshold: 15.0      # 許容する月次費用分散の閾値（標準）

# State Transition (Pump Equipment specific)
transition:
  # ポンプ設備別の遷移確率（実データから推定）
  base_probabilities:
    do_nothing:
      normal_to_normal: 0.70        # ポンプは劣化が早い
      normal_to_anomalous: 0.30     # 高い劣化リスク
      anomalous_to_normal: 0.03     # 自然回復は困難
      anomalous_to_anomalous: 0.97  # 異常状態の持続性高

    repair:
      normal_to_normal: 0.93
      normal_to_anomalous: 0.07
      anomalous_to_normal: 0.70
      anomalous_to_anomalous: 0.30

    replace:
      normal_to_normal: 0.96
      normal_to_anomalous: 0.04
      anomalous_to_normal: 0.98
      anomalous_to_anomalous: 0.02

# Multi-Equipment Settings
multi_equipment_settings:
  simultaneous_maintenance_discount: 0.15  # 同時保全による15%コスト削減

  # ポンプ特有の設定
  pump_specific:
    flow_monitoring: true         # 流量監視
    pressure_monitoring: true     # 圧力監視
    vibration_analysis: true      # 振動解析
    temperature_monitoring: true  # 温度監視

# Training Parameters (QR-DQN Enhanced)
training:
  algorithm: "QR-DQN"
  episodes: 1000                  # デフォルトエピソード数
  learning_rate: 0.0005
  batch_size: 128
  buffer_size: 200000
  target_update_frequency: 1000
  epsilon_start: 1.0
  epsilon_end: 0.01
  epsilon_decay: 0.995

  # QR-DQN specific
  num_quantiles: 200
  quantile_embedding_dim: 64

  # Advanced features
  n_step: 3
  prioritized_replay: true
  double_dqn: true
  noisy_networks: true
  dueling_networks: true

  # Training environment
  n_envs: 16                      # 並列環境数
  mixed_precision: true           # 混合精度学習

  # Logging
  log_interval: 100
  save_interval: 500
  log_cost_leveling: true

# Output Configuration
output:
  save_dir: "C:/Users/yasun/RL/dql-aged-multi-equipment-cbm/pump_case/outputs_pump_cbm_v047_balanced"
  save_frequency: 500
  log_cost_leveling: true

# Scenarios for comparison
scenarios:
  balanced:
    reward_weights: [1.0, 1.0, 1.0]    # [risk, cost, leveling] - バランス型
    output_suffix: "_balanced"
  cost_efficient:
    reward_weights: [0.8, 1.2, 0.9]    # コスト重視
    output_suffix: "_cost_efficient"
  safety_first:
    reward_weights: [1.3, 0.7, 1.1]    # 安全重視
    output_suffix: "_safety_first"