友情提示，以下内容复制到markdown预览，你能获得更好的阅读体验

#### 上传github下载的DuEE_baseline.zip，解压

#### 切换到代码目录
```
cd baseline/
```

#### 建立conda环境
```
conda create -n DuEE_2020 python=2.7 -y
source activate DuEE_2020
pip install -r ./requirements.txt
```
### 下载预训练的ERNIE模型
```
mkdir ./model
cd ./model
wget https://ernie.bj.bcebos.com/ERNIE_1.0_max-len-512.tar.gz --no-check-certificate
mkdir ERNIE_1.0_max-len-512
tar -zxf ERNIE_1.0_max-len-512.tar.gz -C ERNIE_1.0_max-len-512 
rm ERNIE_1.0_max-len-512.tar.gz
cd ../
```

#### 将官方的`train.json`, `dev.json`重命名为`train1.json`, `dev1.json`，并将`train1.json`, `dev1.json`, `test1.json`放到`./data/`目录下
#### 修改`./bin/data_process.py`，增加三个函数，并修改main函数里的func_mapping
```
def origin_events_process1train():
    """origin_events_process"""
    origin_events_path = sys.argv[2]
    save_dir = sys.argv[3]
    if not origin_events_path or not save_dir:
        raise Exception("set origin_events_path and save_dir first")
    output = []
    lines = utils.read_by_lines(origin_events_path)
    for line in lines:
        d_json = json.loads(line)
        for event in d_json["event_list"]:
            event["event_id"] = u"{}_{}".format(d_json["id"], event["trigger"])
            event["text"] = d_json["text"]
            event["id"] = d_json["id"]
            output.append(json.dumps(event, ensure_ascii=False))
    random.shuffle(output)  # 随机一下

    print(
        u"include sentences {}, events {}, train datas {}"
        .format(
            len(lines), len(output), len(output)))
    utils.write_by_lines(u"{}/train.json".format(save_dir), output)

def origin_events_process1dev():
    """origin_events_process"""
    origin_events_path = sys.argv[2]
    save_dir = sys.argv[3]
    if not origin_events_path or not save_dir:
        raise Exception("set origin_events_path and save_dir first")
    output = []
    lines = utils.read_by_lines(origin_events_path)
    for line in lines:
        d_json = json.loads(line)
        for event in d_json["event_list"]:
            event["event_id"] = u"{}_{}".format(d_json["id"], event["trigger"])
            event["text"] = d_json["text"]
            event["id"] = d_json["id"]
            output.append(json.dumps(event, ensure_ascii=False))
    random.shuffle(output)  # 随机一下

    print(
        u"include sentences {}, events {}, train datas {}"
        .format(
            len(lines), len(output), len(output)))
    utils.write_by_lines(u"{}/dev.json".format(save_dir), output)

def origin_events_process1test():
    """origin_events_process"""
    origin_events_path = sys.argv[2]
    save_dir = sys.argv[3]
    if not origin_events_path or not save_dir:
        raise Exception("set origin_events_path and save_dir first")
    output = []
    lines = utils.read_by_lines(origin_events_path)
    for line in lines:
        d_json = json.loads(line)
        event = {}
        event["trigger"] = ""
        event["trigger_start_index"] = 0
        event["class"] = ""
        event["event_type"] = ""
        event["arguments"] = []
        argument  = {}
        argument["argument_start_index"] = 0
        argument["role"] = ""
        argument["argument"] = ""
        argument["alias"] = []
        event["arguments"].append(argument)
        event["event_id"] = u"{}_{}".format(d_json["id"], "no_event")
        event["text"] = d_json["text"]
        event["id"] = d_json["id"]
        output.append(json.dumps(event, ensure_ascii=False))
    random.shuffle(output)  # 随机一下

    print(
        u"include sentences {}, events {}, test datas {}"
        .format(len(lines), len(output), len(output)))
    utils.write_by_lines(u"{}/test.json".format(save_dir), output)

def main():
    """main"""
    func_mapping = {
        "origin_events_process": origin_events_process,
        "schema_event_type_process": schema_event_type_process,
        "schema_role_process": schema_role_process,

        # 新增以下三行以及上一句末尾逗号
        "origin_events_process1train": origin_events_process1train,
        "origin_events_process1dev": origin_events_process1dev,
        "origin_events_process1test": origin_events_process1test
    }
    func_name = sys.argv[1]
    if func_name not in func_mapping:
        raise Exception("no function {}, please select [ {} ]".format(
            func_name, u" | ".join(func_mapping.keys())))
    func_mapping[func_name]()

```
### 处理样本数据
```
rm ./data/eet_events.json
python bin/data_process.py origin_events_process1train ./data/train1.json ./data/
python bin/data_process.py origin_events_process1dev ./data/dev1.json ./data/
python bin/data_process.py origin_events_process1test ./data/test1.json ./data/
```

### 处理schema生成序列标注标签文档
#### 用官方的`event_schema.json`覆盖`./dict/event_schema.json`
#### 触发词识别模型标签，保存到文件 `./dict/vocab_trigger_label_map.txt`
```
python bin/data_process.py schema_event_type_process ./dict/event_schema.json ./dict/vocab_trigger_label_map.txt
```

#### 论元角色识别模型标签，保存到文件 `./dict/vocab_roles_label_map.txt`
```
python bin/data_process.py schema_role_process ./dict/event_schema.json ./dict/vocab_roles_label_map.txt
```

### 训练触发词识别模型
#### 将官方baseline系统里的`train_trigger.sh`, `train_role.sh`, `predict_trigger.sh`, `predict_role.sh`拷贝到项目根目录下，每个脚本都可以修改`GPUID`的值来选择运行的GPU
#### 运行脚本后会先添加临时变量，然后运行新脚本，这样即使关闭当前ssh连接程序仍在后台运行
```
sh train_trigger.sh
```

### 预测触发词结果
#### 修改脚本`./bin/script/predict_event_trigger.sh`，第21行改为`--batch_zize 32`, 只要对应你训练时使用的batch_size大小即可，改完记得返回项目根目录
#### 如需用CPU来评估在开发集上的结果，在该文件中`export CPU_NUM=20`（自选），并将第17行的use_cuda的值改为false
```
sh predict_trigger.sh
```

### 训练论元角色识别模型
```
sh train_role.sh
```

### 预测论元角色结果
#### 修改脚本`./bin/script/predict_event_role.sh`，第21行改为`--batch_zize 32`
```
sh predict_role.sh
```

### 评估
#### 将测试集（`./data/test.json`）转化为评估格式 `./bin/evaluate/test.json`
```
mkdir ./bin/evaluate/
python bin/predict_eval_process.py test_data_2_eval ./data/test.json ./bin/evaluate/test.json
```
#### 将预测结果整合并转为评估格式 
```
python bin/predict_eval_process.py predict_data_2_eval ./save_model/trigger/pred_trigger.json ./save_model/role/pred_role.json ./dict/event_schema.json ./bin/evaluate/pred.json
```

#### 将`pred.json`上传，可重命名，每个系统每天可以上传5个结果
| precision | recall | f1_score |
| ---- | ---- | ---- |
| 0.77 | 0.663 | 0.713 |

#### 参考链接
[官方github](https://github.com/PaddlePaddle/Research/tree/master/KG/DuEE_baseline/DuEE-PaddleHub)
[官方baseline](https://aistudio.baidu.com/aistudio/projectdetail/357419)
[阿布军事的分享](https://ai.baidu.com/forum/topic/show/958717)