-
Notifications
You must be signed in to change notification settings - Fork 108
Expand file tree
/
Copy pathquiz.json
More file actions
102 lines (102 loc) · 3.6 KB
/
Copy pathquiz.json
File metadata and controls
102 lines (102 loc) · 3.6 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
{
"lesson": "24-coreference-resolution",
"title": "共指消解",
"questions": [
{
"stage": "pre",
"question": "共指消解的目标是什么?",
"options": [
"把所有指代同一现实世界实体的提及(命名、名词性、代词性)聚成一簇",
"标注词性",
"抽取关系",
"把代词翻译成名词"
],
"correct": 0,
"explanation": "共指消解把所有指代同一实体的提及跨度聚成一簇。"
},
{
"stage": "pre",
"question": "哪种表达是“名词性”(nominal)提及?",
"options": [
"仅专有名词",
"像 'the CEO' 或 'the company' 这样的名词短语",
"像 'she' 这样的代词",
"一个动词"
],
"correct": 1,
"explanation": "名词性提及是像 'the company' 这样的名词短语;代词性提及是代词。"
},
{
"stage": "check",
"question": "现代(Lee 等, 2017)的共指架构是什么?",
"options": [
"BM25 检索",
"仅基于规则的句法分析",
"决策树",
"端到端、基于跨度:枚举跨度,给提及打分,再给先行词概率打分并贪心聚类"
],
"correct": 3,
"explanation": "端到端神经共指枚举跨度,并联合学习提及打分 + 先行词打分。"
},
{
"stage": "check",
"question": "CoNLL F1 是对什么求平均?",
"options": [
"跨语言的 F1",
"MUC、B-cubed 和 CEAF-phi4 的 F1 分数",
"token 和跨度 F1",
"精确率和召回率"
],
"correct": 1,
"explanation": "CoNLL F1 是 MUC、B-cubed 和 CEAF-phi4 指标的均值。"
},
{
"stage": "check",
"question": "什么是桥接照应(bridging anaphora)?",
"options": [
"一个误译",
"一种隐式指代,例如 'the wheels' 暗指前文提到的某辆车的轮子",
"出现在指称对象之前的代词",
"没有先行词的代词"
],
"correct": 1,
"explanation": "桥接把一个提及链接到一个被暗示但未明说的“部分-整体”或相关实体。"
},
{
"stage": "post",
"question": "为什么仅靠 LLM 做共指在长文档上不可靠?",
"options": [
"LLM 无法读取文本",
"tokenizer 失败",
"单次调用的 LLM 在 50+ 段落中会过度合并或悄悄丢掉提及;需要滑动窗口加合并",
"共指需要一个 CFG"
],
"correct": 2,
"explanation": "长文档 LLM 共指会退化;带跨窗口合并的滑动窗口可缓解。"
},
{
"stage": "post",
"question": "为什么在下游任务前要把共指簇并入 NER 结果?",
"options": [
"Wikidata 所要求",
"为了增加 token 数",
"降低延迟",
"让下游任务看到每簇一个实体,而非每个表面提及一个,从而大幅提升覆盖率"
],
"correct": 3,
"explanation": "不合并的话,NER 会把每个表面形式分开计数,漏掉 60-80% 的实体提及。"
},
{
"stage": "post",
"question": "为什么硬编码的性别规则是共指系统中的一个脆弱点?",
"options": [
"它们在非二元指称对象、组织和动物上会出错;学习型打分更稳健",
"它们需要 GPU",
"它们跑得太快",
"它们无法使用词性标签"
],
"correct": 0,
"explanation": "性别启发式在人口构成多样的文本上会失败;更偏好学习型模型。"
}
]
}