• Although 416 --- Page Break --- CHAPTER 10. SEQUENCE MODELING : RECURREN T AND RECURSIV E NETS the parameter up date has the same direction as the true gradient, with gradient norm clipping, the parameter up date vector norm is now b ounded. This b ounded gradien t a voids p erforming a detrimen tal step when the gradien t explo des. In fact, ev en simply taking a r andom step when the gradien t magnitude is ab ov e a threshold tends to work almost as w ell. If the explosion is so sev ere that the gradien t is numerically Inf or Nan (considered infinite or not-a-n um b er), then a random step of size v can b e tak en and will t ypically mov e aw a y from the n umerically unstable configuration. Clipping the gradient norm p er-minibatc h will not c hange the direction of the gradien t for an individual minibatc h. Ho wev er, taking the a v erage of the norm-clipped gradient from man y minibatches is not equiv alent to clipping the norm of the true gradien t (the gradient formed from using all examples). Examples that hav e large gradien t norm, as well as examples that app ear in the same minibatch as such examples, will hav e their contribution to the final direction diminished. This stands in contrast to traditional minibatch gradien t descent, where the true gradien t direction is equal to the av erage o ver all minibatc h gradients. Put another wa y , traditional sto chastic gradient descent uses an unbiased estimate of the gradient, while gradient descen t with norm clipping in tro duces a heuristic bias that we kno w empirically to b e useful. With element- wise clipping, the direction of the update is not aligned with the true gradien t or the minibatc h gradient, but it is still a descen t direction. It has also been prop osed ( Grav es 2013 , ) to clip the bac k-propagated gradient (with respect to hidden units) but no comparison has b een published b etw een these v ariants; w e conjecture that all these metho ds b ehav e similarly . 10.11 .2 Regu lariz ing to Enco urag e Infor mat ion Flo w Gradien t clipping helps to deal with explo ding gradients, but it do es not help with v anishing gradients. T o address v anishing gradients and b etter capture long-term dep endencies, we discussed the idea of creating paths in the computational graph of the unfolded recurren t architecture along which the pro duct of gradien ts asso ciated with arcs is near 1. One approach to achiev e this is with LSTMs and other self-lo ops and gating mechanisms, describ ed ab ov e in Sec. . Another idea is to regularize 10.10 or constrain the parameters so as to encourage “information flow.” In particular, w e would lik e the gradient vector ∇ h ( ) t L b eing back-propagated to maintain its magnitude, even if the loss function only p enalizes the output at the end of the sequence. F ormally , w e wan t ( ∇ h ( ) t L ) ∂ h ( ) t ∂ h ( 1) t − (10.50) 417 --- Page Break --- CHAPTER 10. SEQUENCE MODELING : RECURREN T AND RECURSIV E NETS to b e as large as ∇ h ( ) t L. (10.51) With this ob jective, Pascan u 2013a et al. ( ) prop ose the following regularizer: Ω =  t      | ∇ ( h ( ) t L ) ∂ h ( ) t ∂ h ( 1) t −    | ||∇ h ( ) t L | | − 1   2 . (10.52) Computing the gradien t of this regularizer may app ear difficult, but P ascan u et al. ( ) prop ose an approximation in which we consider the back-propagated 2013a v ectors ∇ h ( ) t L as if they were constants (for the purpose of this regularizer, so that there is no need to bac k-propagate through them). The experiments with this regularizer suggest that, if com bined with the norm clipping heuristic (which handles gradient explosion), the regularizer can considerably increase the span of the dep endencies that an RNN can learn. Because it keeps the RNN dynamics on the edge of explosive gradients, the gradient clipping is particularly imp ortant. Without gradient clipping, gradient explosion preven ts learning from succeeding. A k ey weakness of this approac h is that it is not as effective as the LSTM for tasks where data is abundant, such as language mo deling. 10.12 Explicit Memory In telligence requires knowledge and acquiring knowledge can b e done via learning, whic h has motiv ated the developmen t of large-scale deep arc hitectures. Ho w ever, there are different kinds of kno wledge. Some kno wledge can b e implicit, sub- conscious, and difficult to verbalize—suc h as how to w alk, or ho w a dog looks differen t from a cat. Other kno wledge can b e explicit, declarative, and relatively straigh tforward to put into words—ev ery da y commonsense kno wledge, like “a cat is a kind of animal,” or very sp ecific facts that you need to know to accomplish y our current goals, like “the meeting with the sales team is at 3:00 PM in ro om 141.” Neural netw orks excel at storing implicit knowledge. How ever, they struggle to memorize facts. Sto chastic gradien t descent requires many presen tations of the same input b efore it can b e stored in a neural netw ork parameters, and even then, that input will not be stored esp ecially precisely . Gra ves 2014b et al.

• Although the parameter update has the same direction as the true gradient, with gradient norm clipping, the parameter update vector norm is now bounded.
  • 固定搭配:"the same...as..."意为 "和……一样"；"gradient norm clipping"意为 "梯度范数裁剪"。
  • 句子分析:这是一个复合句，"Although"引导让步状语从句，主句是"the parameter update vector norm is now bounded"。句子描述了尽管参数更新方向与真实梯度相同，但经过梯度范数裁剪后，参数更新向量范数有了界限。
  • 翻译:"尽管参数更新的方向与真实梯度相同，但通过梯度范数裁剪，参数更新向量的范数现在有了界限。"
  • 单词分析:
    • bounded:形容词，词源来自 "bound"（限制），词义：有界限的；有限的。
      • 记忆方法:联想 "bound"（边界）+ "-ed"（形容词后缀）→ 有边界的 → 有界限的。
      • 形近词:bounded/bound（边界；跳跃）、unbounded（无界限的）。
      • 发音解析:
        • 音节分解:bound + ed /ˈbaʊndɪd/，重音在第一音节
        • 规则:bound → /baʊnd/， “bound” 发 /baʊnd/ 音，其中 “ou” 发 /aʊ/ 音。
        • 规则:ed → /ɪd/， “ed” 发 /ɪd/ 音。

• This bounded gradient avoids performing a detrimental step when the gradient explodes.
  • 固定搭配:无。
  • 句子分析:这是一个复合句，"when"引导时间状语从句，主句是"This bounded gradient avoids performing a detrimental step"。句子说明有界限的梯度能避免在梯度爆炸时采取有害的步骤。
  • 翻译:"当梯度爆炸时，这种有界限的梯度可以避免采取有害的步骤。"
  • 单词分析:
    • detrimental:形容词，词源来自拉丁语 "detrimentum"（损害），词义：有害的；不利的。
      • 记忆方法:联想 "de-"（向下）+ "triment"（可看作 "trial" 变体，尝试）→ 向下的尝试 → 有害的。
      • 形近词:detrimental/detriment（损害）、beneficial（有益的）。
      • 发音解析:
        • 音节分解:de + tri + men + tal /ˌdetrɪˈmentl/，重音在第二音节
        • 规则:de → /dɪ/， “de” 发 /dɪ/ 音，其中 “e” 发短元音 /ɪ/。
        • 规则:tri → /traɪ/， “tri” 发 /traɪ/ 音，其中 “i” 发长元音 /aɪ/。
        • 规则:men → /mən/， “men” 发 /mən/ 音，其中 “e” 发短元音 /ə/。
        • 规则:tal → /tl/， “tal” 发 /tl/ 音。

• In fact, even simply taking a random step when the gradient magnitude is above a threshold tends to work almost as well.
  • 固定搭配:"above a threshold"意为 "超过阈值"。
  • 句子分析:这是一个复合句，"when"引导时间状语从句，主句是"even simply taking a random step...tends to work almost as well"。句子表明即使只是在梯度大小超过阈值时随机采取一步，效果也差不多。
  • 翻译:"事实上，即使只是在梯度大小超过阈值时随机采取一步，效果也几乎一样好。"
  • 单词分析:
    • threshold:名词，词源来自古英语 "þrescold"，词义：门槛；阈值。
      • 记忆方法:联想 "thresh"（脱粒）+ "old"（古老的）→ 以前脱粒的地方有门槛 → 门槛。
      • 形近词:threshold/thread（线）、thresh（脱粒）。
      • 发音解析:
        • 音节分解:thresh + old /ˈθreʃhoʊld/，重音在第一音节
        • 规则:thresh → /θreʃ/， “thresh” 发 /θreʃ/ 音，其中 “th” 发 /θ/ 音。
        • 规则:old → /hoʊld/， “old” 发 /hoʊld/ 音，其中 “o” 发长元音 /oʊ/。

• If the explosion is so severe that the gradient is numerically Inf or Nan (considered infinite or not-a-number), then a random step of size v can be taken and will typically move away from the numerically unstable configuration.
  • 固定搭配:"so...that..."意为 "如此……以至于……"。
  • 句子分析:这是一个复合句，"If"引导条件状语从句，其中包含 "so...that..."结果状语从句，主句是"a random step of size v can be taken and will typically move away from..."。句子阐述了在梯度爆炸非常严重时的应对措施。
  • 翻译:"如果爆炸非常严重，以至于梯度在数值上为无穷大（Inf）或非数字（Nan），那么可以采取大小为 v 的随机步长，并且通常会远离数值不稳定的配置。"
  • 单词分析:
    • severe:形容词，词源来自拉丁语 "severus"（严厉的），词义：严重的；严厉的。
      • 记忆方法:联想 "se-"（分开）+ "vere"（可看作 "very" 变体）→ 非常分开 → 严重的。
      • 形近词:severe/sever（切断）、several（几个）。
      • 发音解析:
        • 音节分解:se + vere /sɪˈvɪr/，重音在第二音节
        • 规则:se → /sɪ/， “se” 发 /sɪ/ 音，其中 “e” 发短元音 /ɪ/。
        • 规则:vere → /vɪr/， “vere” 发 /vɪr/ 音，其中 “e” 发短元音 /ɪ/。
  • numerically:副词，词源来自 "numerical"（数字的），词义：在数字上；从数值角度。
    • 记忆方法:联想 "numerical"（数字的）+ "-ly"（副词后缀）→ 在数字上。
    • 形近词:numerically/numerical（数字的）、numerator（分子）。
    • 发音解析:
      • 音节分解:nu + mer + i + cal + ly /njuːˈmerɪkli/，重音在第二音节
      • 规则:nu → /njuː/， “nu” 发 /njuː/ 音，其中 “u” 发长元音 /juː/。
      • 规则:mer → /mɜːr/， “mer” 发 /mɜːr/ 音，其中 “e” 发长元音 /ɜːr/。
      • 规则:i → /ɪ/， “i” 发短元音 /ɪ/。
      • 规则:cal → /kl/， “cal” 发 /kl/ 音。
      • 规则:ly → /li/， “ly” 发 /li/ 音。
  • infinite:形容词，词源来自拉丁语 "infinitus"（无限的），词义：无限的；无穷的。
    • 记忆方法:联想 "in-"（否定）+ "finite"（有限的）→ 无限的。
    • 形近词:infinite/finite（有限的）、infinitesimal（极小的）。
    • 发音解析:
      • 音节分解:in + fi + nite /ˈɪnfɪnət/，重音在第一音节
      • 规则:in → /ɪn/， “in” 发 /ɪn/ 音，其中 “i” 发短元音 /ɪ/。
      • 规则:fi → /faɪ/， “fi” 发 /faɪ/ 音，其中 “i” 发长元音 /aɪ/。
      • 规则:nite → /nət/， “nite” 发 /nət/ 音，其中 “e” 发短元音 /ə/。
  • unstable:形容词，词源来自 "un-"（否定）+ "stable"（稳定的），词义：不稳定的。
    • 记忆方法:联想 "un-"（不）+ "stable"（稳定的）→ 不稳定的。
    • 形近词:unstable/stable（稳定的）、stability（稳定性）。
    • 发音解析:
      • 音节分解:un + sta + ble /ʌnˈsteɪbl/，重音在第二音节
      • 规则:un → /ʌn/， “un” 发 /ʌn/ 音，其中 “u” 发短元音 /ʌ/。
      • 规则:sta → /steɪ/， “sta” 发 /steɪ/ 音，其中 “a” 发长元音 /eɪ/。
      • 规则:ble → /bl/， “ble” 发 /bl/ 音。
  • configuration:名词，词源来自拉丁语 "configurare"（使成形），词义：配置；布局。
    • 记忆方法:联想 "con-"（共同）+ "figure"（形状）+ "-ation"（名词后缀）→ 共同形成形状 → 配置。
    • 形近词:configuration/configure（配置）、reconfiguration（重新配置）。
    • 发音解析:
      • 音节分解:con + fi + gu + ra + tion /kənˌfɪɡjəˈreɪʃn/，重音在第三音节
      • 规则:con → /kən/， “con” 发 /kən/ 音，其中 “o” 发短元音 /ə/。
      • 规则:fi → /fɪ/， “fi” 发 /fɪ/ 音，其中 “i” 发短元音 /ɪ/。
      • 规则:gu → /ɡjə/， “gu” 发 /ɡjə/ 音。
      • 规则:ra → /reɪ/， “ra” 发 /reɪ/ 音，其中 “a” 发长元音 /eɪ/。
      • 规则:tion → /ʃn/， “tion” 发 /ʃn/ 音。

• Clipping the gradient norm per-minibatch will not change the direction of the gradient for an individual minibatch.
  • 固定搭配:无。
  • 句子分析:简单句，动名词短语 "Clipping the gradient norm per - minibatch" 作主语。句子说明按小批量裁剪梯度范数不会改变单个小批量梯度的方向。
  • 翻译:"按小批量裁剪梯度范数不会改变单个小批量梯度的方向。"

• However, taking the average of the norm - clipped gradient from many minibatches is not equivalent to clipping the norm of the true gradient (the gradient formed from using all examples).
  • 固定搭配:"be equivalent to"意为 "等同于；相当于"。
  • 句子分析:这是一个主系表结构的句子，动名词短语 "taking the average of the norm - clipped gradient from many minibatches" 作主语。句子对比了取多个小批量裁剪后梯度的平均值和裁剪真实梯度范数的不同。
  • 翻译:"然而，取多个小批量裁剪后梯度的平均值并不等同于裁剪真实梯度的范数（使用所有样本形成的梯度）。"
  • 单词分析:
    • equivalent:形容词、名词，词源来自拉丁语 "aequivalentem"（相等的），词义：相等的；等价的；等价物。
      • 记忆方法:联想 "equi-"（相等）+ "valent"（有价值的）→ 价值相等的 → 等价的。
      • 形近词:equivalent/equality（平等）、inequivalent（不等价的）。
      • 发音解析:
        • 音节分解:e + qui + va + lent /ɪˈkwɪvələnt/，重音在第二音节
        • 规则:e → /ɪ/， “e” 发短元音 /ɪ/。
        • 规则:qui → /kwɪ/， “qui” 发 /kwɪ/ 音。
        • 规则:va → /veɪ/， “va” 发 /veɪ/ 音，其中 “a” 发长元音 /eɪ/。
        • 规则:lent → /lənt/， “lent” 发 /lənt/ 音，其中 “e” 发短元音 /ə/。

• Examples that have large gradient norm, as well as examples that appear in the same minibatch as such examples, will have their contribution to the final direction diminished.
  • 固定搭配:"as well as"意为 "也；和……一样"。
  • 句子分析:这是一个主从复合句，包含两个 "that" 引导的定语从句分别修饰 "examples"。句子说明具有大梯度范数的样本以及和它们在同一小批量的样本对最终方向的贡献会减小。
  • 翻译:"具有大梯度范数的样本，以及和这类样本出现在同一小批量中的样本，它们对最终方向的贡献将会减小。"
  • 单词分析:
    • diminished:动词过去式、过去分词，词源来自拉丁语 "diminuere"（减少），词义：减少；减小。
      • 记忆方法:联想 "di-"（分开）+ "min"（小）+ "-ish"（动词后缀）→ 使变小 → 减少。
      • 形近词:diminished/diminish（减少）、diminutive（小的）。
      • 发音解析:
        • 音节分解:di + min + ish + ed /dɪˈmɪnɪʃt/，重音在第二音节
        • 规则:di → /dɪ/， “di” 发 /dɪ/ 音，其中 “i” 发短元音 /ɪ/。
        • 规则:min → /mɪn/， “min” 发 /mɪn/ 音，其中 “i” 发短元音 /ɪ/。
        • 规则:ish → /ɪʃ/， “ish” 发 /ɪʃ/ 音。
        • 规则:ed → /t/， “ed” 发 /t/ 音。

• This stands in contrast to traditional minibatch gradient descent, where the true gradient direction is equal to the average over all minibatch gradients.
  • 固定搭配:“stand in contrast to”，含义：“与……形成对比”。
  • 句子分析:主从复合句，“This stands in contrast to traditional minibatch gradient descent”是主句，“where the true gradient direction is equal to the average over all minibatch gradients”是定语从句，修饰先行词“traditional minibatch gradient descent”。
  • 翻译:“这与传统的小批量梯度下降形成对比，在传统小批量梯度下降中，真实的梯度方向等于所有小批量梯度的平均值。”
  • 单词分析:
    • minibatch:名词，由“mini-”（表示“小的”）和“batch”（一批）构成，词义：小批量。
      • 记忆方法:联想“mini”（小的）和“batch”（一批）组合起来就是小批量。
      • 形近词:minibus（小型公共汽车）、miniskirt（迷你裙）。
      • 发音解析:
        • 音节分解:mini + batch /ˈmɪnibætʃ/，重音在第一音节
        • 规则:mini → /ˈmɪni/， “mini” 发 /ˈmɪni/ 音，其中 “i” 发短元音 /ɪ/。
        • 规则:batch → /bætʃ/， “batch” 发 /bætʃ/ 音，其中 “a” 发短元音 /æ/，“tch” 发 /tʃ/ 音。

• Put another way, traditional stochastic gradient descent uses an unbiased estimate of the gradient, while gradient descent with norm clipping introduces a heuristic bias that we know empirically to be useful.
  • 固定搭配:“put another way”，含义：“换句话说”；“an unbiased estimate”，含义：“无偏估计”。
  • 句子分析:并列复合句，由“while”连接两个分句。前一个分句“traditional stochastic gradient descent uses an unbiased estimate of the gradient”，后一个分句“gradient descent with norm clipping introduces a heuristic bias that we know empirically to be useful”，其中“that we know empirically to be useful”是定语从句，修饰“bias”。
  • 翻译:“换句话说，传统的随机梯度下降使用梯度的无偏估计，而采用范数裁剪的梯度下降引入了一种经验上被认为有用的启发式偏差。”
  • 单词分析:
    • stochastic:形容词，词源来自希腊语“stokhazesthai”（猜测），词义：随机的。
      • 记忆方法:联想“stoch”（可看作“猜测”相关）+“-astic”（形容词后缀），表示随机的就像猜测一样不确定。
      • 形近词:stochastically（随机地）。
      • 发音解析:
        • 音节分解:sto + chas + tic /stəˈkæstɪk/，重音在第二音节
        • 规则:sto → /stə/， “sto” 发 /stə/ 音，其中 “o” 发短元音 /ə/。
        • 规则:chas → /kæs/， “chas” 发 /kæs/ 音，其中 “a” 发短元音 /æ/。
        • 规则:tic → /tɪk/， “tic” 发 /tɪk/ 音，其中 “i” 发短元音 /ɪ/。
  • unbiased:形容词，由“un-”（表示否定）和“biased”（有偏见的）构成，词义：无偏见的，无偏的。
    • 记忆方法:“un-”（不）+“biased”（有偏见的），就是无偏的。
    • 形近词:biased（有偏见的）。
    • 发音解析:
      • 音节分解:un + bi + ased /ʌnˈbaɪəst/，重音在第二音节
      • 规则:un → /ʌn/， “un” 发 /ʌn/ 音，其中 “u” 发短元音 /ʌ/。
      • 规则:bi → /baɪ/， “bi” 发 /baɪ/ 音，其中 “i” 发双元音 /aɪ/。
      • 规则:ased → /əst/， “ased” 发 /əst/ 音，其中 “a” 发短元音 /ə/。
  • heuristic:形容词，词源来自希腊语“heuriskein”（发现），词义：启发式的。
    • 记忆方法:联想“heur”（可看作和“发现”有关）+“-istic”（形容词后缀），启发式就是帮助发现的。
    • 形近词:heuristically（启发式地）。
    • 发音解析:
      • 音节分解:heu + ris + tic /hjʊˈrɪstɪk/，重音在第二音节
      • 规则:heu → /hjuː/， “heu” 发 /hjuː/ 音，其中 “eu” 发 /juː/ 音。
      • 规则:ris → /rɪs/， “ris” 发 /rɪs/ 音，其中 “i” 发短元音 /ɪ/。
      • 规则:tic → /tɪk/， “tic” 发 /tɪk/ 音，其中 “i” 发短元音 /ɪ/。
  • empirically:副词，由“empirical”（经验主义的）加“-ly”构成，词义：经验上地。
    • 记忆方法:“empirical”（经验的）+“-ly”（副词后缀）。
    • 形近词:empirical（经验主义的）。
    • 发音解析:
      • 音节分解:em + pir + i + cal + ly /ɪmˈpɪrɪkli/，重音在第二音节
      • 规则:em → /ɪm/， “em” 发 /ɪm/ 音，其中 “e” 发短元音 /ɪ/。
      • 规则:pir → /pɪr/， “pir” 发 /pɪr/ 音，其中 “i” 发短元音 /ɪ/。
      • 规则:i → /ɪ/， “i” 发短元音 /ɪ/。
      • 规则:cal → /kəl/， “cal” 发 /kəl/ 音，其中 “a” 发短元音 /ə/。
      • 规则:ly → /li/， “ly” 发 /li/ 音。

• With element-wise clipping, the direction of the update is not aligned with the true gradient or the minibatch gradient, but it is still a descent direction.
  • 固定搭配:“be aligned with”，含义：“与……对齐；与……一致”。
  • 句子分析:并列句，由“but”连接两个分句。前一个分句描述更新方向与真实梯度或小批量梯度不一致，后一个分句说明它仍然是下降方向。
  • 翻译:“采用逐元素裁剪时，更新方向与真实梯度或小批量梯度不一致，但它仍然是一个下降方向。”
  • 单词分析:
    • element-wise:形容词，“element”（元素）和“-wise”（表示“方式、方向”）构成，词义：逐元素的。
      • 记忆方法:“element”（元素）+“-wise”（以……方式），就是逐元素的方式。
      • 形近词:likewise（同样地）、clockwise（顺时针方向的）。
      • 发音解析:
        • 音节分解:ele + ment + wise /ˈelɪməntwaɪz/，重音在第一音节
        • 规则:ele → /elɪ/， “ele” 发 /elɪ/ 音，其中 “e” 发短元音 /ɪ/。
        • 规则:ment → /mənt/， “ment” 发 /mənt/ 音，其中 “e” 发短元音 /ə/。
        • 规则:wise → /waɪz/， “wise” 发 /waɪz/ 音，其中 “i” 发双元音 /aɪ/。
  • aligned:形容词，“align”（使对齐）的过去分词形式，词义：对齐的，一致的。
    • 记忆方法:“align”（使对齐）的变形，记住“align”，加上“-ed”表示状态。
    • 形近词:align（使对齐）、alignment（对齐，排列）。
    • 发音解析:
      • 音节分解:a + lign + ed /əˈlaɪnd/，重音在第二音节
      • 规则:a → /ə/， “a” 发短元音 /ə/。
      • 规则:lign → /laɪn/， “lign” 发 /laɪn/ 音，其中 “i” 发双元音 /aɪ/。
      • 规则:ed → /d/， “ed” 发 /d/ 音。

• It has also been proposed (Graves 2013,) to clip the back-propagated gradient (with respect to hidden units) but no comparison has been published between these variants; we conjecture that all these methods behave similarly.
  • 固定搭配:“with respect to”，含义：“关于；至于”。
  • 句子分析:并列复合句。前一个分句“It has also been proposed... to clip the back-propagated gradient”是现在完成时的被动语态，后一个分句“no comparison has been published between these variants”也是现在完成时的被动语态，“;”后“we conjecture that all these methods behave similarly”中“that all these methods behave similarly”是宾语从句。
  • 翻译:“也有人提出（Graves 2013）裁剪反向传播的梯度（关于隐藏单元），但尚未发表这些变体之间的比较；我们推测所有这些方法的表现相似。”
  • 单词分析:
    • back-propagated:形容词，由“back-”（表示“反向”）和“propagated”（传播的）构成，词义：反向传播的。
      • 记忆方法:“back”（反向）+“propagated”（传播的）。
      • 形近词:propagate（传播）、propagation（传播）。
      • 发音解析:
        • 音节分解:back + pro + pa + gat + ed /ˈbækprɒpəɡeɪtɪd/，重音在第一音节
        • 规则:back → /bæk/， “back” 发 /bæk/ 音，其中 “a” 发短元音 /æ/。
        • 规则:pro → /prɒ/， “pro” 发 /prɒ/ 音，其中 “o” 发短元音 /ɒ/。
        • 规则:pa → /pə/， “pa” 发 /pə/ 音，其中 “a” 发短元音 /ə/。
        • 规则:gat → /ɡeɪt/， “gat” 发 /ɡeɪt/ 音，其中 “a” 发双元音 /eɪ/。
        • 规则:ed → /ɪd/， “ed” 发 /ɪd/ 音。
  • variants:名词复数，“variant”（变体）的复数形式，词源来自拉丁语“variare”（改变），词义：变体；变种。
    • 记忆方法:联想“var”（可看作和“改变”有关）+“-iant”（名词后缀），改变后就产生变体。
    • 形近词:vary（改变）、variation（变化）。
    • 发音解析:
      • 音节分解:va + ri + ant + s /ˈveərɪənts/，重音在第一音节
      • 规则:va → /veə/， “va” 发 /veə/ 音，其中 “a” 发双元音 /eə/。
      • 规则:ri → /rɪ/， “ri” 发 /rɪ/ 音，其中 “i” 发短元音 /ɪ/。
      • 规则:ant → /ənt/， “ant” 发 /ənt/ 音，其中 “a” 发短元音 /ə/。
      • 规则:s → /s/， “s” 发 /s/ 音。
  • conjecture:动词，词源来自拉丁语“conjectura”（猜测），词义：推测；猜想。
    • 记忆方法:联想“con-”（共同）+“ject”（投掷）+“-ure”，大家一起把想法“投掷”出来就是推测。
    • 形近词:inject（注射）、project（项目）。
    • 发音解析:
      • 音节分解:con + jec + ture /kənˈdʒektʃə(r)/，重音在第二音节
      • 规则:con → /kən/， “con” 发 /kən/ 音，其中 “o” 发短元音 /ə/。
      • 规则:jec → /dʒek/， “jec” 发 /dʒek/ 音，其中 “e” 发短元音 /e/。
      • 规则:ture → /tʃə(r)/， “ture” 发 /tʃə(r)/ 音。

• 10.11.2 Regularizing to Encourage Information Flow
• Gradient clipping helps to deal with exploding gradients, but it does not help with vanishing gradients.
  • 句子分析:并列句，由“but”连接两个分句，前一个分句说梯度裁剪有助于处理梯度爆炸问题，后一个分句说它对梯度消失问题没有帮助。
  • 翻译:“梯度裁剪有助于处理梯度爆炸问题，但它对梯度消失问题没有帮助。”
  • 单词分析:
    • exploding:形容词，“explode”（爆炸）的现在分词形式，词义：爆炸的；激增的。
      • 记忆方法:记住“explode”（爆炸），加上“-ing”表示正在进行或具有某种特征。
      • 形近词:explode（爆炸）、explosion（爆炸）。
      • 发音解析:
        • 音节分解:ex + plo + ding /ɪkˈspləʊdɪŋ/，重音在第二音节
        • 规则:ex → /ɪk/， “ex” 发 /ɪk/ 音，其中 “e” 发短元音 /ɪ/。
        • 规则:plo → /pləʊ/， “plo” 发 /pləʊ/ 音，其中 “o” 发双元音 /əʊ/。
        • 规则:ding → /dɪŋ/， “ding” 发 /dɪŋ/ 音，其中 “i” 发短元音 /ɪ/。
  • vanishing:形容词，“vanish”（消失）的现在分词形式，词义：消失的；逐渐减少的。
    • 记忆方法:记住“vanish”（消失），加上“-ing”表示正在进行或具有某种特征。
    • 形近词:vanish（消失）、vanity（虚荣）。
    • 发音解析:
      • 音节分解:va + nish + ing /ˈvænɪʃɪŋ/，重音在第一音节
      • 规则:va → /væn/， “va” 发 /væn/ 音，其中 “a” 发短元音 /æ/。
      • 规则:nish → /nɪʃ/， “nish” 发 /nɪʃ/ 音，其中 “i” 发短元音 /ɪ/。
      • 规则:ing → /ɪŋ/， “ing” 发 /ɪŋ/ 音。

• To address vanishing gradients and better capture long - term dependencies, we discussed the idea of creating paths in the computational graph of the unfolded recurrent architecture along which the product of gradients associated with arcs is near 1.
  • 句子分析:主从复合句，“To address vanishing gradients and better capture long - term dependencies”是目的状语，主句是“we discussed the idea...”，“along which the product of gradients associated with arcs is near 1”是定语从句，修饰“paths”。
  • 翻译:“为了解决梯度消失问题并更好地捕捉长期依赖关系，我们讨论了在展开的循环架构的计算图中创建路径的想法，沿着这些路径，与弧相关的梯度乘积接近1。”
  • 单词分析:
    • address:动词，词源来自拉丁语“addire”（引导），这里词义：解决；处理。
      • 记忆方法:联想“add”（添加）+“ress”（可看作和方向有关），把注意力添加到某个方向就是处理、解决。
      • 形近词:address（地址）、addressed（已处理的）。
      • 发音解析:
        • 音节分解:ad + dress /əˈdres/，重音在第二音节
        • 规则:ad → /əˈd/， “ad” 发 /əˈd/ 音，其中 “a” 发短元音 /ə/。
        • 规则:dress → /dres/， “dress” 发 /dres/ 音，其中 “e” 发短元音 /e/。
  • dependencies:名词复数，“dependency”（依赖）的复数形式，词源来自拉丁语“dependere”（依靠），词义：依赖关系；依存关系。
    • 记忆方法:“de-”（向下）+“pend”（悬挂）+“-ency”（名词后缀），向下悬挂着就是有依赖关系。
    • 形近词:depend（依靠）、dependent（依赖的）。
    • 发音解析:
      • 音节分解:de + pen + den + cies /dɪˈpendənsiz/，重音在第二音节
      • 规则:de → /dɪ/， “de” 发 /dɪ/ 音，其中 “e” 发短元音 /ɪ/。
      • 规则:pen → /pen/， “pen” 发 /pen/ 音，其中 “e” 发短元音 /e/。
      • 规则:den → /dən/， “den” 发 /dən/ 音，其中 “e” 发短元音 /ə/。
      • 规则:cies → /siz/， “cies” 发 /siz/ 音。
  • unfolded:形容词，“unfold”（展开）的过去分词形式，词义：展开的。
    • 记忆方法:“un-”（表示相反动作）+“fold”（折叠），就是展开。
    • 形近词:fold（折叠）、folder（文件夹）。
    • 发音解析:
      • 音节分解:un + fold + ed /ʌnˈfəʊldɪd/，重音在第二音节
      • 规则:un → /ʌn/， “un” 发 /ʌn/ 音，其中 “u” 发短元音 /ʌ/。
      • 规则:fold → /fəʊld/， “fold” 发 /fəʊld/ 音，其中 “o” 发双元音 /əʊ/。
      • 规则:ed → /ɪd/， “ed” 发 /ɪd/ 音。
  • recurrent:形容词，词源来自拉丁语“recurrere”（返回），词义：循环的；反复出现的。
    • 记忆方法:“re-”（再次）+“curr”（跑）+“-ent”（形容词后缀），再次跑回来就是循环的。
    • 形近词:recur（复发）、recurrence（复发；重现）。
    • 发音解析:
      • 音节分解:re + cur + rent /rɪˈkʌrənt/，重音在第二音节
      • 规则:re → /rɪ/， “re” 发 /rɪ/ 音，其中 “e” 发短元音 /ɪ/。
      • 规则:cur → /kʌr/， “cur” 发 /kʌr/ 音，其中 “u” 发短元音 /ʌ/。
      • 规则:rent → /rənt/， “rent” 发 /rənt/ 音，其中 “e” 发短元音 /ə/。

• One approach to achieve this is with LSTMs and other self - loops and gating mechanisms, described above in Sec..
  • 句子分析:主系表结构的简单句，“One approach to achieve this”是主语，“is”是系动词，“with LSTMs and other self - loops and gating mechanisms”是表语，“described above in Sec.”是过去分词短语作后置定语。
  • 翻译:“实现这一目标的一种方法是使用长短期记忆网络（LSTMs）以及其他自环和门控机制，如前面章节所述。”
  • 单词分析:
    • self - loops:名词，“self”（自我）和“loops”（循环）构成，词义：自环。
      • 记忆方法:“self”（自我）+“loops”（循环），自己形成的循环就是自环。
      • 形近词:loop（循环）。
      • 发音解析:
        • 音节分解:self + loops /ˈselfluːps/，重音在第一音节
        • 规则:self → /self/， “self” 发 /self/ 音，其中 “e” 发短元音 /e/。
        • 规则:loops → /luːps/， “loops” 发 /luːps/ 音，其中 “oo” 发长元音 /uː/。
  • gating:名词，“gate”（门）的现在分词形式，这里指门控，词义：门控。
    • 记忆方法:记住“gate”（门），加上“-ing”表示和门相关的动作或功能。
    • 形近词:gate（大门）、gateway（网关）。
    • 发音解析:
      • 音节分解:ga + ting /ˈɡeɪtɪŋ/，重音在第一音节
      • 规则:ga → /ɡeɪ/， “ga” 发 /ɡeɪ/ 音，其中 “a” 发双元音 /eɪ/。
      • 规则:ting → /tɪŋ/， “ting” 发 /tɪŋ/ 音，其中 “i” 发短元音 /ɪ/。

• Another idea is to regularize 10.10 or constrain the parameters so as to encourage “information flow.”
  • 固定搭配:“so as to”，含义：“以便；为了”。
  • 句子分析:主系表结构的简单句，“Another idea”是主语，“is”是系动词，“to regularize 10.10 or constrain the parameters so as to encourage ‘information flow.’”是表语。
  • 翻译:“另一个想法是对10.10进行正则化或约束参数，以便促进‘信息流动’。”
  • 单词分析:
    • regularize:动词，由“regular”（规则的）加“-ize”（使……化）构成，词义：使规则化；正则化。
      • 记忆方法:“regular”（规则）+“-ize”（使……化），使变得规则就是正则化。
      • 形近词:regular（规则的）、regulation（规则；条例）。
      • 发音解析:
        • 音节分解:reg + u + lar + ize /ˈreɡjəlaɪz/，重音在第一音节
        • 规则:reg → /reɡ/， “reg” 发 /reɡ/ 音，其中 “e” 发短元音 /e/。
        • 规则:u → /jə/， “u” 发 /jə/ 音。
        • 规则:lar → /lə(r)/， “lar” 发 /lə(r)/ 音，其中 “a” 发短元音 /ə/。
        • 规则:ize → /aɪz/， “ize” 发 /aɪz/ 音，其中 “i” 发双元音 /aɪ/。
  • constrain:动词，词源来自拉丁语“constrahere”（束缚），词义：约束；限制。
    • 记忆方法:“con-”（一起）+“strain”（拉紧），一起拉紧就是约束。
    • 形近词:constraint（约束；限制）、restrain（抑制；控制）。
    • 发音解析:
      • 音节分解:con + strain /kənˈstreɪn/，重音在第二音节
      • 规则:con → /kən/， “con” 发 /kən/ 音，其中 “o” 发短元音 /ə/。
      • 规则:strain → /streɪn/， “strain” 发 /streɪn/ 音，其中 “ai” 发双元音 /eɪ/。

• In particular, we would like the gradient vector ∇h()tL being back - propagated to maintain its magnitude, even if the loss function only penalizes the output at the end of the sequence.
  • 固定搭配:“in particular”，含义：“尤其；特别”；“even if”，含义：“即使；虽然”。
  • 句子分析:主从复合句，“we would like the gradient vector ∇h()tL being back - propagated to maintain its magnitude”是主句，“even if the loss function only penalizes the output at the end of the sequence”是让步状语从句。
  • 翻译:“尤其，我们希望反向传播的梯度向量∇h()tL保持其大小，即使损失函数仅对序列末尾的输出进行惩罚。”
  • 单词分析:
    • penalizes:动词第三人称单数，“penalize”（惩罚）的第三人称单数形式，词源来自拉丁语“penalis”（惩罚性的），词义：惩罚；处罚。
      • 记忆方法:“penal”（惩罚性的）+“-ize”（使……化），使有惩罚性就是惩罚。
      • 形近词:penalty（惩罚；罚金）。
      • 发音解析:
        • 音节分解:pe + nal + izes /ˈpiːnaˌlaɪzɪz/，重音在第一音节
        • 规则:pe → /piː/， “pe” 发 /piː/ 音，其中 “e” 发长元音 /iː/。
        • 规则:nal → /nəl/， “nal” 发 /nəl/ 音，其中 “a” 发短元音 /ə/。
        • 规则:izes → /aɪzɪz/， “izes” 发 /aɪzɪz/ 音，其中 “i” 发双元音 /aɪ/。

• Formaly, we want (∇h()tL) ∂h()t∂h(1)t - (10.50)
• 417
• L1-- Page Break ---
• CHAPTER 10.

• SEQUENCE MODELING : RECURRENT AND RECURSIVE NETS to be as large as ∇ h ( ) t L. (10.51)
  • 句子分析:此句表意不太清晰，推测是在描述序列建模中循环和递归网络的某个参数要达到和 ∇ h ( ) t L 一样大。句子包含专业术语，在学术语境中表达特定概念。
  • 翻译:序列建模：循环和递归网络要达到和 ∇ h ( ) t L 一样大。（注：这里的 ∇ h ( ) t L 是专业符号，需结合具体学科知识理解）
  • 单词分析:
    • recurrent:形容词，词源来自拉丁语 "recurrere"（跑回来），词义：循环的；反复出现的。
      • 记忆方法:联想 "re-"（再次）+"current"（流动）→ 再次流动 → 循环的。
      • 形近词:recurrent/recur（动词，复发；重现）、recurrence（名词，复发；重现）。
      • 发音解析:
        • 音节分解:re + cur + rent /rɪˈkʌrənt/，重音在第二音节
        • 规则:re → /rɪ/， “re” 发 /rɪ/ 音，其中 “r” 发 /r/ 音，“e” 发短元音 /ɪ/。
        • 规则:cur → /kʌr/， “cur” 发 /kʌr/ 音，其中 “c” 发 /k/ 音，“u” 发短元音 /ʌ/，“r” 发 /r/ 音。
        • 规则:rent → /rənt/， “rent” 发 /rənt/ 音，其中 “r” 发 /r/ 音，“e” 发短元音 /ə/，“n” 发 /n/ 音，“t” 发 /t/ 音。
  • recursive:形容词，词源来自拉丁语 "recursus"（返回），词义：递归的。
    • 记忆方法:联想 "re-"（再次）+"curse"（诅咒，这里可理解为循环）→ 再次循环 → 递归的。
    • 形近词:recursive/recursion（名词，递归）、recursively（副词，递归地）。
    • 发音解析:
      • 音节分解:re + cur + sive /rɪˈkɜːsɪv/，重音在第二音节
      • 规则:re → /rɪ/， “re” 发 /rɪ/ 音，其中 “r” 发 /r/ 音，“e” 发短元音 /ɪ/。
      • 规则:cur → /kɜːr/， “cur” 发 /kɜːr/ 音，其中 “c” 发 /k/ 音，“u” 发长元音 /ɜːr/。
      • 规则:sive → /sɪv/， “sive” 发 /sɪv/ 音，其中 “s” 发 /s/ 音，“i” 发短元音 /ɪ/，“v” 发 /v/ 音。

• With this objective, Pascanu 2013a et al. ( ) propose the following regularizer: Ω =  t      | ∇ ( h ( ) t L ) ∂ h ( ) t ∂ h ( 1) t −    | ||∇ h ( ) t L | | − 1   2 . (10.52)
  • 固定搭配:"et al." 是拉丁语短语，意为 “等人；以及其他人”。
  • 句子分析:句子以 “With this objective” 作状语，主句 “Pascanu 2013a et al. propose...” 表达某人等人提出了一个正则化项，后面跟着具体的公式。
  • 翻译:出于这个目标，帕斯卡努（Pascanu）2013a 等人提出了以下正则化项：Ω =  t      | ∇ ( h ( ) t L ) ∂ h ( ) t ∂ h ( 1) t −    | ||∇ h ( ) t L | | − 1   2 。（注：公式部分需结合专业知识理解）
  • 单词分析:
    • objective:名词，词源来自拉丁语 "objectivus"，词义：目标；目的。
      • 记忆方法:联想 “object”（物体，可引申为目标）+ “-ive”（形容词后缀，这里名词化）→ 目标。
      • 形近词:objective/object（名词，物体；动词，反对）、subjective（形容词，主观的）。
      • 发音解析:
        • 音节分解:ob + jec + tive /əbˈdʒektɪv/，重音在第二音节
        • 规则:ob → /əb/， “ob” 发 /əb/ 音，其中 “o” 发短元音 /ə/，“b” 发 /b/ 音。
        • 规则:jec → /dʒek/， “jec” 发 /dʒek/ 音，其中 “j” 发 /dʒ/ 音，“e” 发短元音 /e/，“c” 发 /k/ 音。
        • 规则:tive → /tɪv/， “tive” 发 /tɪv/ 音，其中 “t” 发 /t/ 音，“i” 发短元音 /ɪ/，“v” 发 /v/ 音。
  • propose:动词，词源来自拉丁语 "proponere"（提出；放置），词义：提出；提议。
    • 记忆方法:联想 “pro-”（向前）+ “pose”（放置）→ 向前放置 → 提出。
    • 形近词:propose/proposal（名词，提议；建议）、oppose（动词，反对）。
    • 发音解析:
      • 音节分解:pro + pose /prəˈpəʊz/，重音在第二音节
      • 规则:pro → /prə/， “pro” 发 /prə/ 音，其中 “p” 发 /p/ 音，“r” 发 /r/ 音，“o” 发短元音 /ə/。
      • 规则:pose → /pəʊz/， “pose” 发 /pəʊz/ 音，其中 “p” 发 /p/ 音，“o” 发长元音 /əʊ/，“s” 发 /z/ 音。
  • regularizer:名词，由 “regularize”（使有规则；使规范化）派生而来，词义：正则化项；调节器。
    • 记忆方法:联想 “regular”（规则的）+ “-ize”（动词后缀）+ “-er”（名词后缀）→ 使规则化的东西 → 正则化项。
    • 形近词:regularizer/regular（形容词，规则的；有规律的）、irregular（形容词，不规则的）。
    • 发音解析:
      • 音节分解:reg + u + lar + izer /ˈregjʊlaɪzə(r)/，重音在第一音节
      • 规则:reg → /reg/， “reg” 发 /reg/ 音，其中 “r” 发 /r/ 音，“e” 发短元音 /e/，“g” 发 /g/ 音。
      • 规则:u → /jʊ/， “u” 发 /jʊ/ 音，类似于 “you” 的发音。
      • 规则:lar → /lə(r)/， “lar” 发 /lə(r)/ 音，其中 “l” 发 /l/ 音，“a” 发短元音 /ə/，“r” 发 /r/ 音。
      • 规则:izer → /aɪzə(r)/， “izer” 发 /aɪzə(r)/ 音，其中 “i” 发长元音 /aɪ/，“z” 发 /z/ 音，“e” 不发音，“r” 发 /r/ 音。

• Computing the gradient of this regularizer may appear difficult, but Pascanu et al. ( ) propose an approximation in which we consider the back - propagated 2013a vectors ∇ h ( ) t L as if they were constants (for the purpose of this regularizer, so that there is no need to back - propagate through them).
  • 固定搭配:"appear difficult" 意为 “看起来困难”；“as if” 意为 “好像；仿佛”。
  • 句子分析:这是一个并列复合句，由 “but” 连接两个分句。前一个分句 “Computing the gradient of this regularizer may appear difficult” 是动名词短语作主语；后一个分句中包含一个 “in which” 引导的定语从句修饰 “approximation”。
  • 翻译:计算这个正则化项的梯度可能看起来很困难，但帕斯卡努等人（2013a）提出了一种近似方法，在这种方法中，我们将反向传播的向量 ∇ h ( ) t L 视为常数（出于这个正则化项的目的，这样就无需对它们进行反向传播）。
  • 单词分析:
    • gradient:名词，词源来自拉丁语 "gradus"（步；级），词义：梯度；斜率。
      • 记忆方法:联想 “grade”（等级）+ “-ient”（形容词后缀，这里名词化）→ 等级变化的程度 → 梯度。
      • 形近词:gradient/gradual（形容词，逐渐的）、degrade（动词，降级；退化）。
      • 发音解析:
        • 音节分解:gra + di + ent /ˈɡreɪdiənt/，重音在第一音节
        • 规则:gra → /ɡreɪ/， “gra” 发 /ɡreɪ/ 音，其中 “g” 发 /ɡ/ 音，“r” 发 /r/ 音，“a” 发长元音 /eɪ/。
        • 规则:di → /dɪ/， “di” 发 /dɪ/ 音，其中 “d” 发 /d/ 音，“i” 发短元音 /ɪ/。
        • 规则:ent → /ənt/， “ent” 发 /ənt/ 音，其中 “e” 发短元音 /ə/，“n” 发 /n/ 音，“t” 发 /t/ 音。
  • approximation:名词，词源来自拉丁语 "approximare"（接近），词义：近似；近似值。
    • 记忆方法:联想 “approximate”（动词，近似；接近）+ “-ion”（名词后缀）→ 近似的行为或结果 → 近似值。
    • 形近词:approximation/approximate（动词，近似；接近；形容词，近似的）、proximate（形容词，接近的；近似的）。
    • 发音解析:
      • 音节分解:ap + prox + i + ma + tion /əˌprɒksɪˈmeɪʃn/，重音在第三音节
      • 规则:ap → /əp/， “ap” 发 /əp/ 音，其中 “a” 发短元音 /ə/，“p” 发 /p/ 音。
      • 规则:prox → /prɒks/， “prox” 发 /prɒks/ 音，其中 “p” 发 /p/ 音，“r” 发 /r/ 音，“o” 发短元音 /ɒ/，“x” 发 /ks/ 音。
      • 规则:i → /ɪ/， “i” 发 /ɪ/ 音，短元音。
      • 规则:ma → /meɪ/， “ma” 发 /meɪ/ 音，其中 “m” 发 /m/ 音，“a” 发长元音 /eɪ/。
      • 规则:tion → /ʃn/， “tion” 发 /ʃn/ 音，其中 “t” 不发音，“i” 发短元音 /ɪ/，“o” 不发音，“n” 发 /n/ 音。
  • back - propagated:形容词，由 “back”（向后）和 “propagate”（传播）组合派生而来，词义：反向传播的。
    • 记忆方法:联想 “back”（向后）+ “propagate”（传播）→ 向后传播 → 反向传播的。
    • 形近词:back - propagated/propagate（动词，传播；宣传）、propagation（名词，传播；繁殖）。
    • 发音解析:
      • 音节分解:back + pro + pa + gated /ˈbækprəpeɪɡeɪtɪd/，重音在第一音节
      • 规则:back → /bæk/， “back” 发 /bæk/ 音，其中 “b” 发 /b/ 音，“a” 发短元音 /æ/，“c” 发 /k/ 音。
      • 规则:pro → /prə/， “pro” 发 /prə/ 音，其中 “p” 发 /p/ 音，“r” 发 /r/ 音，“o” 发短元音 /ə/。
      • 规则:pa → /peɪ/， “pa” 发 /peɪ/ 音，其中 “p” 发 /p/ 音，“a” 发长元音 /eɪ/。
      • 规则:gated → /ɡeɪtɪd/， “gated” 发 /ɡeɪtɪd/ 音，其中 “g” 发 /ɡ/ 音，“a” 发长元音 /eɪ/，“t” 发 /t/ 音，“e” 不发音，“d” 发 /d/ 音。

• The experiments with this regularizer suggest that, if combined with the norm clipping heuristic (which handles gradient explosion), the regularizer can considerably increase the span of the dependencies that an RNN can learn.
  • 固定搭配:"combine with" 意为 “与……结合”；“gradient explosion” 意为 “梯度爆炸”。
  • 句子分析:句子包含 “suggest that” 引导的宾语从句，宾语从句中又有 “if” 引导的条件状语从句和 “which” 引导的定语从句修饰 “norm clipping heuristic”，以及 “that” 引导的定语从句修饰 “dependencies”。
  • 翻译:使用这个正则化项的实验表明，如果将其与范数裁剪启发式方法（用于处理梯度爆炸）相结合，该正则化项可以显著增加循环神经网络（RNN）能够学习的依赖跨度。
  • 单词分析:
    • heuristic:形容词和名词，词源来自希腊语 "heuriskein"（发现），词义：启发式的；启发式方法。
      • 记忆方法:联想 “heur-”（发现）+ “-istic”（形容词后缀）→ 有助于发现的 → 启发式的。
      • 形近词:heuristic/heuristics（名词，启发法；探索法）、eureka（感叹词，我发现了；名词，发现）。
      • 发音解析:
        • 音节分解:heu + ris + tic /hjʊˈrɪstɪk/，重音在第二音节
        • 规则:heu → /hjʊ/， “heu” 发 /hjʊ/ 音，其中 “h” 发 /h/ 音，“eu” 发 /jʊ/ 音，类似于 “you” 的发音。
        • 规则:ris → /rɪs/， “ris” 发 /rɪs/ 音，其中 “r” 发 /r/ 音，“i” 发短元音 /ɪ/，“s” 发 /s/ 音。
        • 规则:tic → /tɪk/， “tic” 发 /tɪk/ 音，其中 “t” 发 /t/ 音，“i” 发短元音 /ɪ/，“c” 发 /k/ 音。
  • considerably:副词，由 “considerable”（相当大的；重要的）派生而来，词义：相当大地；显著地。
    • 记忆方法:联想 “consider”（考虑；认为）+ “-able”（形容词后缀）+ “-ly”（副词后缀）→ 值得考虑的程度很大 → 相当大地。
    • 形近词:considerably/considerable（形容词，相当大的；重要的）、consideration（名词，考虑；体谅）。
    • 发音解析:
      • 音节分解:con + sid + er + ably /kənˈsɪdərəbli/，重音在第二音节
      • 规则:con → /kən/， “con” 发 /kən/ 音，其中 “c” 发 /k/ 音，“o” 发短元音 /ə/，“n” 发 /n/ 音。
      • 规则:sid → /sɪd/， “sid” 发 /sɪd/ 音，其中 “s” 发 /s/ 音，“i” 发短元音 /ɪ/，“d” 发 /d/ 音。
      • 规则:er → /ə(r)/， “er” 发 /ə(r)/ 音，其中 “e” 发短元音 /ə/，“r” 发 /r/ 音。
      • 规则:ably → /əbli/， “ably” 发 /əbli/ 音，其中 “a” 发短元音 /ə/，“b” 发 /b/ 音，“l” 发 /l/ 音，“y” 发 /i/ 音。
  • span:名词，词源来自古英语 "spann"（跨度；伸展），词义：跨度；范围。
    • 记忆方法:联想 “span” 发音类似 “斯盼”，盼望跨越一定的范围 → 跨度。
    • 形近词:span/spandrel（名词，三角墙；拱肩）、spanner（名词，扳手）。
    • 发音解析:
      • 音节分解:span /spæn/，单音节词，重音在本身
      • 规则:sp → /sp/， “sp” 发 /sp/ 音，其中 “s” 发 /s/ 音，“p” 发 /p/ 音。
      • 规则:an → /æn/， “an” 发 /æn/ 音，其中 “a” 发短元音 /æ/，“n” 发 /n/ 音。

• Because it keeps the RNN dynamics on the edge of explosive gradients, the gradient clipping is particularly important.
  • 固定搭配:"on the edge of" 意为 “在……边缘”；“gradient clipping” 意为 “梯度裁剪”。
  • 句子分析:这是一个复合句，“Because” 引导原因状语从句，主句 “the gradient clipping is particularly important” 表达梯度裁剪的重要性。
  • 翻译:因为它使循环神经网络（RNN）的动态处于梯度爆炸的边缘，所以梯度裁剪尤为重要。
  • 单词分析:
    • dynamics:名词，词源来自希腊语 "dynamis"（力量；能力），词义：动力学；动态。
      • 记忆方法:联想 “dynamic”（形容词，动态的；有活力的）+ “-s”（名词后缀）→ 动态的事物 → 动力学。
      • 形近词:dynamics/dynamic（形容词，动态的；有活力的）、dynamite（名词，炸药；动词，炸毁）。
      • 发音解析:
        • 音节分解:dy + nam + ics /daɪˈnæmɪks/，重音在第二音节
        • 规则:dy → /daɪ/， “dy” 发 /daɪ/ 音，其中 “d” 发 /d/ 音，“y” 发长元音 /aɪ/。
        • 规则:nam → /næm/， “nam” 发 /næm/ 音，其中 “n” 发 /n/ 音，“a” 发短元音 /æ/，“m” 发 /m/ 音。
        • 规则:ics → /ɪks/， “ics” 发 /ɪks/ 音，其中 “i” 发短元音 /ɪ/，“c” 发 /k/ 音，“s” 发 /s/ 音。
  • explosive:形容词和名词，词源来自拉丁语 "explodere"（驱逐；爆炸），词义：爆炸的；炸药。
    • 记忆方法:联想 “ex-”（向外）+ “plode”（爆炸）+ “-ive”（形容词后缀）→ 向外爆炸的 → 爆炸的。
    • 形近词:explosive/explode（动词，爆炸；爆发）、explosion（名词，爆炸；爆发）。
    • 发音解析:
      • 音节分解:ex + plo + sive /ɪkˈspləʊsɪv/，重音在第二音节
      • 规则:ex → /ɪkˈs/， “ex” 发 /ɪkˈs/ 音，其中 “e” 发短元音 /ɪ/，“x” 发 /s/ 音。
      • 规则:plo → /pləʊ/， “plo” 发 /pləʊ/ 音，其中 “p” 发 /p/ 音，“l” 发 /l/ 音，“o” 发长元音 /əʊ/。
      • 规则:sive → /sɪv/， “sive” 发 /sɪv/ 音，其中 “s” 发 /s/ 音，“i” 发短元音 /ɪ/，“v” 发 /v/ 音。
  • particularly:副词，由 “particular”（特殊的；特定的）派生而来，词义：特别地；尤其。
    • 记忆方法:联想 “particular”（特殊的）+ “-ly”（副词后缀）→ 以特殊的方式 → 特别地。
    • 形近词:particularly/particular（形容词，特殊的；特定的）、particularity（名词，特殊性；细节）。
    • 发音解析:
      • 音节分解:par + tic + u + lar + ly /pəˈtɪkjələli/，重音在第二音节
      • 规则:par → /pə(r)/， “par” 发 /pə(r)/ 音，其中 “p” 发 /p/ 音，“a” 发短元音 /ə/，“r” 发 /r/ 音。
      • 规则:tic → /tɪk/， “tic” 发 /tɪk/ 音，其中 “t” 发 /t/ 音，“i” 发短元音 /ɪ/，“c” 发 /k/ 音。
      • 规则:u → /juː/， “u” 发 /juː/ 音，类似于 “you” 的发音。
      • 规则:lar → /lə(r)/， “lar” 发 /lə(r)/ 音，其中 “l” 发 /l/ 音，“a” 发短元音 /ə/，“r” 发 /r/ 音。
      • 规则:ly → /li/， “ly” 发 /li/ 音，其中 “l” 发 /l/ 音，“y” 发 /i/ 音。

• Without gradient clipping, gradient explosion prevents learning from succeeding.
  • 固定搭配:"prevent...from..." 意为 “阻止……做某事”。
  • 句子分析:简单句，“Without gradient clipping” 作条件状语，主句 “gradient explosion prevents learning from succeeding” 表达梯度爆炸会阻碍学习成功。
  • 翻译:如果没有梯度裁剪，梯度爆炸会阻碍学习取得成功。

• A key weakness of this approach is that it is not as effective as the LSTM for tasks where data is abundant, such as language modeling.
  • 固定搭配:"as...as..." 意为 “和……一样”；“such as” 意为 “例如”。
  • 句子分析:这是一个主系表结构的句子，“that” 引导表语从句，表语从句中又有 “where” 引导的定语从句修饰 “tasks”。
  • 翻译:这种方法的一个关键弱点是，对于数据丰富的任务，如语言建模，它不如长短期记忆网络（LSTM）有效。
  • 单词分析:
    • weakness:名词，由 “weak”（虚弱的；软弱的）派生而来，词义：弱点；缺点。
      • 记忆方法:联想 “weak”（虚弱的）+ “-ness”（名词后缀）→ 虚弱的状态 → 弱点。
      • 形近词:weakness/weak（形容词，虚弱的；软弱的）、strengthen（动词，加强；巩固）。
      • 发音解析:
        • 音节分解:weak + ness /ˈwiːknəs/，重音在第一音节
        • 规则:weak → /wiːk/， “weak” 发 /wiːk/ 音，其中 “w” 发 /w/ 音，“e” 发长元音 /iː/，“a” 不发音，“k” 发 /k/ 音。
        • 规则:ness → /nəs/， “ness” 发 /nəs/ 音，其中 “n” 发 /n/ 音，“e” 发短元音 /ə/，“s” 发 /s/ 音。
  • effective:形容词，词源来自拉丁语 "effectivus"，词义：有效的；起作用的。
    • 记忆方法:联想 “effect”（效果；影响）+ “-ive”（形容词后缀）→ 有效果的 → 有效的。
    • 形近词:effective/effect（名词，效果；影响；动词，使发生）、ineffective（形容词，无效的）。
    • 发音解析:
      • 音节分解:ef + fec + tive /ɪˈfektɪv/，重音在第二音节
      • 规则:ef → /ɪf/， “ef” 发 /ɪf/ 音，其中 “e” 发短元音 /ɪ/，“f” 发 /f/ 音。
      • 规则:fec → /fek/， “fec” 发 /fek/ 音，其中 “f” 发 /f/ 音，“e” 发短元音 /e/，“c” 发 /k/ 音。
      • 规则:tive → /tɪv/， “tive” 发 /tɪv/ 音，其中 “t” 发 /t/ 音，“i” 发短元音 /ɪ/，“v” 发 /v/ 音。
  • abundant:形容词，词源来自拉丁语 "abundare"（大量存在；丰富），词义：丰富的；充裕的。
    • 记忆方法:联想 “ab-”（加强意义）+ “und”（波浪，可引申为大量）+ “-ant”（形容词后缀）→ 大量的波浪 → 丰富的。
    • 形近词:abundant/abundance（名词，丰富；充裕）、redundant（形容词，多余的；过剩的）。
    • 发音解析:
      • 音节分解:a + bun + dant /əˈbʌndənt/，重音在第二音节
      • 规则:a → /ə/， “a” 发短元音 /ə/。
      • 规则:bun → /bʌn/， “bun” 发 /bʌn/ 音，其中 “b” 发 /b/ 音，“u” 发短元音 /ʌ/，“n” 发 /n/ 音。
      • 规则:dant → /dənt/， “dant” 发 /dənt/ 音，其中 “d” 发 /d/ 音，“a” 发短元音 /ə/，“n” 发 /n/ 音，“t” 发 /t/ 音。

• 10.12 Explicit Memory
  • 句子分析:简单的标题式表述，表明主题是 “显式记忆”。
  • 翻译:10.12 显式记忆
  • 单词分析:
    • explicit:形容词，词源来自拉丁语 "explicitus"（展开的；清楚的），词义：明确的；显式的。
      • 记忆方法:联想 “ex-”（向外）+ “plic”（折叠）+ “-it”（形容词后缀）→ 向外展开折叠的东西 → 明确的。
      • 形近词:explicit/implicit（形容词，含蓄的；隐含的）、explicate（动词，解释；说明）。
      • 发音解析:
        • 音节分解:ex + pli + cit /ɪkˈsplɪsɪt/，重音在第二音节
        • 规则:ex → /ɪkˈs/， “ex” 发 /ɪkˈs/ 音，其中 “e” 发短元音 /ɪ/，“x” 发 /s/ 音。
        • 规则:pli → /plɪ/， “pli” 发 /plɪ/ 音，其中 “p” 发 /p/ 音，“l” 发 /l/ 音，“i” 发短元音 /ɪ/。
        • 规则:cit → /sɪt/， “cit” 发 /sɪt/ 音，其中 “c” 发 /s/ 音，“i” 发短元音 /ɪ/，“t” 发 /t/ 音。

• Intelligence requires knowledge and acquiring knowledge can be done via learning, which has motivated the development of large - scale deep architectures.
  • 固定搭配:"via" 意为 “通过；经由”。
  • 句子分析:这是一个并列复合句，由 “and” 连接两个分句，“which” 引导非限定性定语从句，修饰前面整个句子。
  • 翻译:智能需要知识，而获取知识可以通过学习来实现，这推动了大规模深度架构的发展。
  • 单词分析:
    • acquiring:动词现在分词，由 “acquire”（获得；取得）派生而来，词义：获取；获得。
      • 记忆方法:联想 “ac-”（加强意义）+ “quire”（寻求）→ 不断寻求 → 获得。
      • 形近词:acquiring/acquire（动词，获得；取得）、acquisition（名词，获得；收购）。
      • 发音解析:
        • 音节分解:ac + quir + ing /əˈkwaɪərɪŋ/，重音在第二音节
        • 规则:ac → /əˈk/， “ac” 发 /əˈk/ 音，其中 “a” 发短元音 /ə/，“c” 发 /k/ 音。
        • 规则:quir → /kwaɪər/， “quir” 发 /kwaɪər/ 音，其中 “q” 发 /kw/ 音，“u” 发长元音 /aɪə(r)/。
        • 规则:ing → /ɪŋ/， “ing” 发 /ɪŋ/ 音，其中 “i” 发短元音 /ɪ/，“n” 发 /ŋ/ 音。
  • motivated:形容词和动词过去式，由 “motivate”（激励；激发）派生而来，词义：有动机的；被激励的。
    • 记忆方法:联想 “motiv-”（动机）+ “-ate”（动词后缀）+ “-ed”（形容词或动词过去式后缀）→ 有动机的。
    • 形近词:motivated/motivate（动词，激励；激发）、motivation（名词，动机；动力）。
    • 发音解析:
      • 音节分解:mo + ti + vat + ed /ˈməʊtɪveɪtɪd/，重音在第一音节
      • 规则:mo → /məʊ/， “mo” 发 /məʊ/ 音，其中 “m” 发 /m/ 音，“o” 发长元音 /əʊ/。
      • 规则:ti → /tɪ/， “ti” 发 /tɪ/ 音，其中 “t” 发 /t/ 音，“i” 发短元音 /ɪ/。
      • 规则:vat → /veɪt/， “vat” 发 /veɪt/ 音，其中 “v” 发 /v/ 音，“a” 发长元音 /eɪ/，“t” 发 /t/ 音。
      • 规则:ed → /ɪd/， “ed” 发 /ɪd/ 音，其中 “e” 发短元音 /ɪ/，“d” 发 /d/ 音。
  • architecture:名词，词源来自希腊语 "arkhitekton"（建筑师），词义：架构；体系结构。
    • 记忆方法:联想 “arch-”（主要的）+ “i-”（连接字母）+ “tect”（建造）+ “-ure”（名词后缀）→ 主要的建造物 → 架构。
    • 形近词:architecture/architect（名词，建筑师）、architectural（形容词，建筑的；建筑学的）。
    • 发音解析:
      • 音节分解:ar + chi + tect + ure /ˈɑːkɪtektʃə(r)/，重音在第一音节
      • 规则:ar → /ɑː(r)/， “ar” 发 /ɑː(r)/ 音，其中 “a” 发长元音 /ɑː/，“r” 发 /r/ 音。
      • 规则:chi → /kɪ/， “chi” 发 /kɪ/ 音，其中 “ch” 发 /k/ 音，“i” 发短元音 /ɪ/。
      • 规则:tect → /tekt/， “tect” 发 /tekt/ 音，其中 “t” 发 /t/ 音，“e” 发短元音 /e/，“c” 发 /k/ 音，“t” 发 /t/ 音。
      • 规则:ure → /tʃə(r)/， “ure” 发 /tʃə(r)/ 音，其中 “u” 不发音，“r” 发 /r/ 音。

• However, there are different kinds of knowledge.
  • 句子分析:简单句，“However” 表示转折，引出不同种类的知识这一话题。
  • 翻译:然而，存在不同种类的知识。

• Some knowledge can be implicit, subconscious, and difficult to verbalize—such as how to walk, or how a dog looks different from a cat.
  • 固定搭配:"look different from" 意为 “看起来与……不同”。
  • 句子分析:句子描述了一些知识的特点，用 “such as” 举例说明。
  • 翻译:一些知识可能是隐含的、潜意识的，并且难以用言语表达，比如如何走路，或者狗看起来与猫有何不同。
  • 单词分析:
    • implicit:形容词，词源来自拉丁语 "implicitus"（包含的；含蓄的），词义：隐含的；含蓄的。
      • 记忆方法:联想 “im-”（向内）+ “plic”（折叠）+ “-it”（形容词后缀）→ 向内折叠起来的 → 隐含的。
      • 形近词:implicit/explicit（形容词，明确的；显式的）、implication（名词，含义；暗示）。
      • 发音解析:
        • 音节分解:im + pli + cit /ɪmˈplɪsɪt/，重音在第二音节
        • 规则:im → /ɪm/， “im” 发 /ɪm/ 音，其中 “i” 发短元音 /ɪ/，“m” 发 /m/ 音。
        • 规则:pli → /plɪ/， “pli” 发 /plɪ/ 音，其中 “p” 发 /p/ 音，“l” 发 /l/ 音，“i” 发短元音 /ɪ/。
        • 规则:cit → /sɪt/， “cit” 发 /sɪt/ 音，其中 “c” 发 /s/ 音，“i” 发短元音 /ɪ/，“t” 发 /t/ 音。
  • subconscious:形容词和名词，由 “sub-”（在……之下）和 “conscious”（有意识的）组合派生而来，词义：潜意识的；潜意识。
    • 记忆方法:联想 “sub-”（在……之下）+ “conscious”（有意识的）→ 在意识之下的 → 潜意识的。
    • 形近词:subconscious/conscious（形容词，有意识的；清醒的）、unconscious（形容词，无意识的；不省人事的）。
    • 发音解析:
      • 音节分解:sub + con + scious /ˌsʌbˈkɒnʃəs/，重音在第二音节
      • 规则:sub → /sʌb/， “sub” 发 /sʌb/ 音，其中 “s” 发 /s/ 音，“u” 发短元音 /ʌ/，“b” 发 /b/ 音。
      • 规则:con → /kɒn/， “con” 发 /kɒn/ 音，其中 “c” 发 /k/ 音，“o” 发短元音 /ɒ/，“n” 发 /n/ 音。
      • 规则:scious → /ʃəs/， “scious” 发 /ʃəs/ 音，其中 “s” 发 /ʃ/ 音，“c” 不发音，“i” 发短元音 /ə/，“o” 不发音，“u” 不发音，“s” 发 /s/ 音。
  • verbalize:动词，由 “verbal”（口头的；言语的）派生而来，词义：用言语表达；使变成言语。
    • 记忆方法:联想 “verbal”（口头的）+ “-ize”（动词后缀）→ 使变成口头的 → 用言语表达。
    • 形近词:verbalize/verbal（形容词，口头的；言语的）、verbalization（名词，言语表达；用言语描述）。
    • 发音解析:
      • 音节分解:ver + bal + ize /ˈvɜːbəlaɪz/，重音在第一音节
      • 规则:ver → /vɜː(r)/， “ver” 发 /vɜː(r)/ 音，其中 “v” 发 /v/ 音，“e” 发长元音 /ɜː/，“r” 发 /r/ 音。
      • 规则:bal → /bə(r)/， “bal” 发 /bə(r)/ 音，其中 “b” 发 /b/ 音，“a” 发短元音 /ə/，“l” 发 /l/ 音。
      • 规则:ize → /aɪz/， “ize” 发 /aɪz/ 音，其中 “i” 发长元音 /aɪ/，“z” 发 /z/ 音。

• Other knowledge can be explicit, declarative, and relatively straightforward to put into words—everyday commonsense knowledge, like “a cat is a kind of animal,” or very specific facts that you need to know to accomplish your current goals, like “the meeting with the sales team is at 3:00 PM in room 141.”
  • 固定搭配:"put into words" 意为 “用言语表达”；“a kind of” 意为 “一种；某种”。
  • 句子分析:句子描述了另一些知识的特点，并用举例说明，包含 “that” 引导的定语从句修饰 “facts”。
  • 翻译:其他知识可能是明确的、陈述性的，并且相对容易用言语表达，比如日常常识性知识，如 “猫是一种动物”，或者你为了实现当前目标需要了解的非常具体的事实，如 “与销售团队的会议下午3点在141房间举行”。
  • 单词分析:
    • declarative:形容词，由 “declare”（宣布；声明）派生而来，词义：陈述性的；说明性的。
      • 记忆方法:联想 “declare”（宣布）+ “-ative”（形容词后缀）→ 用于宣布的 → 陈述性的。
      • 形近词:declarative/declare（动词，宣布；声明）、declaration（名词，宣布；声明）。
      • 发音解析:
        • 音节分解:de + clar + a + tive /dɪˈklærətɪv/，重音在第二音节
        • 规则:de → /dɪ/， “de” 发 /dɪ/ 音，其中 “d” 发 /d/ 音，“e” 发短元音 /ɪ/。
        • 规则:clar → /klær/， “clar” 发 /klær/ 音，其中 “c” 发 /k/ 音，“l” 发 /l/ 音，“a” 发长元音 /æ/，“r” 发 /r/ 音。
        • 规则:a → /ə/， “a” 发短元音 /ə/。
        • 规则:tive → /tɪv/， “tive” 发 /tɪv/ 音，其中 “t” 发 /t/ 音，“i” 发短元音 /ɪ/，“v” 发 /v/ 音。
  • relatively:副词，由 “relative”（相对的；相关的）派生而来，词义：相对地；比较地。
    • 记忆方法:联想 “relative”（相对的）+ “-ly”（副词后缀）→ 以相对的方式 → 相对地。
    • 形近词:relatively/relative（形容词，相对的；相关的；名词，亲戚）、relativity（名词，相对性；相对论）。
    • 发音解析:
      • 音节分解:re + la + tive + ly /ˈrelətɪvli/，重音在第一音节
      • 规则:re → /rɪ/， “re” 发 /rɪ/ 音，其中 “r” 发 /r/ 音，“e” 发短元音 /ɪ/。
      • 规则:la → /lə(r)/， “la” 发 /lə(r)/ 音，其中 “l” 发 /l/ 音，“a” 发短元音 /ə/，“r” 发 /r/ 音。
      • 规则:tive → /tɪv/， “tive” 发 /tɪv/ 音，其中 “t” 发 /t/ 音，“i” 发短元音 /ɪ/，“v” 发 /v/ 音。
      • 规则:ly → /li/， “ly” 发 /li/ 音，其中 “l” 发 /l/ 音，“y” 发 /i/ 音。
  • straightforward:形容词，由 “straight”（直的；直接的）和 “forward”（向前的）组合派生而来，词义：直接的； straightforward简单的；坦率的。
    • 记忆方法:联想 “straight”（直的）+ “forward”（向前的）→ 直着向前的 → 直接的。
    • 形近词:straightforward/straight（形容词，直的；直接的；副词，直接地）、forward（形容词，向前的；副词，向前；动词，转发）。
    • 发音解析:
      • 音节分解:straight + for + ward /ˌstreɪtˈfɔːwəd/，重音在第二音节
      • 规则:straight → /streɪt/， “straight” 发 /streɪt/ 音，其中 “s” 发 /s/ 音，“t” 发 /t/ 音，“r” 发 /r/ 音，“a” 发长元音 /eɪ/，“i” 不发音，“g” 不发音，“h” 不发音，“t” 发 /t/ 音。
      • 规则:for → /fɔː(r)/， “for” 发 /fɔː(r)/ 音，其中 “f” 发 /f/ 音，“o” 发长元音 /ɔː/，“r” 发 /r/ 音。
      • 规则:ward → /wəd/， “ward” 发 /wəd/ 音，其中 “w” 发 /w/ 音，“a” 发短元音 /ə/，“r” 发 /r/ 音，“d” 发 /d/ 音。
  • accomplish:动词，词源来自古法语 "acompiss-, acompir"（完成；实现），词义：完成；实现。
    • 记忆方法:联想 “ac-”（加强意义）+ “com-”（一起）+ “plish”（填满）→ 一起填满任务 → 完成。
    • 形近词:accomplish/accomplishment（名词，成就；完成）、accomplished（形容词，有成就的；熟练的）。
    • 发音解析:
      • 音节分解:ac + com + plish /əˈkʌmplɪʃ/，重音在第二音节
      • 规则:ac → /əˈk/， “ac” 发 /əˈk/ 音，其中 “a” 发短元音 /ə/，“c” 发 /k/ 音。
      • 规则:com → /kəm/， “com” 发 /kəm/ 音，其中 “c” 发 /k/ 音，“o” 发短元音 /ə/，“m” 发 /m/ 音。
      • 规则:plish → /plɪʃ/， “plish” 发 /plɪʃ/ 音，其中 “p” 发 /p/ 音，“l” 发 /l/ 音，“i” 发短元音 /ɪ/，“sh” 发 /ʃ/ 音。

• Neural networks excel at storing implicit knowledge.
  • 固定搭配:"excel at" 意为 “在……方面擅长；优于”。
  • 句子分析:简单句，表达神经网络在存储隐含知识方面表现出色。
  • 翻译:神经网络擅长存储隐含知识。

你提供的“Gra ves 2014b et al.”并不是一个完整的句子或文章，它看起来像是文献引用中的作者和年份等信息。请你提供完整的文章、句子或单词，以便我按照要求进行分析。