选择语言

PassTSL：面向人工创建密码建模与破解的两阶段学习框架

分析PassTSL，一种受NLP启发的、采用预训练与微调的新型密码建模框架，在密码猜测和强度评估方面展现出卓越性能。
computationalcoin.com | PDF Size: 1.9 MB
评分： 4.5/5
★ ★ ★ ★ ★
您的评分
您已经为此文档评过分
PDF文档封面 - PassTSL：面向人工创建密码建模与破解的两阶段学习框架
查看PDF文档 下载PDF 翻译PDF
首页 » 文档 » PassTSL：面向人工创建密码建模与破解的两阶段学习框架

目录

1. 引言

文本密码仍然是主流的身份验证机制，但其由人工创建的特性使其容易受到数据驱动攻击。现有的最先进（SOTA）建模方法，包括马尔可夫链、基于模式的模型、循环神经网络（RNN）和生成对抗网络（GAN），在捕捉密码复杂、类似语言但又独特的结构方面存在局限。受自然语言处理（NLP）中变革性的预训练-微调范式启发，本文提出了PassTSL（通过两阶段学习建模人工创建的密码）。PassTSL利用基于Transformer的架构，首先从大型、多样的数据集（预训练）中学习通用的密码创建模式，然后使用较小的相关数据集（微调）使模型适应特定的目标场景。该方法旨在弥合先进NLP技术与密码建模独特挑战之间的差距。

2. 方法论：PassTSL框架

PassTSL的核心创新在于其结构化的两阶段学习过程，这借鉴了BERT和GPT等模型中的成功策略。

2.1. 预训练阶段

模型首先在一个大型、通用的密码语料库（例如，来自多次泄露事件的聚合数据）上进行训练。其目标是学习基本的字符级依赖关系、常见的替换模式（例如，'a' -> '@'， 's' -> '$'）以及在不同密码集中普遍存在的概率结构。此阶段构建了一个关于人类密码创建行为的鲁棒基础模型。

2.2. 微调阶段

随后，预训练模型被适配到特定的目标密码数据库。使用目标集合中相对较小的样本，对模型的参数进行调整。本文探索了一种基于预训练分布与目标分布之间的詹森-香农（JS）散度来选择微调数据的启发式方法，旨在选择最具信息量的样本进行适配。

2.3. 模型架构与技术细节

PassTSL基于Transformer解码器架构构建，利用自注意力机制在预测序列中下一个字符时，权衡不同字符的重要性。模型将密码视为一个字符（标记）序列。训练过程在预训练阶段涉及掩码语言建模（MLM）风格的目标，模型学习预测密码序列内随机掩码的字符，从而捕捉双向上下文。

3. 实验设置与结果

3.1. 数据集与基线模型

实验在六个大型的真实世界泄露密码数据库上进行。PassTSL与五种SOTA密码猜测工具进行了比较，包括基于马尔可夫的（例如PCFG）、基于RNN的和基于GAN的模型。

3.2. 密码猜测性能

PassTSL显著优于所有基线模型。在最大评估点处，猜测成功率提升范围在4.11% 到 64.69%之间，证明了两阶段方法的有效性。结果表明，在大型语料库上进行预训练，相比在单个目标集上从头开始训练的模型，提供了显著优势。

相对于SOTA的性能提升

范围： 4.11% - 64.69%

上下文： 在最大评估点处密码猜测成功率的提升。

3.3. 密码强度计（PSM）评估

基于PassTSL的概率估计实现了一个密码强度计（PSM）。我们将其与一个基于神经网络的PSM以及基于规则的zxcvbn进行了比较。关键指标是“安全错误”（低估强度）与“不安全错误”（高估强度）之间的权衡。在安全错误率相同的情况下，基于PassTSL的PSM产生的不安全错误更少，这意味着它在识别真正弱密码方面更加准确。

3.4. 微调数据选择的影响

研究发现，即使是少量的针对性微调数据（例如，预训练数据量的0.1%），也能使模型在目标集上的猜测性能平均提升超过3%。基于JS散度的选择启发式方法被证明在选取有益的微调样本方面是有效的。

4. 核心见解与分析

核心见解： 本文的根本性突破在于认识到密码创建是一种专门的、受约束的自然语言生成形式。通过将其视为此类问题并应用现代NLP工具包——特别是Transformer架构和两阶段学习范式——作者在建模保真度上实现了范式转变。这不仅仅是一种渐进式改进；这是一种方法论上的飞跃，重新定义了概率密码破解可能性的上限。

逻辑脉络： 论证过程极具说服力且简洁：1) 密码与语言共享统计和语义特性。2) 最成功的现代语言模型使用在大规模语料库上进行预训练，然后进行特定任务的微调。3) 因此，将此框架应用于密码应能产生更优的模型。在六个不同数据集上的实验结果明确验证了这一逻辑，显示出相对于马尔可夫链等上一代模型，甚至RNN和GAN等早期神经方法，具有一致且通常是显著的性能提升。

优势与不足： 主要优势在于其展示出的强大性能。使用JS散度进行微调样本选择是一种巧妙且实用的启发式方法。然而，分析也存在不足。它忽略了Transformer模型对计算资源和数据的巨大需求。预训练需要一个庞大的、聚合的密码语料库，这引发了关于数据来源的伦理和实际问题。此外，虽然它击败了其他模型，但本文并未深入探讨为什么Transformer注意力机制在此任务上比例如LSTM的门控记忆机制要好得多。是因为其长距离依赖捕获能力，还是其他原因？这种“黑盒”特性依然存在。

可操作的见解： 对于安全从业者而言，这项研究敲响了警钟。防御性的密码强度计必须超越字典和规则系统（如zxcvbn），整合此类深度学习模型以准确评估风险。对于研究人员而言，前进的道路是清晰的：探索更高效的架构（例如，蒸馏模型）、研究用于预训练而不集中敏感数据的联邦学习，并利用这些模型不仅用于破解，还用于生成鲁棒的密码策略建议。简单启发式防御的时代已经结束；攻防竞赛现已牢固地进入了AI领域。

5. 技术细节与数学公式

PassTSL中的Transformer模型使用了$N$个相同层的堆叠。每层有两个子层：一个多头自注意力机制和一个按位置的全连接前馈网络。每个子层周围都采用了残差连接和层归一化。

自注意力函数将一个查询（$Q$）和一组键值对（$K$， $V$）映射到一个输出。输出计算为值的加权和，其中分配给每个值的权重由查询与对应键的兼容性函数决定。对于单个注意力头： $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 其中$d_k$是键的维度。

预训练目标涉及预测掩码标记。给定一个输入密码序列$X = (x_1, x_2, ..., x_T)$，一个随机的标记子集被替换为特殊的`[MASK]`标记。模型被训练来预测这些掩码位置上的原始标记，最大化对数似然： $$\mathcal{L}_{PT} = \sum_{i \in M} \log P(x_i | X_{\backslash M})$$ 其中$M$是掩码位置的集合。

微调在目标数据集$D_{ft}$上调整模型参数$\theta$，以最小化序列的负对数似然： $$\mathcal{L}_{FT} = -\sum_{(X) \in D_{ft}} \log P(X | \theta)$$

6. 分析框架：一个非代码案例研究

场景： 一家大型科技公司的安全团队希望评估员工密码抵御最先进攻击的能力。

  1. 数据准备： 团队合法地从多个公开、匿名的泄露来源聚合一个大型通用密码语料库（用于预训练）。他们还获取了本公司密码哈希值的一个小型、脱敏样本（用于微调），确保分析人员无法接触到明文密码。
  2. 模型应用： 他们部署了一个类似PassTSL的框架。
    • 步骤A（预训练）： 在通用语料库上训练基础Transformer模型。模型学习全局模式，如“password123”、“qwerty”以及常见的Leet语替换。
    • 步骤B（微调）： 使用JS散度启发式方法，选择与公司密码样本在统计上最相似的0.1%预训练数据。在此选定子集与公司样本的组合上对预训练模型进行微调。这使模型适应公司特定的模式（例如，内部产品名称的使用、特定日期格式）。
  3. 评估： 微调后的模型生成一个猜测列表。团队将其破解率与现有防御措施（例如，使用标准规则集的hashcat）进行比较。他们发现PassTSL在前10^9次猜测中多破解了30%的密码，揭示了传统方法遗漏的重大漏洞。
  4. 行动： 基于模型的输出，他们识别出最常被猜测的模式，并实施有针对性的密码策略变更（例如，禁止包含公司名称的密码），并发起有针对性的用户教育活动。

7. 未来应用与研究展望

8. 参考文献

  1. Vaswani, A., 等. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017).
  2. Weir, M., 等. (2009). Password Cracking Using Probabilistic Context-Free Grammars. IEEE Symposium on Security and Privacy.
  3. Melicher, W., 等. (2016). Fast, Lean, and Accurate: Modeling Password Guessability Using Neural Networks. USENIX Security Symposium.
  4. Hitaj, B., 等. (2019). PassGAN: A Deep Learning Approach for Password Guessing. Applied Intelligence.
  5. Wheeler, D. L. (2016). zxcvbn: Low-Budget Password Strength Estimation. USENIX Security Symposium.
  6. Devlin, J., 等. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805.
  7. Zhu, J.Y., 等. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE International Conference on Computer Vision (ICCV). （关于生成概念的CycleGAN参考）。
  8. National Institute of Standards and Technology (NIST). (2017). Digital Identity Guidelines (SP 800-63B). （关于身份验证的权威背景）。