Page 9 - Showing 8 of 122 posts
View all posts by years →
-
分布式系统｜共识算法 RaftRaft 算法是一类基于日志复制的分布式共识算法，由于 Raft 算法易于理解和实现，在提出后，迅速获得了广泛关注，并成为了分布式系统中实际应用最广泛的一致性算法之一。目前，已经有十多种语言的 Raft 算法实现框架，比较有代表性的有 etcd、Consul，CockroachDB 等。
47 min read Chinese - 分布式系统｜理论基础
由于分布式系统中的程序是部署在多个节点上的，各个节点通过网络通信。一旦有网络通信，就会有网络的可靠性问题，延迟问题，以及各个节点的故障问题等等。可能出现有的节点能正常工作，而有的节点挂掉，导致有的请求达到正常节点就能正常处理，而打到故障节点又会失败。又或者因为网络故障，导致有的写操作在部分节点成功，而在另一些节点失败，总之可能存在种种状态不一致的情况，这些问题的存在影响着系统在高性能，高可用等方面的设计。
22 min read Chinese - 动图轻松理解 Self-Attention
Self-Attention 是 Transformer 中最核心的思想，我们在阅读 Transformer 论文的过程中，最难理解的可能就是自注意力机制实现的过程和繁杂的公式。
8 min read Chinese - ChatGPT 是如何处理文字输入的？
在 ChatGPT 计算处理完之后，也需要将结果再做逆转换，形成文字形式，反馈给用户。这种转换包括 Tokenizer 和 Embedding，本文要介绍这两个模块。
21 min read Chinese - ChatGPT 的灵魂：Attention 注意力机制
OpenAI 的 GPT 系列模型，包括其它科技公司研发的各种最先进的 NLP 模型，甚至图像处理模型，广泛采用了 Attention 注意力机制进行建模，它可谓是当前 NLP 神经网络的灵魂机制。
20 min read Chinese - Modern C++
Modern C++ Lecture
9 min read English - C++ STL 与常见语法糖
C++ STL 语法大全
38 min read Chinese -
Markdown 数学公式指导手册MathJax 速查手册
28 min read Chinese