Como o Discord dá conta de trilhões de mensagens com Elixir, Python e Rust
O Discord é onde milhões de comunidades conversam por texto, voz e vídeo. O stack junta Elixir para as conexões em tempo real com um monólito de API em Python, e com o tempo levou os trechos mais quentes para o Rust e o armazenamento do MongoDB para o Cassandra e depois para o ScyllaDB.
Copiar stackdiscord.com Chat de voz, vídeo e texto para comunidades · Estados Unidos · fundada em 2015
Indexa as mensagens para busca em 40 clusters agrupados em células.
Como montaram
Elixir desde o primeiro protótipo
O primeiro protótipo do Discord foi escrito em Elixir, e esse código virou a base da infraestrutura em tempo real. Cada usuário se conecta por WebSocket a um processo de sessão, que conversa com processos de servidor (guild) em nós Erlang remotos, e eles espalham os eventos para todo mundo online.
O time escolheu Elixir para ter a força da máquina virtual do Erlang com uma linguagem e ferramentas mais modernas e amigáveis. Para continuar escalando, criaram bibliotecas próprias e depois trouxeram o Rust por funções nativas.
As mensagens começaram no MongoDB e foram para o Cassandra por escala e pouca manutenção. Em 2022 o cluster de Cassandra tinha 177 nós, chamava o plantão o tempo todo, sofria com partições sobrecarregadas e com pausas de coleta de lixo que geravam picos de latência.
Em maio de 2022 o Discord levou as mensagens para o ScyllaDB, o último dos seus bancos a mudar, e caiu para 72 nós. O ScyllaDB é compatível com o Cassandra e escrito em C++, sem coleta de lixo. No meio do caminho entraram serviços de dados em Rust que juntam pedidos iguais, para um canal movimentado gerar uma consulta ao banco em vez de milhares.
O serviço Read States, que guarda o que cada pessoa já leu, era escrito em Go. Mais ou menos a cada dois minutos ele tinha picos de latência, causados pela coleta de lixo varrendo um cache enorme na memória.
Em 2019 o Discord reescreveu o serviço em Rust, que libera a memória assim que ela deixa de ser usada. A versão em Rust não teve picos e ganhou do Go em latência, CPU e memória. O Rust também roda no SDK de jogos, na codificação de vídeo do Go Live e em vários serviços do backend.
A busca rodava em dois clusters gigantes de Elasticsearch, alimentados por uma fila no Redis. Com fila acumulada, o Redis batia no limite de CPU e perdia mensagens, um nó com problema derrubava lotes inteiros, e alguns servidores grandes chegavam ao limite de cerca de 2 bilhões de documentos por índice do Lucene.
Na reconstrução de 2025, o Redis deu lugar ao Pub/Sub do Google Cloud, que garante a entrega, entrou um roteador de mensagens em Rust e a busca foi dividida em 40 clusters menores, gerenciados no Kubernetes. A latência mediana das buscas caiu de 500 ms para menos de 100 ms.
O front web é em React e Flux, e os apps de desktop embrulham isso no Electron. O iOS adotou React Native cedo e reaproveita quase toda a regra de negócio da web, enquanto uma primeira tentativa no Android foi abandonada por causa do desempenho do toque.
Em 2022, com celulares Android mais rápidos e o motor JavaScript Hermes, o Android também foi para React Native. No começo o app abriu mais devagar nos aparelhos simples, e em 2023 o time cortou pela metade o tempo mediano de abertura.
