Ver el código de «Deepseek-R1: Explicado De Forma Simples»

<br>Uma das disciplinas que leciono na Pontifícia Universidade [http://gregghopkins.com Católica] do Paraná, Construção de Interpretadores engloba o processamento de [https://www.fahrschule-andrys.de linguagens formais] a naturais. Dado o terremoto provocado pela DeepSeek com o seu modelo DeepSeek-R1, fiquei curioso e resolvi fazer um apanhado artigos para que as vozes na minha cabeça se acalmem um pouco. [https://eagleelectric.co Curiosidade mata] gato mas excita o [https://toleranceco.com pesquisador]. [https://liwasupriyanti.com Esse é] o resultado deste esforço.<br><br><br>A primeira coisa importante a notar é que o DeepSeek-R1 está sob a licença MIT, e que pode ser encontrado no Hugging Face. Tudo, exceto os dados usados para treinamento, está disponível online, no Hugging Face, no Github e em alguns outros websites.<br><br><br>A grande questão é: porque não os dados de treinamento? A [https://trade-britanica.trade resposta] mais óbvia é: porque aqui está o problema. Mas isso fica para outra discussão1.<br><br><br>O R1 chamou a atenção por empatar, ou bater os modelos antigos e tradicionais.<br><br><br>Comparação entre os resultados de diversos modelos<br><br><br>Achei o máximo escrever modelos antigos e tradicionais para uma tecnologia de 4 anos, no máximo.<br><br><br>O R1 quase derrubou a web por, supostamente, ter sido criado com um custo 20 vezes menor.<br><br><br>O que realmente me interessa, já que não tenho acesso aos dados, [https://gwkeef.mycafe24.com neste modelo] é o uso de Reinforcement Learning por eles que foi [https://stucameron.wesleymission.org.au descaradamente explicitado] em [https://efnypizza.net vários] artigos abertos. Me [https://genussbaeckerei-tralmer.de interessa] porque eu tenho falado para os meus alunos que o próximo salto evolutivo da humanidade será devido a Reinforcement Learning. Então, talvez, só talvez, a DeepSeek não me deixe mentir sozinho.<br><br><br>Uma das [https://www.c2088.cn inovações] do DeepSeek-R1 é a adoção da Group Robust Preference Optimization (GRPO), introduzida no artigo DeepSeekMath: [http://arabcgroup.com Pushing] the Limits of Mathematical Reasoning in Open Language Models sobre o trabalho de Schulman et.al de 2017 Group Robust Preference Optimization in Reward-free RLHF. Essa técnica substitui métodos tradicionais de otimização de políticas, como o Proximal Policy [http://180.76.133.25316300 Optimization] (PPO), apresentado por Schulman et al. em Proximal Policy Optimization Algorithms. Simplificando, a GRPO permite que o modelo aprenda de forma mais eficaz comparando seu desempenho com o de outros modelos em um grupo, otimizando suas ações para [https://skalaeventos.co alcançar melhores] resultados em tarefas de raciocínio matemático. [https://sgriffithelectrical.co.uk Essa abordagem] torna o processo de treinamento mais eficiente e escalável se comparado com o PPO.<br><br><br>Além da GRPO, o DeepSeek-R1 incorpora a Multi-head Latent Attention (MLA), uma [https://gurkhalinks.co.uk técnica introduzida] no DeepSeek-V3, que, por sua vez, foi inspirada no trabalho de Kitaev, Kaiser e Levskaya em Reformer: The Efficient Transformer. A MLA aborda as ineficiências [http://ostseefernsicht-kellenhusen.de computacionais] e de memória associadas ao processamento de sequências longas, especialmente em modelos de linguagem com atenção multi-cabeça. Em termos [https://nyepi.nl simples] podemos dizer que a [https://googleapps.insight.ly MLA melhora] a [https://www.adamcak.sk eficiência] do modelo ao [https://www.ottavyconsulting.com simplificar] a maneira como ele processa as informações. Ela projeta as [https://rebeccagrenier.com matrizes Key-Query-Value] (KQV) em um espaço latente de menor dimensão, reduzindo a [https://uniondaocoop.com complexidade computacional] e melhorando a eficiência do modelo.<br><br><br>Neste momento você tem duas escolhas claras: sentar em um lugar mais [https://frolovzakupki.ru confortável já] que vai demorar, ou ir fazer scroll no instagram.<br><br><br>Fundamentos da Arquitetura<br><br><br>A sopa de [http://martingujan.ch letrinhas] que precisa ser consumida, morna e vagarosamente, para entender como o DeepSeek-R1 funciona, ainda precisa de algum tempero.<br><br><br>Algumas das mudanças realizadas pela equipe de DeepSeek, liderada por Luo Fuli um prodígio com cara de atriz de dorama, incluem Mixture of [https://sonapec.com Experts] (MoE), Multi-head Latent Attention (MLA), Quantização FP8 e Multi-Token Prediction (MTP). A saber:<br><br><br>Mixture of [https://www.kabarberanda.com Experts] (MoE)<br><br><br>O mecanismo Mixture of Experts (MoE) ativa apenas um subconjunto dos parâmetros totais dentro de cada bloco Transformer, permitindo economias computacionais substanciais enquanto preserva a qualidade do modelo. Esta ativação seletiva é particularmente vantajosa para escalar os parâmetros do modelo sem aumentar proporcionalmente os custos computacionais.<br><br><br>A [https://bibocar.com função] gate de seleção de especialistas é governada por uma [https://www.dinamicaspartan.com função] de porta $G( x)$ que direciona tokens $x$ para especialistas $E_k$, definida como:<br><br><br>Cada token é então processado pelos [https://bobtailsquid.ink especialistas] selecionados, agregados como:<br><br><br>Uma perda de [http://suffolkyfc.com balanceamento] de carga é [https://closetothemoon.com adicionada] para [http://itececuador.org encorajar utilização] igual dos especialistas, reduzindo gargalos computacionais.<br><br><br>Vamos ver um exemplo simplificado de como o MoE [https://www.lovelettertofootball.org.au funciona] na prática. Imagine que temos:<br><br><br>- 3 especialistas ($ E_1$, $E_2$, $E_3$).<br>- Um token de entrada $x$ representando a palavra "computador"<br><br><br>Primeiro, o token passa pela função gate $G( x)$, que calcula um score para cada especialista. Vamos dizer que após a transformação $W_gx$ e aplicação do softmax, obtemos:<br><br><br>Isto significa que:<br><br><br>- Especialista 1 ($ E_1$): 70% de ativação.<br>- Especialista 2 ($ E_2$): 20% de [https://git.pilzinsel64.de ativação].<br>- Especialista 3 ($ E_3$): 10% de ativação<br><br><br>Agora, suponha que cada especialista processe o token e produza um vetor de características:<br><br><br>A saída last será a soma ponderada desses vetores, usando os pesos da função gate:<br><br><br>Agora, picture que após processar vários tokens, notamos que o [http://www.jaarsveldje.nl Especialista] 1 está sendo usado 80% do pace. Aqui é onde a perda de balanceamento entra em ação:<br><br><br>Para $K = 3$ especialistas, a [http://jv2022.com frequência perfect] é $ frac 1 K =  frac 1 3  approx 0.33$<br><br><br>Calculando a perda de balanceamento para este caso (com $ alpha = 1$):<br><br><br>Este valor alto de $L _ balance $ indica um desequilíbrio significativo na utilização dos especialistas, e o modelo será penalizado por isso durante o treinamento, incentivando-o a [https://bordadosmanuais.com.br desenvolver] uma distribuição mais equilibrada nas [http://rodeo.mbav.net próximas iterações].<br><br><br>O MoE funciona essencialmente como um sistema de distribuição de tráfego inteligente, onde o "roteador" ([http://mola-architekten.de chamado] de função de gate ou porta) choose qual especialista ou combinação de especialistas deve processar cada token de entrada. Este roteamento é feito de forma dinâmica e aprendida, não através de regras fixas.<br><br><br>Para entender melhor, podemos fazer uma analogia com um hospital: Imagine um grande health center com vários médicos especialistas. Quando um paciente chega, similar a um token de entrada, um enfermeiro de triagem muito experiente, a função de gate, avalia rapidamente o caso e decide [http://optx.dscloud.me32779 quais especialistas] devem atender o paciente. Alguns casos podem precisar de apenas um especialista, enquanto outros podem requerer uma equipe de diferentes especialidades.<br><br><br>No contexto do DeepSeek-R1, este roteamento é representado matematicamente pela função $G( x)$, que podemos entender como um direcionador que:<br><br><br>1. Recebe um token de entrada $x$.<br>2. Avalia suas características através de uma transformação $W_gx$.<br>3. Usa uma função softmax para gerar probabilidades de encaminhamento para diferentes especialistas.<br>4. Direciona o token para os especialistas mais apropriados<br><br><br>Finalmente temos a perda de balanceamento de carga. Um mecanismo que evita que alguns especialistas fiquem sobrecarregados enquanto outros ficam ociosos. Para entender este conceito, podemos voltar ao nosso medical facility:<br><br><br>Imagine que em um medical facility, alguns médicos especialistas começam a receber muito mais pacientes que outros. Por exemplo, um cardiologista está sempre ocupado, atendendo 80% dos pacientes, enquanto um neurologista mal [https://www.bleepingcomputer.com recebe pacientes]. Isso cria dois problemas: o cardiologista fica sobrecarregado, podendo causar atrasos e queda na [https://www.employeez.com qualidade] do atendimento; e o conhecimento do neurologista está sendo desperdiçado.<br><br><br>Para resolver isso, o healthcare facility, nosso sistema MoE, adiciona uma regra specific na função de triagem: se o enfermeiro da triagem, função gate, percebe que [https://innovativewash.com está enviando] muitos pacientes para um mesmo especialista, ele recebe um "feedback negativo", a perda de balanceamento, que o [https://www.snkrsxiehua.cn incentiva] a distribuir melhor os pacientes. E viva o Reinforcement Learning!<br><br><br>Matematicamente, isso é implementado como um termo adicional na [https://www.elobsy.sk função] de perda total do modelo:<br><br><br>Nesta equação:<br><br><br>- $f_k$ representa a frequência com que o [https://mumanyagaka.com especialista] $k$ é utilizado;.<br>- $ frac 1 K $ é a frequência suitable (distribuição uniforme);.<br>- $ alpha$ é um hiperparâmetro que controla a [http://volna-pozice.cz importância deste] balanceamento.<br><br><br>Este tapinha na mão, [http://ptube.site perda adicional] de balanceamento, age como um regulador, penalizando o modelo quando ele desenvolve preferências muito fortes por certos especialistas. Na verdade, o sistema [http://farmaceuticalpartners.com busca minimizar] $L _ balance $, o que naturalmente leva a uma distribuição mais uniforme do trabalho entre os especialistas.<br><br><br>O objetivo final é garantir que todos os especialistas sejam utilizados de forma aproximadamente igual ao longo do tempo, evitando gargalos e maximizando a eficiência. Continuando nossa analogia, é como ter um bom administrador hospitalar que garante que todos os médicos estejam contribuindo de maneira equilibrada para o funcionamento do [http://hotellosjardines.com.do medical facility]. Nem que ele tenha que chamar a atenção de alguém aqui e ali.<br><br><br>Quando esta perda de balanceamento é combinada com a função principal do MoE:<br><br><br>O sistema completo consegue não apenas rotear tokens para os especialistas mais apropriados, mas também manter uma distribuição saudável de carga de trabalho em todo o modelo.<br><br><br>A beleza deste sistema é que ele é eficiente, [https://alkhuld.org adaptativo] e escalável: eficiente por [https://www.jccer.com2223 só ativar] os especialistas necessários para cada token; adaptativo por aprender os padrões de roteamento durante o [http://www.latanadellupogriglieria.it treinamento] e escalável por permitir aumentar o [https://www.drukkr.com número] de parâmetros do modelo sem aumentar proporcionalmente o custo computacional. O MoE é o cara. <br><br><br>Group Robust Preference Optimization<br><br><br>A Group [http://saidjenn.com Robust Preference] Optimization (GRPO) representa uma evolução significativa nos métodos de otimização para modelos de linguagem, substituindo abordagens tradicionais como o  Optimization (PPO). Esta técnica introduz um paradigma de aprendizado que compara o desempenho do modelo com outros em um grupo de referência.<br><br><br>A [https://kibistudio.com57183 função objetivo] do GRPO pode ser expressa matematicamente como:<br><br><br>Para [http://westlondon-dogtrainer.co.uk entender melhor] como o GRPO funciona na prática, considere um exemplo de raciocínio matemático:<br><br><br>Dado um problema matemático $x$: "Qual é a derivada de $f( x) = x ^ 2$?"<br><br><br>E uma resposta candidata $y$: "$ f'( x) = 2x$"<br><br><br>O GRPO avalia a resposta comparando com um grupo de modelos de referência:<br><br><br>A otimização GRPO busca maximizar:<br><br><br>Este [https://slowinski-okna.pl processo incentiva] o modelo a desenvolver robustez em suas previsões, evitando sobre-ajuste a um único critério de avaliação. O [https://git.logicloop.io GRPO é] mais [https://sureboard.com eficiente graças] a MLA.<br><br><br>Multi-head Latent Attention (MLA)<br><br><br>O sistema Multi-head Latent Attention (MLA), introduzido no DeepSeek-V3, [http://www.fuaband.com reduz ineficiências] computacionais e de [https://digiebooks.com.br memória projetando] matrizes Key-Query-Value (KQV) em um [http://saganosteakhouse.com espaço latente] de menor dimensão. O [https://professorslot.com objetivo é] diminuir a [https://beatacolomba.it latência] de inferência e os custos computacionais, particularmente para processamento de contexto longo.<br><br><br>Para entender o MLA, podemos usar uma analogia com uma biblioteca. [https://git.eyakm.one Imagine] uma enorme biblioteca [https://restorun.re universitária] com milhões de livros, nosso espaço original. Buscar um livro específico comparando-o com cada livro da biblioteca seria extremamente ineficiente. Em vez disso, a [http://kyara-kinosaki.com biblioteca U].S.A. um sistema de catalogação, nosso espaço latente, que representa cada livro por um código mais compacto, contendo informações [https://skkmpc.ru essenciais] como assunto, autor e localização.<br><br><br>No contexto do MLA, a transformação do [https://shinytinz.com mecanismo] de atenção começa no espaço initial, onde:<br><br><br>$ K, Q, V = W_kX, W_qX, W_vX$<br><br><br>Aqui, $X$ [http://brunoespiao.com.br representa nossa] entrada, como os livros na biblioteca, e $W_k$, $W_q$, $W_v$ são transformações que geram nossas chaves ($ K$), consultas ($ Q$) e valores ($ V$), similar a [https://git.bugi.si criar diferentes] índices para nossos livros.<br><br><br>Estas representações são então projetadas em um [https://dayandnightforex.co.za espaço latente] $L$ de menor dimensão:<br><br><br>$ K_L, Q_L, V_L = W_LK, W_LQ, W_LV$<br><br><br>É como se criássemos um catálogo resumido que mantém apenas as informações mais relevantes, [http://www.torasrl.it tornando] as buscas muito mais eficientes.<br><br><br>Vamos ver como isso funciona na prática. Imagine que temos:<br><br><br>- Uma [https://www.idnews.co.id sequência] de entrada com dimensão original de 1024;<br>- Um espaço latente com dimensão 64;<br><br><br>No espaço initial, para [https://shinytinz.com calcular] a atenção entre uma sequência de $100$ tokens: precisaríamos fazer $100  times 100 = 10.000$ [https://healthandactive.rs comparações]. Neste caso, cada comparação envolveria [https://www.todoenled.es vetores] de [http://www.hkgroups.org dimensão] $1024$.<br><br><br>No espaço latente, [https://gibbonesia.id ainda fazemos] $100  times 100 = 10.000$ comparações. Mas cada comparação agora U.S.A. vetores de [https://equiliber.ch dimensão] $64$. Implicando em uma redução de $16x$ na quantidade de memória necessária! Esta economia de memória é proporcional à razão entre as dimensões initial e [https://princeinkentertainment.com latente]. Neste caso, $1024/64 = 16$.<br><br><br>A complexidade computacional permanece $O( N ^ 2)$. Porém, as operações são realizadas em vetores de dimensão reduzida, $d_L$, reduzindo o [http://5.34.202.1993000 custo computacional] real. Em nosso [https://salernohomesllc.com exemplo] temos:<br><br><br>1. No espaço de atenção initial, com [https://gallery.wideworldvideo.com dimensão] $d$: ( O( n ^ 2d)  text operações, onde n  text é o tamanho da sequência )<br><br><br>2. No espaço latente, com [http://maili.demoe.cn112 dimensão reduzida] $d_l$: ( O( n ^ 2d_l + nd_kd_l)  text operações, onde d_l <br><br>Para ilustrar a diferença prática quando $n = 100$, $d_k = 1024$ e $d_l = 64$:<br><br><br>- A primeira expressão resulta em aproximadamente 10 milhões de operações;<br>- A segunda expressão resulta em aproximadamente 640 mil operações. Eita!<br><br><br>Voltando à nossa analogia da biblioteca, é como se pudéssemos transformar cada livro em um cartão de catálogo compacto, realizar buscas [https://609granvillestreet.com usando apenas] estes cartões e acessar o [https://brightindustry.com livro completo] apenas quando fosse realmente necessário.<br><br><br>O MLA aplica este mesmo princípio, permitindo que modelos processem textos muito mais longos com menos recursos. É como ter uma biblioteca infinitamente mais eficiente, onde podemos encontrar exatamente o que precisamos sem ter que olhar cada livro individualmente. É como ter o melhor dos dois mundos: a riqueza de informação do espaço initial com a eficiência do espaço latente. Parece mágica, mas não é.<br><br><br>FP8 Quantização: Compactando Números de Forma Inteligente<br><br><br>O DeepSeek-R1 utiliza quantização de ponto flutuante de 8 bits (FP8) para reduzir o uso de memória e custos computacionais. Este processo é similar à compressão de imagens digitais: assim como podemos reduzir o tamanho de uma foto mantendo sua qualidade visual, a [https://www.healthcarehygienemagazine.com quantização] FP8 reduz o tamanho dos números preservando sua utilidade matemática. Comparado ao formato tradicional de 32 bits (FP32), o FP8 reduz os requisitos de memória em 75% enquanto mantém a [https://www.christopherlivesay.com estabilidade numérica] [https://namkhoi.com necessária durante] o treinamento e [http://patch.couture.blog.free.fr inferência] do modelo.<br><br><br>Para realizar esta compressão numérica, o FP8 utiliza uma função de [http://pmcdoors.by quantização curiosamente] simples e deliciosamente elegante:<br><br><br>Onde $S$ é um fator de escala que é ajustado dinamicamente com base nos [https://rosseti.eu gradientes] de perda. Para [http://www.torasrl.it entender] como [https://git.siin.space isso funciona] na prática, [https://denoterij.nl imaginemos] um neurônio em nossa rede que precisa armazenar o valor $0.123456789$. No formato FP32, este número seria armazenado com alta precisão, usando 32 bits de memória. Durante a quantização FP8,  [http://experienciacortazar.com.ar/wiki/index.php?title=Usuario:KelliAmundson experienciacortazar.com.ar] primeiro dividimos este valor por um fator de escala, digamos $S = 0.01$, obtendo $12.3456789$. Este número é então arredondado para $12$ e multiplicado novamente por $S$, resultando em $0.12$. Faz mais sentido em binário.<br><br><br>Este foi só um exemplo, existem vários [https://cvwala.com padrões] de [http://www.blueshotel.de quantização] FP8, por exemplo:<br><br><br>- FP8-E4M3: este formato oferece um bom equilíbrio entre faixa dinâmica e precisão, sendo adequado para uma variedade de aplicações de aprendizado de máquina.<br><br><br>- FP8-E5M2: este [https://schewemedia.de formato prioriza] uma faixa [http://volna-pozice.cz dinâmica maior] em detrimento da precisão, sendo útil em casos onde a representação de [https://www.joinyfy.com números] muito [http://farmaceuticalpartners.com grandes] ou muito pequenos é vital.<br><br><br>No artigo, eles não explicitam que padrão usaram. E eu não vou baixar o código. Minha máquina não roda esse treco.<br><br><br>O [https://avycustomcabinets.com processo é] similar ao ajuste de zoom em uma câmera fotográfica. O fator de escala $S$ funciona como o zoom, ajustando o nível de detalhe que capturamos. Em regiões do modelo onde precisamos mais precisão, $S$ se ajusta automaticamente para preservar mais [https://iitworldwide.com detalhes] numéricos, como um fotógrafo ajustando o zoom para capturar detalhes importantes em uma cena2.<br><br><br>Em um modelo com um bilhão de parâmetros, esta técnica reduz o uso de memória de 4 gigabytes para apenas 1 gigabyte. Além disso, números menores são processados mais rapidamente pelo hardware, e mais dados podem ser mantidos nos caches do processador, acelerando todas as operações do modelo.<br><br><br>O aspecto mais interessante da [http://powertrackeg.com quantização] FP8 é como ela equilibra precisão e eficiência. Em partes do modelo onde [https://iitworldwide.com pequenas variações] [https://shaktisoul.me numéricas] são cruciais, o fator de escala $S$ se ajusta para preservar mais [https://transitionsphysicaltherapy.com precisão]. Em outras regiões, onde variações menores não afetam significativamente o resultado, a quantização pode ser mais agressiva. Este comportamento adaptativo permite que o modelo mantenha seu desempenho mesmo com uma [https://www.andreaconsalvi.it representação numérica] mais [https://outfit.yt compacta].<br><br><br>Na prática, isso significa que podemos executar modelos complexos em [https://dayandnightforex.co.za hardware] mais simples e tornar o [https://distancedirecting.hu treinamento] mais eficiente. O fator de escala dinâmico, determinado pelos gradientes de perda durante o treinamento, garante que esta compressão numérica não comprometa a capacidade de aprendizado do modelo.<br><br><br>Multi-Token Prediction (MTP)<br><br><br>O mecanismo Multi-Token Prediction (MTP) representa uma mudançan essential na forma como os modelos de linguagem geram texto, permitindo a [https://se.mathematik.uni-marburg.de previsão simultânea] de múltiplos tokens em vez da tradicional abordagem autorregressiva token por token. Esta inovação é particularmente significativa para tarefas que envolvem raciocínio de contexto longo.<br><br><br>A função de predição essential do MTP é governada por uma função de probabilidade condicional dada por:<br><br><br>A [http://209.141.61.263000 paralelização reduz] o número de passos de inferência de $T$ para $T/k$, acelerando a geração em [https://www.ufrgs.br hardware] adequado, sendo $k$ o número de [https://shaktisoul.me tokens previstos] simultaneamente em cada etapa.<br><br><br>Na [https://www.kimmyseltzer.com prática é] mais, ou menos, assim: envision que estamos tentando gerar a frase "O gato preto dormiu no sofá". Em uma [https://sharingopportunities.com abordagem tradicional] autorregressiva, teríamos:<br><br><br>Com [https://www.groenservicetwente.nl MTP usando] $k=2$ (prevendo dois tokens por vez), teríamos:<br><br><br>A eficiência computacional vem do fato de que, em vez de fazer $6$ passos de inferência, fazemos apenas $3$. Para [https://nomadfreela.com entender] melhor, podemos fazer uma analogia com um processo de tradução humana:<br><br><br>Imagine um tradutor experiente trabalhando em um texto. Um tradutor iniciante pode precisar traduzir palavra por palavra, similar à abordagem autorregressiva tradicional. No entanto, um [https://asined.ro tradutor experiente] [http://git.hsgames.top3000 frequentemente processa] chunks ou grupos de [https://amarrepararecuperar.com palavras] simultaneamente, similar ao MTP3. Esta capacidade de [https://burgwinkel-immobilien.de processar múltiplos] tokens simultaneamente não apenas acelera o processo, mas também pode capturar melhor as dependências semânticas entre palavras próximas.<br><br><br>A implementação do MTP envolve um mecanismo de atenção modificado que [https://www.mpcfitness.io permite] que o modelo:<br><br><br>1. Mantenha a coerência entre os tokens gerados simultaneamente;<br>2. Preserve as dependências contextuais importantes;<br>3. [http://www.biganim.world Balanceie] a velocidade de geração com a qualidade do texto;<br><br><br>Para garantir a [https://www.terraevecci.com.br qualidade] da geração paralela, o modelo utiliza uma função de perda especial que podemos definir como:<br><br><br>Na qual $L _ consistency $ é um termo de regularização que penaliza inconsistências entre tokens gerados simultaneamente, e $ alpha$ é um hiperparâmetro que controla a importância deste termo. Esta é uma versão simplificada; [https://sk303.com implementações reais] podem usar mecanismos de atenção especializados para garantir coerência.<br><br><br>O termo de consistência pode ser calculado como:<br><br><br>Neste caso, $h_i$ representa as representações ocultas dos tokens gerados em paralelo.<br><br><br>Para ilustrar o impacto na eficiência, [https://realgageservices.com considere] um modelo processando um texto de $1000$ tokens:<br><br><br>- Abordagem tradicional: $1000$ passos de inferência;<br>- MTP com $k= 4$: $250$ passos de inferência;<br>- MTP com $k= 8$: $125$ passos de inferência.<br><br><br>No entanto, valores muito altos de $k$ podem levar a degradação na qualidade do texto gerado. O truque está em encontrar um equilíbrio entre velocidade e qualidade.<br><br><br>Similar ao MoE, que otimiza o uso de recursos através da especialização, o MTP otimiza através da paralelização, demonstrando como diferentes estratégias de otimização podem trabalhar em conjunto para criar modelos mais eficientes e capazes.<br><br><br>Pipeline de Treinamento: da Pré-Treinamento ao Raciocínio<br><br><br>O DeepSeek-R1 emprega um pipeline multi-estágio projetado para [https://dayandnightforex.co.za maximizar suas] capacidades de raciocínio enquanto minimiza custos computacionais. Este processo consiste em [https://www.reljef.lt estágios] distintos, cada um guiado por funções de perda e mecanismos de recompensa específicos para a tarefa.<br><br><br>Nós vamos estudar este [http://180.76.133.25316300 treinamento] em [https://rohbau-hinner.de duas fases] distintas.<br><br><br>Estágio 1: Cold Start com Ajuste Fino Supervisionado (SFT)<br><br><br>O DeepSeek-R1 começa ajustando o modelo V3-Base com exemplos de alta qualidade de Chain of Thought (CoT). Estes exemplos são cuidadosamente curados usando prompting com poucos exemplos, anotação handbook e [http://globaltelonline.ca refinamento] das [https://vamo.eu saídas] do DeepSeek-R1-Zero.<br><br><br>Chain of Thought (CoT) e Zero-Shot Chain of Thought<br><br><br>O mecanismo Chain of Thought (CoT) representa uma evolução na forma como os modelos de linguagem abordam problemas complexos. Em vez de tentar chegar diretamente a uma resposta, o CoT introduz um processo de raciocínio explícito e passo a passo que mimetiza o pensamento humano. Esta abordagem é particularmente poderosa para tarefas que exigem raciocínio matemático, lógico ou multi-etapas. Áreas do pensamento também conhecidas como: tudo.<br><br><br>Um vislumbre da matemática do CoT deve ajudar a entender como ele funciona. A probabilidade de gerar uma resposta correta $y$ para uma entrada $x$ [http://eko-deks.pl usando CoT] pode ser expressa como:<br><br><br>Nesta equação, $z$ representa os passos intermediários do raciocínio, como quando escrevemos nosso pensamento em um papel ao [https://www.lakarjobbisverige.se resolver] um problema. Sendo assim, o [https://imperiumfilm.se conjunto] $Z$ contém todos os possíveis caminhos de raciocínio que poderíamos seguir.<br><br><br>Para entender melhor como isso [https://edu.shpl.ru funciona] na prática, vamos considerar um problema que todos já enfrentamos em sala de aula:<br><br><br>Em uma [https://www.ranczowdolinie.pl sala há] 3 mesas. Em cada mesa há 4 vasos. Em cada vaso há 2 flores. Quantas flores há no overall?<br><br><br>Um modelo tradicional poderia tentar pular direto para a resposta. Já com CoT, o processo é composto quase naturalmente:<br><br><br>Em cada passo deste processo, o modelo calcula a probabilidade do próximo passo [https://www.buysellammo.com baseado] em todos os passos anteriores:<br><br><br>Na qual, $f _  theta$ é a função do modelo, parametrizada por $ theta$, que choose qual deve ser o próximo passo do raciocínio.<br><br><br>Para garantir que este [https://pkalljob.com raciocínio seja] não apenas correto, mas também coerente, o modelo utiliza uma função de [https://new.wacs.lu perda especialmente] projetada:<br><br><br>O hiperparâmetro $ alpha$, [https://www.kabarberanda.com característico] do DeepSeek-R1, funciona como um professor ajustando o peso entre chegar à resposta certa ($ y$) e mostrar o trabalho de forma clara ($ z_t$).<br><br><br>A eficácia desta abordagem pode ser medida de várias formas complementares:<br><br><br>1. Precisão da resposta final ($ A_f$):<br><br><br> [A_f =  frac  text Respostas corretas  text Total de problemas ] 2. Coerência dos passos intermediários ($ C_z$):<br><br><br> [C_z =  frac 1 T  amount _ t= 1 ^ T  text rating (z_t|z _ { Cuja relação pode ser expressa matematicamente como:<br><br><br>Nesta equação, $S$ representa o grau de aderência à estrutura predefinida, $E$ quantifica a capacidade de expressão flexível do modelo, e $ gamma$ atua como um parâmetro de balanceamento que permite ajustar a importância relativa destes dois aspectos.<br><br><br>O início a frio em LLM, em vez de simplesmente preencher lacunas de dados, busca estabelecer um {framework|structure} robusto para o raciocínio estruturado. Não é fácil resistir a uma analogia com o processo educacional, onde primeiro estabelecemos fundamentos sólidos de resolução de problemas antes de expor o estudante a desafios mais complexos. E, pelo que podemos ver no mercado, está funcionando.<br><br><br>Estágio 2: {Reinforcement|Support} {Learning|Knowing} - Evoluindo Através da Experiência<br><br><br>O {Reinforcement|Support} {Learning|Knowing} (RL) é o coração pulsante do DeepSeek-R1, representando uma mudança evolucionária na forma como os modelos de linguagem natural desenvolvem suas capacidades de raciocínio. Em vez de depender apenas de dados cuidadosamente curados por humanos, o modelo evolui através de um processo orgânico de tentativa e erro, {similar|comparable} a como nós humanos aprendemos através da experiência.<br><br><br>Eu não queria dizer isso. Mas, eu te disse!<br><br><br>Mentira: queria sim.<br><br><br>Para entender profundamente como o RL funciona, precisamos primeiro compreender sua estrutura matemática. O processo pode ser formalizado como uma decisão de Markov (MDP), definida pela tupla:<br><br><br>Nesta estrutura, $S$ representa o espaço de estados possíveis do modelo, $A$ é o conjunto de todas as ações que o modelo pode tomar, $P$ captura a dinâmica de como o ambiente responde a essas ações, $R$ é a função que determina as recompensas, e $ gamma$ é um fator que equilibra a importância de recompensas imediatas versus futuras.<br><br><br>O objetivo {fundamental|essential|basic} do modelo é desenvolver uma política ótima $ pi ^ *$ que {maximize|make the most of|take full advantage of|optimize} a soma descontada de recompensas futuras:<br><br><br>Em outras palavras, o modelo busca o máximo possível de recompensas, assim como eu, e você. Este processo está formalmente implementado no DeepSeek-R1 por meio de um sistema sofisticado de recompensas que combina três aspectos fundamentais:<br><br><br>Cada componente desta equação tem um propósito específico. A recompensa de precisão ($ R _ {{precision|accuracy}} $) funciona como um {professor|teacher} rigoroso, avaliando a correção objetiva das respostas:<br><br><br>Para ilustrar como isto funciona na prática, considere um problema clássico de programação - a implementação da sequência de Fibonacci. Que em python poderia ser resolvido por:<br><br><br>O modelo recebe recompensas baseadas em testes específicos. Para cada teste da função fibonacci, o modelo é avaliado pela correção de sua resposta:<br><br><br>Porém, a precisão por si só não é suficiente para desenvolver um modelo verdadeiramente capaz. Por isso, foi introduzido a recompensa de formato ($ R _ {format} $), que atua como um {professor|teacher} de redação, assegurando que o raciocínio seja bem estruturado e claro:<br><br><br>Nesta equação estão combinados dois aspectos: a completude do raciocínio, representada por $C( z)$, e a estrutura sintática, capturada por $S( z)$. Os pesos $w_1$ e $w_2$ permitem ajustar a importância relativa de cada aspecto. Você pode fazer um paralelo com um {professor|teacher} que pode enfatizar ora a profundidade do argumento, ora a clareza da apresentação. Para ilustrar, considere este exemplo de um raciocínio bem estruturado:<br><br><br>A terceira dimensão do aprendizado é capturada pela recompensa de coerência ($ R _ {coherence} $). Novamente, podemos voltar a metáfora do {professor|teacher}. Desta feita, como um {professor|teacher} de lógica experiente. Este componente irá assegurar que cada passo do raciocínio flua naturalmente para o próximo:<br><br><br>O processo de aprendizado em si se desenrola como uma dança cuidadosamente coreografada de ajustes sutis em torno destas recompensas, que podemos expressar matematicamente como:<br><br><br>Para dimensionar os resultados do sistema de recompensas precisamos recorrer, novamente, aos dados divulgados: em tarefas matemáticas, foi observada uma evolução significativa, com uma precisão inicial de $65%$, o modelo alcança impressionantes $91%$ após $100$ mil iterações de aprendizado. Na qualidade do código gerado foi reportado um progresso {similar|comparable}, com a taxa de testes bem-sucedidos saltando de $55%$ para $89%$. Talvez ainda mais impressionante seja o desenvolvimento da capacidade de estruturação do raciocínio reportada, que atinge níveis quase humanos - aumenta de $72%$ para $96%$, enquanto a coerência lógica evolui de $68%$ para $94%$.<br><br><br>Finalmente, acho que escrevi umas trinta páginas só para escrever este último parágrafo.<br><br><br>A abordagem holística ao aprendizado espelha profundamente o modo como nós, humanos, desenvolvemos {expertise|proficiency|knowledge|competence|know-how} em áreas complexas. Assim como um músico deve equilibrar técnica e expressividade, ou um escritor deve balancear clareza e estilo (estou trabalhando nisso), o DeepSeek-R1 aprende a harmonizar precisão, estrutura e coerência em seu raciocínio. O resultado é um nível de elegância e clareza que torna seu raciocínio não apenas correto, mas genuinamente compreensível para os humanos com quem interage. Pelo menos, esta é a sensação que tive nestes últimos $9$ ou $10$ dias desde que troquei o Qwen 2 pelo DeepSeek.<br><br><br>Otimização de Política Relativa em Grupo (GRPO)<br><br><br>A Otimização de Política Relativa em Grupo (GRPO) representa uma inovação {fundamental|essential|basic} na arquitetura do DeepSeek-R1, introduzido no DeepMath, é uma alternativa elegante e eficiente aos métodos tradicionais de otimização de política como PPO (Proximal Policy Optimization) e DPO (Direct {Preference|Choice} Optimization). Para entender como o GRPO funciona, vamos começar com sua formulação matemática:<br><br><br>No coração do GRPO está uma função objetivo projetada que equilibrar múltiplos objetivos concorrentes:<br><br><br>Esta expressão incorpora vários componentes-chave que trabalham em harmonia:<br><br><br>1. Taxa de Verossimilhança ($  rho_i$): a taxa de verossimilhança funciona como um medidor {fundamental|essential|basic} que compara a probabilidade de gerar uma saída $o_i$ sob a nova política versus a política antiga:<br><br><br> [ rho_i =  frac { pi _  theta( o_i|q)} { pi _ { theta _ {old}} (o_i|q)} ] Esta razão atua como um detector sensível de mudanças na política. Quando $ rho_i > 1$, significa que a nova política atribui maior probabilidade à saída $o_i$ em comparação com a política antiga.<br><br><br>2. [http://www.pilulaempreendedora.com.br Função] de Vantagem ($ A_i$): a função de vantagem introduz um mecanismo sofisticado de normalização que avalia a qualidade relativa das saídas dentro de um grupo:<br><br><br> [A_i =  frac {r_i -  mu_r} { sigma_r} ] Nesta equação temos:<br><br><br>- $r_i$ representa a [https://centeroflightmiracles.org recompensa] para a saída $i$;.<br>- $ mu_r = mean( r_1, ..., r_G)$ é a média das recompensas do grupo;.<br>- $ sigma_r = {std|sexually transmitted disease}( r_1, ..., r_G)$ é o desvio padrão das recompensas do grupo.<br><br><br>Esta normalização serve a dois propósitos:<br><br><br>- cria uma escala significativa para comparar saídas em diferentes contextos;.<br>- ajuda a estabilizar o [https://pogruz.kg treinamento reduzindo] o impacto de variações na escala das [http://wp.sos-foto.de recompensas].<br><br><br>3. Mecanismo de Clipping: a [https://audit.dusit.ac.th operação] de clipping, expressa como $clip(  rho_i,1-  epsilon,1+  epsilon)$, implementa uma estratégia conservadora de atualização de política:<br><br><br> [clip(  rho_i,1-  epsilon,1+  epsilon) =  {begin|start} {cases} 1-  epsilon &  text {se}  rho_i 1+  epsilon  end {cases} ] 4. Penalidade de Divergência KL: o termo de divergência de Kullback-Leibler fornece uma camada adicional de estabilidade:<br><br><br> [-  beta D _ {KL} ( pi _  theta | pi _ {ref} )]<br><br>A divergência de Kullback-Leibler, denotada como $D _ {KL} (P|Q)$, é uma medida {fundamental|essential|basic} em teoria da informação e [https://git.saphir.one aprendizado] de máquina que quantifica a diferença entre duas distribuições de [https://gtf.hr probabilidade] $P$ e $Q$. Matematicamente expressa como $D _ {KL} (P|Q) =  sum_x P( x)  log(  frac {P( x)} {Q( x)} )$, ela pode ser [https://journalpremiereedition.com interpretada] como o "custo" em bits de informação quando usamos a distribuição $Q$ para aproximar a distribuição verdadeira $P$. No contexto do GRPO, ela atua como uma "professora paciente" que [http://thedrugstoreofperrysburg.com gentilmente] {impede|hinder|hamper|restrain} o modelo de se desviar muito drasticamente de uma política conhecida e estável ($  pi _ {ref} $), [https://slowinski-okna.pl funcionando] como um [https://www.ubhsinc.com mecanismo] de estabilização que promove mudanças graduais e controladas no [https://transportesjuanbrito.cl comportamento] do modelo. É importante notar que $D _ {KL} $ não é simétrica, ou seja, $D _ {KL} (P|Q)  neq D _ {KL} (Q|P)$, uma característica que a torna particularmente útil em contextos onde queremos manter uma direção específica de influência entre as distribuições.<br><br><br>Implementação Prática<br><br><br>A implementação do GRPO no DeepSeek-R1 pode ser visualizada através do seguinte pseudocódigo em python:<br><br><br>No contexto [https://www.olenamakukha.com específico] do DeepSeek-R1, pode-se dizer que o GRPO é responsável por:<br><br><br>1. Aprendizado Baseado em Grupos: em vez de avaliar saídas individuais isoladamente, o GRPO processa saídas em grupos, permitindo uma estimativa mais robusta das recompensas e melhor eficiência amostral [https://www.kreatinca.si durante] o [https://ec2-13-237-50-115.ap-southeast-2.compute.amazonaws.com treinamento].<br><br><br>2. Atualizações Adaptativas: a combinação de clipping e divergência KL cria um mecanismo adaptativo de atualização que ajuda a prevenir mudanças [https://santanadedetizadora.com.br bruscas] na política do modelo.<br><br><br>3. Estabilidade: o GRPO incorpora múltiplos mecanismos de estabilização usados para o treinamento de modelos grandes como o DeepSeek-R1. Assim, vantagens normalizadas reduzem a [https://santanadedetizadora.com.br sensibilidade] à escala das recompensas, taxas de verossimilhança clipadas previnem atualizações extremas e a penalidade de divergência KL mantém a consistência da política de [https://www.andreaconsalvi.it recompensas]. <br><br><br>Além disso, podemos creditar a abordagem baseada em grupos alguns benefícios computacionais significativos, incluindo: [http://duryunsan.kr requisitos reduzidos] de memória [http://www.kawarashid.nl através] do [http://rodeo.mbav.net processamento] em lotes; computação paralela de vantagens e atualizações e a normalização eficiente de recompensas dentro dos grupos.<br><br><br>Além do GRPO: Métodos de Otimização Em LLMs<br><br><br>Os métodos de otimização em * LLMs ** evoluíram significativamente nos [https://www.112losser.nl últimos] anos, cada um [https://jkremmerfitness.com trazendo abordagens] únicas para o desafio de alinhar o comportamento do modelo com objetivos específicos. Vamos explorar as principais alternativas ao GRPO, analisando suas características.<br><br><br>PPO (Proximal Policy Optimization)<br><br><br>O PPO e o GRPO são métodos [https://luckiestgamblers.com genuínos] de {Reinforcement|Support} {Learning|Knowing}. Seguem o paradigma clássico de RL onde um [https://code.paperxp.com agente interage] com um ambiente, recebe recompensas e ajusta sua política com [https://capitalradio.nl base nessas] recompensas. Eles implementam o ciclo completo de exploração-recompensa-ajuste característico do RL. O PPO emergiu como uma das primeiras soluções [https://snubb3dmag.com robustas] para otimização de política em LLMs. Sua função objetivo pode ser [https://www.ortodoncistasasociadosvzla.com expressa matematicamente] como:<br><br><br>O PPO se destaca pela sua estabilidade, mas enfrenta desafios [https://ummomusic.com complexos] em ambientes distribuídos, principalmente devido à necessidade de [https://366.lv sincronização frequente] entre diferentes instâncias de treinamento.<br><br><br>DPO (Direct {Preference|Choice} Optimization)<br><br><br>O DPO é um método de aprendizado supervisionado com preferências. Embora ele {use|usage} conceitos inspirados em RL, como a otimização de política, ele não segue o ciclo tradicional de RL. Em vez disso, trabalha diretamente com dados rotulados de preferências [https://git.yuhong.com.cn humanas]. O DPO introduz uma [https://www.kangloo.si abordagem] mais direta para otimização, baseando-se em [https://www.hilton-media.com preferências humanas] explícitas. Sua formulação [https://www.apprintandpack.com matemática] {central|main} é:<br><br><br>Neste caso, $y_w$ e $y_l$ representam, respectivamente, as respostas preferidas e não preferidas, e $r _  theta$ é a função de recompensa aprendida.<br><br><br>KTO (Kahneman-Tversky Optimization)<br><br><br>O KTO é um método híbrido. Embora {use|usage} [https://myfertology.com funções] de valor similares às encontradas em RL, [https://www.diquesi.es sua abordagem] é mais próxima de um [https://track.afftck.com método] de otimização direta baseado em [http://www.psychotherapiewasquehal.com utilidade]. Ele incorpora princípios da economia comportamental1 para modelar preferências humanas, mas não segue o paradigma tradicional de RL.<br><br><br>O KTO representa uma inovação ao incorporar princípios da economia comportamental. Sua função de valor [https://hub.bdsg.homes adaptada segue] a forma:<br><br><br>Nesta função, $ alpha$, $ beta$ e $ lambda$ são parâmetros que modelam a assimetria na percepção de ganhos e perdas.<br><br><br>APO (Anchored {Preference|Choice} Optimization)<br><br><br>O APO, assim como o DPO, é mais um método de otimização supervisionada do que RL [http://www.fuaband.com propriamente dito]. Ele trabalha com pares contrastantes e {usa|U.S.A.} técnicas de ancoragem para manter a estabilidade durante o treinamento, mas não implementa o ciclo exploração-recompensa característico do RL.<br><br><br>O APO introduz uma [http://almadinadome.com família] de objetivos contrastantes que consideram explicitamente a relação entre o modelo e o [https://gildia-studio.ru conjunto] de dados de preferência. Sua formulação matemática para o APO-zero é:<br><br><br>Neste caso, $p _ { text {ref}} $ é uma distribuição de referência e $ alpha$ controla a força da ancoragem.<br><br><br>Análise Comparativa<br><br><br>Cada método apresenta características únicas que o tornam mais adequado para cenários específicos:<br><br><br>1. Requisitos de Dados:<br><br><br>- PPO e GRPO requerem apenas um modelo de recompensa;<br>- DPO e APO necessitam de dados de preferência emparelhados;<br>- KTO funciona com feedback binário [https://www.bubbleball.nl simples].<br><br><br>2. Eficiência Computacional:<br><br><br>GRPO se destaca pela [http://www.mcjagger.net eliminação] da rede crítica;<br>- PPO pode ser computacionalmente intensivo;<br>- DPO e APO oferecem bom equilíbrio entre complexidade e desempenho;<br><br><br>3. [https://www.diquesi.es Estabilidade] de Treinamento:<br><br><br>- APO e [http://www.torasrl.it GRPO fornecem] maior estabilidade;<br>- PPO pode ser instável em configurações distribuídas;<br>- KTO e DPO mantêm estabilidade [https://www.todoenled.es moderada].<br><br><br>4. Qualidade das Saídas:<br><br><br>- APO demonstra resultados superiores em {benchmarks|criteria|standards} desafiadores;<br>[http://git.hsgames.top3000 GRPO excele] em [http://www.s3-stranges.com.ar tarefas] de raciocínio;<br>- KTO e DPO mostram {forte|specialty|strength} alinhamento com preferências humanas.<br><br><br>A escolha entre estes métodos frequentemente depende do contexto específico de aplicação, recursos computacionais disponíveis e requisitos de qualidade das [http://zodiacstore.thesignofzodiac.com saídas]. No caso do DeepSeek-R1, a adoção do GRPO representa uma escolha equilibrada que prioriza eficiência computacional e qualidade de raciocínio, embora cada uma das alternativas apresente vantagens específicas que podem ser valiosas em [http://pro-profit.net.pl diferentes contextos] de aplicação.<br><br><br>Algumas Observações Particulares<br><br><br>O [https://shaktisoul.me modelo parece] ter desenvolvido a capacidade de revisitar e revisar etapas intermediárias durante a resolução de problemas complexos. Este processo de reflexão permite que o modelo avalie criticamente seu próprio raciocínio e faça ajustes quando necessário. Eu, ainda não [http://katamari.rinoa.info tinha visto] isso. O o1 da OpenAi não mostra todo o raciocínio, mas na parte que ele mostra não aparece qualquer revisão de etapas.<br><br><br>O DeepSeek-R1 demonstrou a habilidade de identificar e [https://decorumyorkshire.co.uk corrigir erros] em {tempo|pace} {real|genuine} durante seu processo de raciocínio. Novamente, não tinha visto isso em nenhum outro modelo. Verdade seja dita, no dia que a [https://hekai.website50000 OpenAi lançou] o modelo de US$ 200,00 por mês, eu cancelei minha conta. Ou seja, pode ser que exista e eu não tenha visto.<br><br><br>Outra coisa interessante que podemos [https://rpcomm.kr observar lendo] as iterações do modelo é que, eventualmente ele para, por um {tempo|pace} maior e, de repente descobre a resposta correta. O artigo reforça que este comportamento {surge|rise} de forma espontânea através da [https://www.jccer.com2223 interação] do modelo com o [https://lefigaro-fr.digidip.net ambiente] de {Reinforcement|Support} {Learning|Knowing}, demonstrando a [https://uniquehomes.bg sua capacidade] de melhorar a resolução de problemas de forma autônoma.<br><br><br>Finalmente, para quem gosta das técnicas de alta-performance, quando largamos as linguagens de programação e a compilação padrão e [http://proposetime.net tiramos] suco de pedra, [https://vazeefa.com tudo indica] que o ganho de {performance|efficiency} e a [https://earthbazar.ir redução] do custo estejam relacionados ao uso desenfreado do PTX.<br><br><br>O PTX ([http://wheellock.com.ar Parallel Thread] Execution) é uma representação intermediária entre [http://puntodevistamijujuy.com.ar linguagens] de alto nível, como CUDA C/C++, e o código de máquina (SASS - Shader ASSembly) [http://120.77.67.22383 executado pela] GPU. Gerado pelo compilador NVCC, ele [http://inprokorea.com permite otimizações] granulares, como ajuste de registradores e organização de threads, que não são viáveis diretamente em CUDA. Para entender, {imagine|picture|think of|envision} que o CUDA é como escrever um texto em português, o PTX é uma tradução para o inglês, próximo mas [https://voiceofbastar.com ainda não] {final|last}, e o SASS é a versão em alemão, código de máquina específico. O [https://gurkhalinks.co.uk PTX funciona] como uma 'Assembly portável', oferecendo controle detalhado sem [https://www.bubbleball.nl perder compatibilidade] entre arquiteturas de GPU. Assim, ele está muito mais próximo do Assembly do que de linguagens como Python. Se não entendeu, isso quer dizer que, dá para mexer no sistema com unhas e dentes.<br> <br><br>Questões em Aberto<br><br><br>Algumas questões estão abertas servido para [https://astonvillafansclub.com fomentar] um turbilhão de hipóteses na Xfere. Três me chamam a atenção:<br><br><br>1. Coleta de Dados: como foram curados os conjuntos de dados específicos para raciocínio? Compreender as fontes e critérios de seleção de [https://evennful.com dados é] {crucial|essential|important|vital} para replicar e melhorar o desempenho do modelo;<br><br><br>2. Treinamento do Modelo: nenhum código de treinamento foi liberado pela DeepSeek, deixando incertezas sobre quais hiperparâmetros funcionam melhor e como eles diferem entre famílias e escalas de modelos;<br><br><br>3. Leis de Escala: quais são as [https://denoterij.nl relações] entre os custos de computação e dados no treinamento de modelos de raciocínio? Precisamos conhecer estas relações para otimizar outros modelos.<br><br><br>4. Destilação: em modelos de linguagem grandes (LLMs) é uma técnica que visa transferir o conhecimento de um modelo maior e mais complexo (o "{professor|teacher}") para um modelo menor e mais eficiente (o "aluno"). É como se estivéssemos condensando a sabedoria de um especialista em um {manual|handbook} mais conciso, mas igualmente útil. Essa é uma técnica relativamente corrente no desenvolvimento de modelos LLMs. O ponto importante aqui é a profundidade desta destilação e o que será considerado justo, ou não.<br><br><br>Finalmente: todo este texto foi escrito com ferramentas de inteligência {artificial|synthetic} para busca, [http://lnx.bbincanto.it formatação] e revisão: notebookllm, deepseek, gemini, claude e qwen2.5.<br><br><br>Referências<br><br><br>1. DeepSeek-R1: [https://kidskonvoy.com Incentivizing] {Reasoning|Thinking} {Capability|Ability} in ** LLM {via|through|by means of} {Reinforcement|Support} {Learning|Knowing} **<br><br><br>- arXiv:2501.12948.<br>https://arxiv.org/abs/2501.12948<br><br><br>2. DeepSeekMath: {Pushing|Pressing} the {Limits|Limitations} of [https://schrijftolknoordnederland.nl Mathematical] {Reasoning|Thinking} in Open Language {Models|Designs}<br><br><br>- arXiv:2402.03300.<br>https://arxiv.org/abs/2402.03300<br><br><br>DeepSeek-V3 Technical Report - arXiv:2412.19437.<br>https://arxiv.org/abs/2412.19437<br><br><br>Open-R1: {a fully|a completely|a totally} open {reproduction|recreation} of DeepSeek-R1 - Hugging Face {Blog|Blog Site}.<br>https://huggingface.co/blog/open-r1<br><br><br>Proximal Policy [https://new.wacs.lu Optimization Algorithms] - arXiv:1707.06347 v2.<br>https://arxiv.org/abs/1707.06347<br><br><br>Reformer: The {Efficient|Effective} Transformer - arXiv:2001.04451 v1.<br>https://arxiv.org/abs/2001.04451<br><br><br>Group Robust {Preference|Choice} Optimization in Reward-free RLHF - arXiv:2405.20304.<br>https://arxiv.org/abs/2405.20304<br><br><br>Attention is All you {Need|Required} - arXiv:1706.03762.<br>https://arxiv.org/abs/1706.03762<br><br><br>Chain-of-Thought Prompting {Elicits|Generates} {Reasoning|Thinking} in {Large|Big} Language {Models|Designs} - arXiv:2201.11903.<br>https://arxiv.org/abs/2201.11903<br><br><br>{Large|Big} [https://softitworld.com Language] {Models|Designs} are [https://www.nagomi.asia Zero-Shot Reasoners] - arXiv:2205.11916.<br>https://arxiv.org/abs/2205.11916<br><br><br>{Secrets|Tricks} of RLHF in {Large|Big} Language {Models|Designs} Part I: PPO - arXiv:2307.04964.<br>https://arxiv.org/abs/2307.04964<br><br><br>1. isso é um problema porque a maioria dos modelos {usa|U.S.A.} [https://rosseti.eu alguma técnica] de web-crawling para [http://e-bubble.co.uk recuperar dados] da {internet|web}. Mais, ou menos, usando a ideia que deu origem ao Google. A maior parte do dado recolhido desta forma tem baixa qualidade. Eu tenho uma, ou duas ideias de como melhorar isso, respeitando todos os direitos autorais. Dada a qualidade da resposta do DeepSeek-R1, tem uma pulga atrás da minha orelha gritando. Eles se tocaram! Olha lá, caiu a ficha! [https://revistamodamoldes.com.br ↩ ↩] 2 ↩ 3<br><br><br>2. acabei de ter uma ideia que vou deixar escrita aqui só para não perder o fio: fuzzy {logic|reasoning}. ↩<br><br><br>3. eu sei que você não vai acreditar em mim. Mas, é assim que [https://gyalsung.bt você lê]. Em grupos de palavras. Aliás, todas as técnicas de leitura rápida se baseiam nisso.<br>