Mostrando postagens com marcador DBA. Mostrar todas as postagens
Mostrando postagens com marcador DBA. Mostrar todas as postagens

sexta-feira, 15 de janeiro de 2021

Administração do Linux para DBA's do SQL Server: Verificando I/O De Disco


      Com o lançamento do SQL Server, a Microsoft decidiu expandir o suporte do sistema operacional para servidores Linux. Nós, como administradores de banco de dados, precisamos saber o desempenho dos subsistemas de discos subjacentes. Como a maioria dos administradores do SQL Server não está acostumada a trabalhar com Linux, você pode não saber como fazer esta tarefa. Nessa dica vou mostrar algumas ferramentas que vão te ajudar.

Uma das funções de um administrador de banco de dados é garantir que o subsistema de armazenamento que suporta nossos bancos de dados esteja funcionando corretamente. Obviamente, temos as visualizações e funções de gerenciamento dinâmico de I/O, como sys.dm_io_pending_io_requests e sys.dm_io_virtual_file_stats , mas às vezes isso não é suficiente. Na verdade, estamos acostumados a olhar para contadores de desempenho relacionados ao disco em servidores em execução no Windows e até mesmo usar outras ferramentas.

Ferramentas Linux Disponíveis

Agora que o SQL Server também funciona no Linux, devemos nos familiarizar com as ferramentas existentes que nos permitirão fazer nosso trabalho exatamente como fazemos no Windows.

iostat

Este é o comando mais básico para verificar a I / O do disco e geralmente você o instalará por padrão, mas se não, poderá instalar o pacote sysstat que inclui a ferramenta iostat.

apt-get install sysstat
   

Basicamente, este comando mostra estatísticas de CPU e I / O para dispositivos e partições como dois relatórios separados, mas com os argumentos –c e –d você pode forçá-lo a exibir apenas o relatório de CPU ou de dispositivos, respectivamente. Para os fins desta dica, vou concentrar a atenção no relatório de I / O.

Como você pode ver na imagem anterior o comando mostra uma tabela com uma linha para cada dispositivo instalado e quatro colunas que nos informa sobre a Transferência por Segundo (tps), leituras e gravações por segundo expressas em kilobytes e a quantidade de kilobytes lidos e escrito.

Até agora, vimos uma imagem estática de nosso desempenho de I / O, mas este comando também nos permite mantê-lo em execução em um intervalo de tempo especificado (em segundos). Quando executamos iostat com um intervalo, ele muda seu comportamento e, para cada execução, mostra o delta de leituras e gravações da execução anterior. O comando a seguir mostra a cada quatro segundos o relatório de uso do dispositivo até que Control + C seja pressionado.

iostat –d 4
   

Na captura de tela a seguir é o resultado da execução do comando anterior.

Mas essa ferramenta já possui mais recursos. Quando iostat é executado com o parâmetro –x, ele retorna estatísticas estendidas. As estatísticas mais úteis estão nas colunas avgqu-sz, que é o comprimento médio da fila; e uma espera que se refere ao tempo gasto na fila e no atendimento a uma solicitação. Abaixo estão duas capturas de tela com a saída deste comando.


Na próxima tabela, copiei a descrição da página de manual de cada coluna das imagens.


Descrição

rrqm / s

O número de solicitações de leitura mescladas por segundo que foram enfileiradas no dispositivo.

wrqm / s

O número de solicitações de gravação mescladas por segundo que foram enfileiradas no dispositivo.

r / s

O número de solicitações de leitura emitidas para o dispositivo por segundo.

w / s

O número de solicitações de gravação emitidas para o dispositivo por segundo.

rkB / s

O número de kilobytes lidos do dispositivo por segundo.

wkB / s

O número de kilobytes gravados no dispositivo por segundo.

avgrq-sz

O tamanho médio (em setores) das solicitações que foram emitidas para o dispositivo.

avgqu-sz

O comprimento médio da fila de solicitações emitidas para o dispositivo.

await

O tempo médio (em milissegundos) para solicitações de E / S emitidas para o dispositivo a ser atendido. Isso inclui o tempo gasto pelas solicitações na fila e o tempo gasto atendendo-as.

r_await

O tempo médio (em milissegundos) para que as solicitações de leitura emitidas para o dispositivo sejam atendidas. Isso inclui o tempo gasto pelas solicitações na fila e o tempo gasto atendendo-as.

w_await

O tempo médio (em milissegundos) para que as solicitações de gravação emitidas para o dispositivo sejam atendidas. Isso inclui o tempo gasto pelas solicitações na fila e o tempo gasto atendendo-as.

svctm

O tempo médio de serviço (em milissegundos) para solicitações de E / S que foram emitidas para o dispositivo. Atenção! Não confie mais neste campo. Este campo será removido em uma versão futura do sysstat.

%util

Porcentagem de tempo de CPU durante o qual as solicitações de E / S foram emitidas para o dispositivo (utilização da largura de banda do dispositivo). A saturação do dispositivo ocorre quando este valor está próximo a 100%.

iotop

Este utilitário exibe o uso de I/O por processo ou threads em uma grade interativa que se assemelha ao utilitário htop.


Como você pode ver na imagem anterior, este utilitário mostra os threads ou processos (mostrarei como alternar entre os dois quando descrever seus argumentos). A maioria das colunas é autoexplicativa, apenas para mencionar que a coluna IO lista a I / O total para cada processo, incluindo uso de disco e troca; e SwapIn lista a atividade de troca para cada processo.

A seguir está uma tabela com os parâmetros mais usados.


Descrição

-o

Mostra apenas processos ou threads que estão realmente fazendo I / O, em vez de mostrar todos os processos ou threads. Isso pode ser alternado dinamicamente pressionando o.

-b

Ative o modo não interativo (modo em lote). Útil para registrar o uso de I / O ao longo do tempo.

-P

Mostrar apenas processos. Normalmente o iotop mostra todos os tópicos.

-a

Mostra I / O acumulada em vez de largura de banda. Nesse modo, o iotop mostra a quantidade de processos de I / O realizados desde que o iotop foi iniciado.

Mas sendo iotop um utilitário interativo, existem alguns atalhos de teclado que são úteis.



Descrição

setas esquerda e direita

Altera a coluna de classificação.

r

Inverte a ordem de classificação.

o

Mostra apenas processos ou threads que estão realmente fazendo I / O.

p

Mostre processos em vez de threads.

a

Exibir I / O acumulada em vez de largura de banda.

Eu

Altera a prioridade de um thread ou processo.

Fique ligado para mais dicas do SQL Server no Linux .

sexta-feira, 10 de março de 2017

DELETE, TRUNCATE e DROP TABLE Suas Semelhanças e Diferenças ..

Hoje gostaríamos de compartilhar sobre uma dúvida clássica de desenvolvedores e alguns DBA’s que estão começando a se aprofundar. E então, qual a diferença entre Delete, Truncate Table e Drop Table? 
Quando e qual as melhores situações que devemos usar cada um destes comandos ?
Para melhor exemplificar essas diferenças, ilustramos com a tabela abaixo:














/* Apagando a tabela "clientes" e seus dados, sua primary key, 
   as foreign keys e índices */
  DROP TABLE dbo.CLIENTES

/* Apagando todos os dados da tabela "clientes"  
   e reduzindo a fragmentação dos índices e tabelas para 0 */
  TRUNCATE TABLE dbo.CLIENTES

/* Apagando os dados de clientes que são do estado de São Paulo. 
   Neste caso, cada linha apagada será logada e a fragmentação
   dos índices e tabelas não será alterado */
  DELETE FROM dbo.CLIENTES WHERE UF = 'SP'


Considerações finais:
  • O comando DROP TABLE apaga a tabela e sua estrutura. O objeto será eliminado do banco. Esse comando não apaga apenas os dados
  • Os comandos DROP TABLE e TRUNCATE TABLE não geram logs detalhados das operações. Eles apenas gravam que o comando foi executado e as páginas afetadas. Por isso, eles ocupam pouquíssimo espaço na transaction log / redo log e são executados tão rapidamente. O lado ruim disso, é que se um dia você precisar fazer um restore imediato usando o log do banco após alguém ter feito um TRUNCATE TABLE, isso não será possível. O comando DELETE, log cada linha que foi deletada, gerando uma quantidade de registros de log muito grande (Devido à cláusula WHERE), dependendo do tamanho da tabela. Isso permite que você possa realizar um restore imediato após alguém ter realizado um DELETE errado, mas pode estourar sua transaction log / redo log se estiver apagando uma quantidade de registros muito grande
  • O comando TRUNCATE TABLE apaga TODOS os registros de uma tabela. Além disso, ele reinicia o auto incremento (se houver), reduz a fragmentação da tabela e índices para 0, quase não gera log e é executado rapidamente no banco, mesmo com tabelas muito grandes. Para rotinas onde todos os dados são apagados e gerados novamente a cada execução, é a solução mais recomendada
  • Uma vez que o TRUNCATE simplesmente exclui todas as páginas e extensões de uma tabela, não seria possível validar se algum desses registros é referenciado por alguma tabela filha. O DELETE loga linha a linha e caso não haja violação de integridade referencial é possível utilizá-lo mesmo em tabelas referenciadas. A opção CASCADE é capaz de propagar as atualizações para o DELETE, mas não para o TRUNCATE uma vez que esse comando não mantém a relação de linhas afetadas e não é portanto capaz de propagar seus efeitos
  • No Oracle Database, existe uma trigger que é disparada no evento “AFTER TRUNCATE ON Database”, que pode ser utilizada após algum comando de TRUNCATE, para logar qual o usuário que executou o comando, por exemplo. Mas não existe trigger específica para antes da execução do comando. Isso pode ser criado utilizando uma trigger que é disparada no evento “BEFORE DDL ON Database”, mas não é uma solução “oficial”
  • As views indexadas materializam dados de uma tabela ou de várias tabelas combinadas. Se o TRUNCATE fosse executado em uma tabela participante, a view indexada simplesmente ficaria inválida, pois os comandos de exclusão individuais não seriam logados e uma falha não permitiria que o banco se recuperasse (não haveria tracking das alterações) para refazer o índice da view
  • Por se tratarem de operações diferentes (DML x DDL), os privilégios exigidos para execução do comando DELETE é diferente dos necessários para DROP TABLE e TRUNCATE TABLE
  • Os comandos DROP TABLE e TRUNCATE são praticamente idênticos em todas as comparações. A única diferença entre ambos, é que o DROP TABLE apaga os objetos e metadados do banco, enquanto o TRUNCATE TABLE apenas deixa a tabela vazia (sem registros)


terça-feira, 24 de maio de 2016

Monitoring - Notificação em casos de restart do servidor SQL SERVER

bom dia pessoal, desculpem pelo intervalo de postagem devido aproblemas profissionais,
entretando agora teremos um pouco a mais de tempo para blog e duvida dos usuarios.

Tempos gostaria de demonstrar como criar uma notificação de quando a sua instância (serviço)
for reiniciada ou acontecer um faillover (falha); um assunto crítico bem especulado, e porem longo.

Quando administramos muitas instâncias, pode ocorrer alguns eventos como um restart de uma instância ou um faillover e acabar passando despercebido pelos admins, e derrubando todos os acessos momentaneamente, por isso, toda vez que ocorre um destes eventos inexperados criaremos uma notificação por email para posteriormente analisar o que realmente ocorreu;

GO
SELECT servicename, startup_type_desc, status_desc, last_startup_time
FROM sys.dm_server_services

Esta notificação do evento será executada atraves de um job que é executado toda vez em que o SQL agent for iniciado (reiniciado), enviaremos um e-mail notificando que houve um evento no services, identificando qual a instância foi reiniciada.

-- inicio script 
DECLARE
    @msg NVARCHAR(MAX),
    @instancia VARCHAR(100),
    @assunto VARCHAR(100);

SELECT
       @instancia = @@SERVERNAME;
SET @assunto = 'A instancia ' + @instancia + ' Foi reiniciada';
SET @msg = '<p> ' + @instancia + ' A Instancia foi reniciada.</p>';

SET @msg = @msg + '<table border="2" cellspacing="2" cellpadding="2">';

SET @msg = @msg + '<tbody align="left" style="font-family:Arial; font-size: 11;" 
                   <TR><TH>Service Name</TH><TH>Startup Type</TH><TH>Status</TH>
                   <TH>Startup Time</TH></TR></tbody>';

SELECT
    @msg = @msg + '<tbody align="left" style="font-family:Arial;
                    font-size: 11;" <TR><TD>' + servicename + '</TD><TD>' 
          + startup_type_desc + '</TD><TD>' + status_desc 
                   + '</TD><TD>'+ CAST(last_startup_time AS VARCHAR(30))
                   + '</TD></TR></tbody>'
FROM
    sys.dm_server_services;
EXEC 
    msdb.dbo.sp_send_dbmail
    @profile_name = 'MSSQLSERVER',  
    @recipients = 'email_destino@email.com',
    @subject = @assunto, 
    @body = @msg, 

    @body_format = 'HTML';

-- fim script

Para criar o job basta expandir o SQL agent, e na guia steps colamos o script acima; Na guia schedules optamos por  “Start automatically when SQL Server Agent starts”

















Feito, quando ocorrer algum restart receberemos um e-mail (semelhante a este)
no destinario configurado e seus respectivos database;











Para criar um notificação em caso de failover, é um procedimento um pouco diferente,
consideramos mais complexo para isso precisamos de um futuro topico detalhando cada passo;

acompanhem o blog na proxima semana o script para monitoramento de failover;
Duvidas, problemas, e melhorias no email particular gudamatto@gmail.com

Grande abraços, sucesso ;)


Para criar este monitoramento usamos a sys.dm_server_services, 
para mais informações complemente a leitura em (https://msdn.microsoft.com/pt-br/library/hh204542%28v=sql.120%29.aspx)

quinta-feira, 7 de abril de 2016

SGBD's Mais usados do mercado ..

Fala pessoal recentemente alguém deu um retweeter de um raking mensal que compartilha a popularidade dos SGBDs existentes no mercado.
Mercado este que se mantem estável e podemos considerar cada posicionamento ja bem definidos a um bom tempo. Uma grande surpresa foi notar o banco MySQL como segundo colocado e o DB2 aparecer somente em sexto colocado. Firebird e Azure SQL Database apesar de apresentar grande especulações no mercado nem posicionam as Dez primeiras posições do ranking, surgem lá em vigésimo sétimo (27), e vigésimo oitavo(28) respectivamente. 

atualizado de Abril de 2016:

RankDBMSDatabase ModelScore
Apr
2016
Mar
2016
Apr
2015
Apr
2016
Mar
2016
Apr
2015
1.1.1.Oracle            Relational DBMS1467.53-4.48+21.40
2.2.2.MySQL            Relational DBMS1370.11+22.39+85.53
3.3.3.SQL Server      Relational DBMS1135.05-1.45-14.07
4.4.4.MongoDB        Document store 312.44+7.11+33.85
5.5.5.PostgreSQL      Relational DBMS303.73+4.10+35.41
6.6.6.DB2               Relational DBMS184.08-3.85-13.56
7.7.7.Microsoft AccesRelational DBMS131.97-3.06-10.22
8.8.8.Cassandra       Wide column      129.67-0.66+24.78
9.9. 10.Redis              Key-value store  111.24+5.02+16.69
10.10. 9.SQLite            Relational DBMS 107.96+2.19+5.67

27.27. 26.Firebird                  Relational 20.10-0.78-1.24
28. 30.28.Microsoft Azure SQL Relational 19.24-0.23+3.54

Link para o site oficial: DB-ENGINES
método do cálculo se baseia em:
  • Número de menções em WebSites (exemplo nosso blog!).
  • Buscas no Google e Bing.
  • Discussões técnicas sobre o SGBD em sites e Fórums.
  • Número de vagas oferecidas onde o SGBD é mencionado.
  • Número de profissionais que mencionam o SGBD em seus profiles.

achamos interessante compartilhar essas noções do mercado com vocês $$
Grande abraços sucesso.