martes, 25 de marzo de 2008

Diapositivas de SQL Server 2008 Jumpstart

En los meses de Febrero y Marzo llevamos a cabo en la sede de Microsoft Ibérica la presentación de SQL Server 2008 de una forma un poco más técnica. Esta presentación recibió el nombre de SQL Server 2008 Jumpstart y en ella, durante dos días estuvimos enseñando a los asistentes la mayoría de las novedades que se nos vienen encima con SQL Server 2008 tanto a nivel relacional como a nivel de inteligencia de negocio.

Hemos puesto a descarga libre para cualquiera que lo desee, las diapositivas de lo que enseñamos, simplemente descargándolo de aquí:

En las diapositivas, podrás ver que se mencionan demostraciones de las características (no va a ser todo teoría, claro ;). Recuerda que al igual que acabamos de hacer con las diapositivas, hace pocos días también publicamos los vídeos de las demostraciones que acompañaban a las mismas. Simplemente te remito al post donde se liberaron: http://blogs.solidq.com/ES/ElRinconDelDBA/Lists/Posts/Post.aspx?ID=50

Si deseas conocer las novedades relativas a Inteligencia de negocio, pásate por aquí al lado en el blog de nuestro equipo de inteligencia de negocio, donde se publicaran los materiales de BI: http://blogs.solidq.com/ES/BICorner/default.aspx

domingo, 23 de marzo de 2008

Change Data Capture y el modo de recuperación BULK LOGGED

En SQL Server 2008 aparecen entre otras muchas novedades, la posibilidad de realizar monitorización de cambios de datos en tablas (a nivel de columnas si queremos). Esta tecnología se denomina Change Data Capture (sus siglas CDC) y viene a mejorar y facilitar las labores relacionadas con la LOPD, ya que nos permite de una forma cómoda y sencilla realizar un seguimiento de cambios de nuestros datos de forma automática.

Hasta la llegada de SQL Server 2008, solo teníamos la opción de realizar esto de forma manual de la siguiente manera:

  • Crear una tabla con el mismo esquema que la tabla a auditar (mismas columnas y mismos tipos de datos).
  • Crear Triggers para inserción, modificación y borrado sobre la tabla a auditar, que se encargarían de replicar los cambios sobre la tabla LOPD.

Este proceso, aparte de ser obviamente costoso puesto que requería de un proceso de codificación y mantenimiento elevado (alguien lo tenía que acabar programando), tenía un gran impacto en el rendimiento de la BBDD puesto que implicaba que cada modificación de datos desencadenaría un trigger y un INSERT en alguna tabla.

Para solucionar esta problemática aparece entonces CDC en SQL Server 2008 ya que minimiza el impacto en el sistema utilizando la infraestructura del agente de lectura del log de transacciones existente de forma que los cambios auditados aparecen de forma asíncrona en las tablas de auditoría.


El título de este post es referente a una de las preguntas que se nos realizó durante el evento de SQL Server 2008 Jumpstart en Microsoft Ibérica hace unos días. Uno de los asistentes planteó la duda de si esta infraestructura funcionaría cuando estábamos utilizando un modo de recuperación BULK LOGGED. En ese momento no pudimos responder mediante un ejemplo práctico puesto que teníamos un tiempo limitado para realizar las demostraciones, pero algún asistente comentó la posibilidad de que no funcionaria en ese escenario ya que al fin y al cabo lo que se hace es leer del log de transacciones y "en una etapa BULK LOGGED lo que se realiza mediante carga masiva no queda registrado en el log de transacciones".

Por un lado hemos de apuntar que el comportamiento de modificaciones INSERT, UPDATE y DELETE evidentemente funcionara en cualquier tipo de configuración de modo de recuperación (FULL, SIMPLE o BULK LOGGED), puesto que en todos los modos se escribe todo absolutamente en el log de transacciones (otra cosa es que se hace con esos datos escritos). La duda estaba en el modo de recuperación BULK LOGGED ante cargas masivas (BULK INSERT) puesto que en la demo se mostró el funcionamiento de CDC en un entorno configurado con modo de recuperación SIMPLE.

Antes de nada, voy a explicar cómo nos podemos beneficiar del modo de recuperación BULK-LOGGED.

Como alguien comentó, el modo de recuperación BULK-LOGGED no registra en el log de transacciones las modificaciones realizadas mediante una carga masiva…pero esto no es del todo cierto siempre, puesto que solo ocurre en determinadas condiciones.

Las condiciones que han de cumplirse para logging mínimo son:

  • La base de datos ha de estar obviamente con modo de recuperación BULK-LOGGED
  • La tabla que va a sufrir la actualización masiva no ha de estar replicada
  • Se utiliza TABLOCK (bloqueo de tabla) en la actualización masiva
  • La tabla destino ha de cumplir con los requisitos de datos e indexación de la tabla siguiente:

    Clustered Index

    Nonclustered Index

    Si

    No

    Si

    No

    TABLA

    Vacía

    Minimo

    Minimo

    Minimo

    Minimo

    Con Datos

    Completo

    Minimo

    Index

    Minimo


Dicho esto, os comento ahora que internamente CDC utiliza un "log reader agent" , al igual que sucede en replicación transaccional. Dicho de otro modo…que aunque en los Books Online no diga nada al respecto porque todavía no están completos (cuando escribo esto estamos en CTP6 todavía), seguro que aparece un punto más, diciendo que la tabla que va a sufrir la modificación masiva, no puede estar siendo auditada mediante CDC para poder tener logging mínimo ante modificaciones masivas ;)

Dicho esto, me monté el entorno de pruebas pertinente y comprobé si es cierto según lo que acabo de comentar, que CDC sí que funciona ante cargas masivas aún cuando estamos en modo de recuperación BULK-LOGGED. No es el momento de que os exponga aquí los scripts con los que lo he probado, porque en un futuro post ya se subirán los scripts del Jumpstart donde aparecerá entre otros el de CDC; pero como a veces una imagen vale más que mil palabras, aquí tenéis el screenshot que demuestra que CDC funciona con una operación bulk insert sobre una tabla auditada y una base de datos en modo de recuperación BULK LOGGED.


Lo que veis en el screenshot son los cambios en los datos ocurridos en la tabla dbo.Employee desde el principio de los tiempos (solo le hice unas pocas modificaciones ;). Lo que veis marcado en rojo con operación = 2 (INSERT) con los números LSN acabados en 7A002, 7A003 y 7A004 es el resultado de una carga masiva de 3 filas en la tabla, precisamente con los datos que veis (employeeid, lastname y firstname)

Evidentemente, que funcione CDC ante una carga masiva teniendo el modo de recuperación Bulk-logged quiere decir que no estamos ahorrándonos escrituras en el log de transacciones, por lo que tendrás que tenerlo en cuenta si sigues una política de cambios a bulk-logged para mejorar el rendimiento de algunas cargas masivas cuando las realices sobre tablas auditadas mediante CDC.

También comento que hice la misma prueba con una importación de un millón de registros pero los resultados no los pongo aquí puesto que aparece una pequeña incongruencia propia de la versión beta que es, que se sale del ámbito del post…pero probado está ;).

lunes, 25 de febrero de 2008

Windows Vista SP1

Una de las muchas mejoras que nos vienen con Windows Vista SP1 es la del soporte de 64-bits para el proveedor OLEDB de Microsoft (MSDASQL). Este, actuará como puente para una gran variedad de drivers ODBC que no funcionaban bajo arquitecturas de 64-bits.

Gracias a ello, se simplifica la migración de aplicaciones sobre plataformas de 32-bits a plataformas de 64-bits.

Podeis leer mas acerca de las mejoras incluidas en Windows Vista SP1 en el siguiente enlace.

Por cierto, se ha habilitado la descarga de la versión RTM de Windows Vista SP1 a los subscriptores MSDN (link)

lunes, 21 de enero de 2008

Doblando mi residencia ;)

Debido a mi reciente incorporación a Solid Quality Mentors , los futuros posts los realizaré tambien sobre el blog que tenemos el resto de compañeros y yo.

Podeis acceder a traves de la siguiente dirección: http://blogs.solidq.com/ES/ElRinconDelDBA/default.aspx

Un saludo y nos vemos en el otro lado (también)

miércoles, 2 de enero de 2008

Visibilidad de paquetes DTS en SQL Server 2005

Para aquellos que habeis realizado una migración a SQL Server 2005 y teníais Servicios de Transformación de Datos ( DTS ) en SQL Server 2000, Microsoft ha publicado un paquete de compatibilidad para DTS. Dicho pluggin nos permite entre otras cosas poder editar y mantener nuevos DTS desde SQL Server 2005.


Algo que nos puede ocurrir es que queramos que alguno de nuestros compañeros pueda tener acceso a dichos DTS para poder editarlos por ejemplo. Por defecto no tendremos permiso a listar los paquetes y por lo tanto tampoco podremos editarlos. Lo que hay que hacer es asignarle el permiso SELECT al objeto sysdtspackages dentro de la base de datos MSDB.


USE msdb;

GRANT
SELECT
ON
OBJECT::sysdtspackages
TO [usuario];

--REVOKE
SELECT
ON
OBJECT::dbo.sysdtspackages
TO [usuario];


Una gran pega es que este paquete no es compatible con la version de 64-bits por lo que si nuestro servidor de SQL Server utiliza Windows de 64-bits y SQL Server de 64-bits olvidate de esto :(

Para la descarga, visitar este enlace y descargar e instalar SQLServer2005_DTS.msi

miércoles, 7 de noviembre de 2007

Cálculo de letras del DNI mediante T-SQL

IMPORTANTE: Este blog ha sido migrado a https://enriquecatala.com
Subscríbete a mi canal!



Me he visto en la necesidad de obtener la letra del DNI de un conjunto grandísimo de números de DNI.
Por optimización, el DNI se almacenó en un tipo de datos INT ( sin letra ) y se puso como clave primaria, pero por cosas de la vida, he tenido que lanzar un proceso que recalcule las letras de todos los DNI, para algo que no viene al caso


Aquí va la solución:





use GUSENET

go

create table dbo.Nifs(numnif int primary key);

go

insert into dbo.Nifs(numnif) values(12569875)

go

select * from nifs



-- CALCULO DE LA LETRA

DECLARE @letras_nif as CHAR(23)
          

set @letras_nif = 'TRWAGMYFPDXBNJZSQVHLCKE'
          

;

WITH SubSelect AS(
SELECT numnif,
CONVERT(INT,
  FLOOR(
     FLOOR(
           (
            (
             CONVERT(FLOAT,numnif)/23)-FLOOR(CONVERT(FLOAT,numnif)/23)
          )*100
    )*0.23+0.5
 )+1
)AS pos_letra

FROM dbo.Nifs

)

SELECT SUBSTRING(@letras_nif, pos_letra ,1) AS letra,

       str(numnif)+'-'+SUBSTRING(@letras_nif, pos_letra ,1)
          

FROM subselect
           





























Salu2!

miércoles, 10 de octubre de 2007

Mover objetos de SQL Server a otro grupo de ficheros

Un problema típico de rendimiento de la BBDD a la que nos enfrentamos muchos es el cuello de botella que suponen los discos físicos. Imaginemos un entorno perfecto en el que todo son "index seeks", no tenemos "table scans" y encima la poca cantidad de datos y sobrada RAM, hacen que SQL Server tenga que ir pocas veces a disco para leer un dato. Pues bien, aun en esa situación que rara vez y entornos muy reducidos es posible , podemos mejorar el acceso a datos, paralelizando los accesos a disco.

Pongamonos en el caso mas simple: 2 tablas y un solo disco que además tiene un solo cabezal de lectura. Si hacemos una consulta que incluya las dos tablas (suponiendo tambien que es la primera y que no tiene datos en la caché ) , el cabezal va a tener que leer los datos de las dos tablas el solito; cuando si tuviéramos cada tabla en un disco físico distinto, cada lectura seria llevada a cabo por un cabezal diferente y evidentemente se dispondria del resultado antes.

No todos estamos en disposicion siempre de diseñar e implementar una BBDD desde 0 y distribuir las tablas en diferentes discos a sabiendas de la carga que van a tener cada una de ellas. Los cuellos de botella I/O se suele ver a posteriori cuando realizamos pruebas de carga de la aplicación y en la mayoria de casos por desgracia ya en producción.

No es el objeto de este post descubrir cuando tenemos problemas de disco, pero una vez ya las hemos dectectado, lo que hemos de analizar es como evitarlos o minimizarlos lo mejor que podamos.

Muchas veces, lo que vamos a hacer es comprar discos físicos en RAID y realizar la mejor configuración de tempdb, Grupos de ficheros y log de transacciones que podamos. Eso va a incluir en la mayoria de veces, que se creen grupos de ficheros en discos con la configuración mas óptima en RAID, para las tablas que mas sobrecarga conllevan.

Dichos grupos de ficheros van a albergar objetos, y claro el problema nos viene cuando queremos mover una tabla de un grupo de ficheros a otro. La solución es bien sencilla, pasa por utilizar la cláusula "MOVE TO" de DROP INDEX o ALTER TABLE ... DROP CONSTRAINT.

Dicha cláusula, nos va a permitir especificar donde mover una tabla en última instancia despues de borrar su índice clustered, puesto que lo que va a hacer es mover el contenido del "leaf level" del ya borrado índice al grupo de ficheros designado. Dicho "leaf level" no es ni mas ni menos que la tabla con sus datos en sí.

Tendremos que tener cuidado con el resto de índices "nonclustered" que pueda tener la tabla, puesto que estos se van a quedar en el grupo de ficheros antiguo, con lo que lo mejor si no queremos que esto sea así será borrarlos y volverlos a crear, pero esta vez bajo el grupo de ficheros que les pertenezca ( no tien porque ser el mismo donde se encuentra la tabla que acabamos de mover ).

Un ejemplo práctico de esto lo podeis ver aqui:

-- Creamos una tabla cualquiera
--

create table tablaprueba(a int not null, b varchar(2))
go
-- Le damos un nombre a la clave primaria
-- ( que va a hacer ademas por definición,
-- de indice clústered de nuestra tabla )

alter table tablaprueba
add constraint pk_tablaprueba primary key(a)
go
-- Ahora, le metemos ademas un índice no clustered,
-- para que veamos que es lo que pasa

create nonclustered index idx_tablaprueba_b on tablaprueba(b)
go
-- Le metemos unas filitas de datos...
insert into tablaprueba (a,b) values (1,'a')
go
insert into tablaprueba (a,b) values (2,'b')
go
insert into tablaprueba (a,b) values (3,'c')
go


-- Hacemos una consulta para ver que tenemos datos, obviamente
select * from tablaprueba with(nolock)
go


Ahora, podemos comprobar como tenemos la tabla creada bajo el grupo de ficheros por defecto de la BBDD en cuestión, ya que no le hemos indicado al crear la tabla bajo que grupo de ficheros la queríamos.


Lo que nos interesa ahora es mover la tabla al grupo de ficheros que previamente he creado y llamado GUSENET_1, valiéndome de la sentencia antes mencionada.


-- Y ahora lo movemos al grupo de ficheros que queramos. En este caso lo he llamado GUSENET_1, que previamente he creado ya.
alter table tablaprueba drop constraint pk_tablaprueba with(move to GUSENET_1)
/*
-- Notese que si el índice clústered no hubiera sido una clave primaria, en vez de usar
-- la sentencia alter table... tendriamos que haber utilizado DROP INDEX, con idénticos resultados, la tabla se hubiera movido al mismo sitio
DROP INDEX pk_tablaprueba
ON tablaprueba WITH ( MOVE TO GUSENET_1);
GO
*/



Una vez ejecutado esto, podemos ver que realmente nos la ha movido:


-- Una vez ya hemos movido la tabla, si volvemos a realizar la consulta, vemos que seguimos teniendo datos, pero la planificación de la consulta, al no tener índice nos hace un Table Scan
select * from tablaprueba with(nolock) where a = 2
go


-- Puesto que queremos que todo siga como estaba, le haremos el índice de nuevo y lo pondremos en el grupo de ficheros que queramos, en este ejemplo nos lo llevamos al mismo grupo de ficheros donde hemos movido la tabla
alter table tablaprueba
add constraint pk_tablaprueba primary key(a) on GUSENET_1
go

--Ahora ya podemos ver , como realiza la consulta utilizando el índice clústered.
select * from tablaprueba with(nolock) where a = 2
go