La vieja guardia es una amplia lista de implementaciones de bases relacionales que utilizan SQL para la definición y consulta de los datos. Estas implementaciones del modelo relacional de Codd han monopolizado el mercado de las bases de datos desde 1970.  40 y tantos anios de hegemonía lo hacen hoy el standard de base de datos mas aceptado, utilizado y probado del mundo.

Pero la tecnología cambia, y hoy las redes y los servicios en la nube imponen nuevos desafíos, y nuevas tecnologías comienzan a demostrar que la vieja guardia no puede adaptarse.

Los nuevos desafios son:

Escalabilidad lineal

Se entiende por escalabilidad a la habilidad de una aplicación de crecer para satisfacer la demanda, sin cambiar el codigo cumpliendo con los parámetros de aceptabilidad del usuario. Una vez de acuerdo en el significado de escalabilidad, decimos que la escalabilidad lineal es la capacidad de crecer tanto como se necesite a un precio fijo por unidad de capacidad de procesamiento adicional.

Escalabilidad elástica

Si ser escalable significa solo crecer para adaptarse a la demanda, ser elástico implica también reducirse. Puede parecer algo trivial pero un sistema que escala no siempre logra reducirse y disminuir su costo de mantenimiento ante una baja en la demanda. En resumen se trata de la capacidad de un sistema de adaptarse a la demanda variable.

Llevar a la practica este concepto necesita mucho mas que la elección correcta de una base datos. Implica que la arquitectura del sistema sea acorde, pero no es el punto de este articulo. Para mas info leer The Scalability Revolution: From Dead End to Open Road .

Tolerante a fallos

Es la capacidad de una base de seguir funcionando (proporcionando acceso r/w a los datos) a pesar de que uno de sus nodos/instancias haya dejado de funcionar. Normalmente esto se resuelve con replicacion pero en los sistemas de base de datos de la vieja guardia esto requiere algun tipo de centralización y por consiguiente genera a la larga un SPOF (Single Point of Failure).

Descentralizada

Que cada nodo en el cluster sea idéntico y no exista un SPOF o cuello de botella de red.

Bemoles

Todas estas cualidades no existen si no se hacen algunas concesiones. Existe un principio o un teorema sobre computacion distribuido conocido como CAP. Que dice que es imposible para un sistema distribuido garantizar que estas tres cualidades se cumplan al mismo tiempo:

1. Consistencia: todos los nodos ven la misma información todo el tiempo.
2. Disponibilidad: todos los requests tienen una respuesta siempre.
3. Tolerante a partición: el sistema continua operando a pesar de perdida de datos.

El teorema dice que solo dos de estas cualidades, a la vez, puede ser satisfechas por el sistema, pero no las tres. En la mayoría de los casos 2 y 3 son garantizadas por las bases NoSQL,  y la 1 es algo que pasa a ser una responsabilidad de la aplicación.

Otra complicación a tener en cuenta es que al ser key-value, sobre todo en las distribuidas, tareas como paginar, buscar o sumarizar  que pueden parecer triviales en en los clásicos SQL, son un verdadero dolor de cabeza en las NoSQL. Lo cual es natural si tenemos en cuenta que los objetos se encuentran replicados en los nodos que componen el cluster. Riak por ejemplo ha incorporando en su versión 1.0 un motor de full-text search Raik Search pero a la hora de una simple paginacion tenemos que recurrir a estructuras complejas que nos permitan simularlo.

Bases de datos NoSQL

Esta una lista de las mas importantes. De las cuales he trabajado con Redis, RavenDB y Riak:

• HBase
• MongoDB
• Riak
• Voldemort
• Neo4J
• Cassandra
• Hypertable
• HyperGraphDB
• Memcached
• Redis
• CouchDB
• RavenDB

Un paseo por alguna de ellas

RavenDB

Base datos key-value codificada en C#. La misma provee soporte de:

• Map Reduce
• Indexing
• Full-text search
• Replication (master-slave ok, master-master aun no lo he probado)
• Key expiration
• Transactions
• Slice queries (facil de paginar)
• Silverlight/HTML  Administration Console.

Redis

Luego de mi paso por RavenDB, Redis me dio muchas mas satisfacciones pero trajo sus problemas. Hay que reconocer que es realmente veloz pero esta mas cerca de una cache “distribuida” con opción a persistencia que de una base de datos.

Hay que pensar a Redis como una cache con opcion a persistencia y que provee una serie de estructuras de datos sobre el formato key-value como:

• Hashes
• Lists
• Sets
• Sorted Sets
• Pub/Sub
• Transactions

Riak

Actualmente me encuentro probando Riak con un cliente NodeJS llamado riak-js. Riak es una base inspirada en Dynamo y que provee una verdadera arquitectura distribuida. Y lo que es mas importante permite escalabilidad elastica ya que proporciona comandos para atachar nodos al cluster y removerlos sin perdida de datos.

También proporciona Map Reduce e Indices Secundarios y Links (feature muy interesante).  Pero como contra no podemos hacer query slices (escensiales en la paginacion) y ordenamientos. Cada query retorna los datos en un orden diferente ya que depende de como los entreguen los nodos. Link walking y Secondary Indexes son features muy interesantes para tener en cuenta.

En conclusión Riak promete ser escalable linealmente y elástica voy a seguir trabajando con Riak, para entender mejor como resolver problemas básicos como un query slice.

Cassandra

Pronto. Durante el próximo mes me he propuesto instalar y probar esta base de datos que promete, dado su amplia utilización, ser muy completa.

http://www.elasticvapor.com/

http://www.spotcloud.com/

The Scalability Revolution: From Dead End to Open Road 
An SBA Concept Paper
By Nati Shalom, CTO  |  February 2007

Los frameworks que aprovechan todas las facilidades de HTML5 + CSS3 + JavaScript compiten con aplicaciones nativas en algunos casos mano a mano. Hoy  en dia claramente si buscamos fluides en el UI, velocidad de procesamiento, acceso a  recursos de hardware no podes escapar a utilizar codigo nativo de la plataforma. Pero donde esta necesidad no prima encontramos mayores facilidades en un entorno HTML5.

Ese es el hoy, pero el futuro plantea un escenario en donde las ventajas del codigo nativo no seran tales y las GUI seran tan fluidas en HTML5 como lo son las nativas.

Hoy hay que entender que las plataformas que permiten la utilizacion de HTML5 frameworks son aquellas que poseen navegadores basados en webkit y no son muchas pero si las mas importantes:

• Apple Safari en su linea Mac OSX, iPad,  iPhone, iPod Touch.
• Android
• Chrome
• etc.

 ”In a post to the Building Windows 8 blog, Internet Explorer development chief Dean Hachamovich made clear the IE 10 browser in Windows 8 will not support plug-ins. That means that neither flash nor Silverlight will run in IE (though other apps, including other browsers, may support the Flash and Silverlight players.) Instead, Microsoft will follow Apple’s lead and rely on native HTML 5 for rich web applications and media play.”

Estos aportes son:

• Aptana4Titanium (+syntax highlighting y +intellisense)
• Scite4Titanium (+syntax highlighting y +intellisense)
• NotePad++4Titanium (+syntax highlighting y +intellisense)

sudo /Developer/Library/uninstall-devtools -mode=all

Esto toma su tiempo, una vez terminado si deseamos reinstalar Xcode y el iOS SDK perimero hay que reiniciar Mac OSX.

Segun la version oficial:

Titanium es un Open Source Framework, para construir aplicaciones Desktop y Mobile nativas utilizando tecnologias web abiertas como JavaScript, HTML5 y CSS.

Titanium permite desarrollar sobre una API JavaScript y portar el proyecto fácilmente a iPhone, iPad, Android y en poco tiempo BlackBerry. Sin duda a simple vista suena excelente pero como todo tiene sus bemoles.

Algunos contra que podemos encontrar son:

• Lack de documentacion
• Lack de IDE
• Lack de Debugger
• No convierte el codigo JS a nativo. Sino que es solo precompilado y ejecutado en un runtime JS que hace un mapeo directo a las funciones nativas del OS.
• Los controles no se comportan 100% igual de una plataforma a otra, pequeñas diferencias de render.

Algunos puntos a favor pueden ser:

• Open Source. apache 2.0 License
• Comunidad en constante crecimiento
• Baja curva de induccion para desarrolladores que tengan conocimiento en JavaScript y HTML/CSS
• Compatibilidad con iPad, iPhone, Andriod, y pronto BlackBerry en beta
• Extensible, por medio de Titanium+Plus Modules
• Acceso a la comunidad Open Source JavaScript
• Las aplicaciones corren de manera fluida como cualquier otra nativa
• Reduce los costos de desarrollo

En realidad no se trata de un compilador Cross-plataforma sino de un runtime que ejecuta linea por linea nuestro JavaScript que ejecuta nuestro código y provee de un puente común para ejecutar codigo nativas de cada OS Mobile. Lo positivo es que permite utilizar HTML5 y CSS e insertar con una baja curva de inducción desarrolladores web a la plataforma Mobile.

Toda nuestra aplicación puede ser desarrollada en JavaScript y HTML5/CSS, pero como en todos los frameworks de este estilo el gran problema se plantea cuando se requiere alguna funcionalidad o control out of the box.

Dado que provee un puente que permite ejecutar código nativo por detrás, si deseamos un control especifico que solo puede ser implementado en código nativo Objective-C o Android, debemos utilizar lo que ellos denominan desarrollo de Titanium+Plus Modules que son extensiones para poder invocar código nativo propio.

En el caso de que necesiten saber mas sobre Titanium+Plus Modules para iPhone sigan el link. Luego de buscar, encontre una guia para Andriod en Titanium+Plus Modules para Android.

Un buen punto de entrada es comenzar leyendo las Started Guides. Si aun no tenemos la plataforma instalada hay buena informacion de como hacerlo en Mac, Windows y Linux en Get Started. Luego Titanium provee otros puntos de encuentro para la comunidad como un el blog Appcelerant, twiter, irc, etc. Por mi parte lo que más me ayudo a tirar algo de codigo en esta plataforma fueron las Programming Guides.

Mi sugerencia es hacer la instalacion directamente en Mac OSX donde podremos ver el potencial real de Titanium al poder ver nuestra aplicacion corriendo en iPhone y Andriod al mismo tiempo.

Si quieren agregarle al ambiente Titanium un IDE con un minimo de auto completar visiten Appcelerator + Aptana + Intellisense.

Plataforma

Nuestra aplicacion sera desarrollada principalmente en JavaScript, utilizando la API que Titanium provee en comun para las plataformas mobiles. Titanium precompila el JS y lo empaqueta junto con un runtime y las  clases nativas iPhone o Andriod.

El runtime  ejecutara nuestro codigo linea por linea y cada invocacion JS a la API de Titanium deriva en una llamada a codigo nativo.

Teniendo una vision simplicada de este framework, diria que es como tener macros de alto nivel JS que terminan invocando por detras codigo de nativo. Hay que tener en claro que el compilador de titanium precompila el JS para una ejecucion rapida y empaqueta el proyecto, pero NO convierte nuestro codigo en codigo nativo al momento de la compilacion, esto solo sucede durante la ejecucion y por medio del bridge.

Continuara…

Usuarios avanzados

Dado la demora en algunos releases de Titanium SDK 1.5.0, estoy comenzando a probar las “continuous builds” estas se pueden conseguir en http://builds.appcelerator.com.s3.amazonaws.com/index.html.

Para poder utilizar las nuevas funciones de +Plus Modules for Andriod necesitamos el Titanium Mobile SDK 1.5 el cual solo puede ser encontrado entre las continouos builds. Esta version se encuentra actualmente en QA y esperamos un release para este mes o diciembre.

Appcelerator Issue Tracker, podemos dejar nuestros issues registrados y seguirlos en https://appcelerator.lighthouseapp.com/dashboard

Este post solo extiende el video de James, para que incluya todos los pasos.

Esta es la solución:

1. Instalar Aptana: si ya tenemos Eclipse es posible hacerlo como plug-in o a mi gusto mas limpio descargar el Aptana Studio 2.0, la instalación es rápida y sin complicaciones, solo pesa 95 mb.
2. Asociar archivos JavaScript .js con el Editor Aptana.
3. Agregar timobile.js como referencia.

Si quieren información mas detallada sobre como generar el archivo timobile.js visiten el blog: James David.

IDE

En el campo de IDEs y editores de código gratuitos PyDEV (http://pydev.sourceforge.net/) se alza como cabeza de serie. PyDEV es un plu-gin para Eclipse que permite utilizar este IDE multiplataforma para programar en Python. Cuenta con autocompletado de código (con información sobre cada elemento), resaltado de sintaxis, un depurador gráfico, resaltado de errores, explorador de clases, formateo del código,
refactorización, etc. Sin duda es la opción más completa, sobre todo si instalamos las extensiones comerciales, aunque necesita de una canti-dad importante de memoria y no es del todo estable.
Otras opciones gratuitas a considerar son SPE o Stani’s Python Editor (http://sourceforge.net/projects/spe/), Eric (http://die-offenbachs.de/eric/), BOA Constructor (http://boa-constructor.sourceforge.net/) o incluso
emacs o vim.

Si no te importa desembolsar algo de dinero, Komodo (http://www.activestate.com/komodo_ide/) y Wing IDE (http://www.wingware.com/) son también muy buenas opciones, con montones de características interesantes, como PyDEV, pero mucho más estables y robustos. Además, si desarrollas software libre no comercial puedes contactar con Wing Ware y obtener, con un poco de suerte, una licencia gratuita para Wing IDE Professional.

Fuente “Python para todos” de Raul Gonzalez Duque.
http://mundogeek.net/tutorial-python/

Por mi lado, tomando la sugerencia de nuestro amigo Raul,  y dado que estoy familiarizado con Eclipse, creo que la mejor eleccion es PyDEV.

Instalacion de PyDEV

Linux – Ubuntu, en el caso de que tengan Ubuntu 8.04 esto es muy facil. Utilizando Synaptic Packet Manager, pueden descargar el paquete pyDev y automaticamente se instalara el IDE Eclipse y el SDK de Eclipse con todas las dependencias y plugins necesarios para pyDev. O desde consola:

sudo aptitude install eclipse-pydev

En cuanto al interprete, en el caso de Ubuntu 8.04 creo que viene por defecto. De no ser asi lo bajan de la misma manera:

sudo aptitude install python2.5

Para otras formas de instalacion pueden ir a http://begnu.wordpress.com/2007/09/26/pydev-python-eclipse/

Introduccion

Cuando trabajamos con imagenes, sobre todo con documentos digitalizados, una de las distorciones habituales es la rotacion.

En el caso de los las imagenes que contienen texto impreso o figuras rectas (subrayado, cuadros, renglones, etc.) que permitan detectar el grado de inclinacion, es posible rectificar la misma utilizando algunos algoritmos de procesamiento de imagenes y deteccion de patrones.

Lo primero que deberiamos hacer es encontrar patrones de puntos colineales. Para esto podemos utilizar un algoritmo llamado Hough Transformation.

Hough transformation

A grandes rasgos este algoritmo detecta patrones de puntos colineales, co-circulares, o co-elipticos. En este caso en particular vamos a utilizarlo para detectar lineas.

Como pueden ver este algoritmo convierte un bitmap en un houghmap, un houghmap tiene al igual que el bitmap dos dimensiones. Una de las dimensiones es el angulo de la recta y la otra la distancia al origen.

Mi intencion no es explicar el algoritmo, para ampliar sobre este tema visiten wikipedia http://en.wikipedia.org/wiki/Hough_transform o lean cualquier libro sobre Computer Vision como por ejemplo “Hanbook of Computer Algorithms in Image Algebra”, 2nd Edition by Gerhard, Ritter.

Para tener una idea de que hace una transformacion de Hough, veamos la siguiente imagen:

Luego de aplicar una transformacion de Hough y el houghmap queda de la siguiente manera:

Cada punto en el houghmap representa el angulo de una recta  y su distancia al centro. Se pueden ver que hay dos maximo en la parte superior de la imagen y otros tantos cerca de la mitad. Cada maximo corresponde a una posible recta de la imagen original, en la siguiente figura se puede ver como se representa cada una:

Si quisieramos regresar esta imagen a la horizontalidad deberiamos tomar como referencia las lineas que provienen del texto y las dos rectas paralelas a este que se encuentran a la misma altura, es decir en el mismo angulo por ser paralelas.

Para entender mejor como se calcula el algulo de cada recta veamos el siguiente grafico de referencia:

La recta inferior se traslada con una linea perpendicular a la misma que pasa por origen y luego se mide el angulo que esta forma con el eje X. La distancia al centro se calcula sobre la recta punteada.  Es decir que si podemos calcular Tita podemos rotar la imagen 90 – tita grados (horario) para que la misma quede horizontal.

El problema con esta transformada es que tiene mucho costo computacional debido a que por cada punto calcula las N rectas posibles que pasan, cuando en realidad solo nos interesa una fraccion de las mismas y solo una parte de los puntos.

Optimizacion de Hough para Deskew

Es posible reducir mucho el tiempo de ejecucion restringiendo el angulo y los puntos admitidos bajo los siguientes criterios.

Criterio de seleccion de puntos

No todos lo puntos a la hora de hacer un Deskew son importantes, debemos utilizar solo aquellos que conforman la frontera inferior de las letras y no los que estan dentro o arriba de las mas mismas. En la siguiente imagen vemos que utilizando los pixeles inferiores podemos reducir enormemente el ruido en el mapa de hough dado que transformamos solo los puntos importantes:

De esta manera se optienen lineas mas nitidas y maximas mas claras en el mapa de hough. Para hacer esto antes de hacer la transformacion de un punto preguntamos si es opaco y si ademas el punto justo por debajo de este es nitidamente mas claro, si esto se cumple se procede a hacer la transformacion.

Seleccion de angulo

Como por lo general una imagen distorcionada por rotacion no suele estarlo por angulos superiores a 20 grados, podemos descartar del mapa hough angulos superiores a 20 e inferiores a -20 grados y el mapa se reduce de la siguiente manera:

El houghmap se reduce a casi 1/5 de su dimension en Y (angulo tita). Se ve claramente en esta imagen como esos dos puntos maximos (correspondientes a las dos lineas verticales) en la parte superior desaparecen.

En esta imagen podemos ver como queda un houghmap luego de realizar estas mejoras.

El mapa tiene menos ruido y los maximos son mas claros, se ha reducido notablemente  la cantidad de lineas incluidas en esta transformacion. Permitiendo una estimacion mas exacta del angulo de skew.

Una vez efectuada la transformacion promediamos los titas de estas rectas y rotamos la imagen segun este promedio.

Solucion propuesta

Para implementar estas mejoras he utilizado la libreria AForge de Adrew Kirillov. Que ya trae una clase para Hough Line Transformation la cual utilice como base para introducir estas mejoras. La nueva clase se llamada FastDeskew y realiza un Auto Deskew.

Introduccion

Una manera rapida de proporcionar aplicaciones en multiples idiomas en C# es utilizar Culture y Embedded Resources.  Pero aun mas facil con MultilingualForm y MultilingualUserControl.

Es posible crear archivos .resx que contengan las definiciones para cada idioma y el neutral. Luego ResourceManager permite acceder a las entradas de un recurso para una determinada cultura de la siguiente manera:

CultureInfo ci = Thread.CurrentThread.CurrentCulture;
Assembly ass = Assembly.GetExecutingAssembly();
ResourceManager rm = new ResourceManager(this.GetType().Namespace, ass);
string res = rm.GetString("tt_hello", ci);

Que hace ResourceManager

ResourceManager recupera el recurso indicando el Assembly ass (donde fue embebido) y un string que representa el namespace + el nombre del recurso. Aqui es importante tener en cuenta que existe una convencion respecto al nombre del recurso a fin de permitirle a ResourceManager ubicar el recurso adecuado a la cultura que se utiliza en string res = rm.GetString(“tt_hello”, ci);

Internamente ResourceManager en cada invocacion de GetString llama a una funcion privada:

protected virtual string GetResourceFileName (CultureInfo culture)

Esta funcion le proporciona entonces en base a la cultura enviada como parametro en GetString, el nombre/ruta correcto del recurso almacenado en el assembly, con esto obtiene el recurso llamando a Assembly.GetManifestResourceStream(filename) y luego extrae el ResourceSet, necesario para buscar el valor “tt_hello”.

Para comprender mejor que hace esta clase y la forma en que gestiona los recursos pueden ver el codigo fuente Ximian para Mono en htp://www.koders.com/csharp/fid91F04E676D783C1D0FBADB4F18E62EB002099753.aspx

Por ejemplo veamos para una la siguiente aplicacion llamada Multilingual como gestionar los recursos:

En el caso de este proyecto se agregaron tres archivos de recursos. Como se puede ver el nombre Res.en-US.resx es requerido para identificar que es un recurso para la cultura en-US. Es necesario tambien definir otro recurso llamado Res.resx que será luego el recurso correspondiente al lenguaje neutro.

Entonces para recalcar, un recurso debe tener un nombre que corresponda con el sisguiente esquema: aaaa.xx-XX.resx, siendo aaaa un nombre cualquiera, en este caso Res, y xx-XX la cultura a la cual responde el recurso.

Es importante destacar que ResourceManager carga un recurso especificamente del basename indicado y del assembly apuntado. Es decir si en Multilingual ejecuto la siguiente instruccion:

Assembly ass = Assembly.GetExecutingAssembly();
ResourceManagerrm = newResourceManager(“Multilingual.TestForm.Res”, ass);

ResourceManager carga el recurso en la ruta “Multilingual.TestForm.Res” e ignora los que se encuentran en “Multilingual.Res”. Es decir que si utilizamos una arquitectura de plug-ins podemos incluir recursos dentro de la DLL de nuestro plug-in y de esta manera llevar un diccionario indipendiente de ser requerido.

Entonces una vez inicializado ResourceManager para poder traducir cada control de un Form o UserControl se debe tener en el metodo OnLoad todas las llamadas GetStrings necesarios para asignarles los valores extraidos de los recursos:

btn_hello.Text = rm.GetString(“tt_hello”, ci);

Esto resulta engorroso en formularios extensos y con profundidad.

Como hacerlo mas facil

Bien si tubieramos un par de clases que heredan de UserControl o de Form que obtenga en OnLoad el CultureInfo actual, luego recorra recursivamente el arbol completo de controles hijos que posee, identificando aquellos que tengan declarada la propiedad string Text, que verifique sea != String.Empty. y busque en el recurso cual es el valor para esa entrada de texto y cambiarlo si existiese.

Incluso porque no… manejar tanto recursos especificos del dominio como los superiores, dado el caso de que una definicion no exista en el local que la busque en  los del nivel superior.

Bueno esto es lo que hace la clase MultilingualForm y MultilingualUserControl. Las hice para no preocuparme por esta funcionoladidad y solo poner en tiempo de diseño los textos correctos en cada control por ejemplo:

Cada control traducido por el metodo DoTranslate será referenciado en una HashTable que lleva el control de los Text originales y de esta manera permite la traduccion inmediata sin necesidad de reinicializar los controles (para que recuperen sus textos anteriores).

Como pueden ver en el ejemplo solo se requiere llamar a DoTranslate para que todos los controles adopten los textos definidos en el recurso para la cultura seleccionada.

Un Form que hereda de MultilingualForm no necesita codigo extra para manejar la traduccion de sus controles.

Aquí se puede ver como MultilingualForm o MultilingualUserControl recorre el arbol de controles identificando controles candidatos:

   1: private void TranslateControls(Control pc)

   2: {

   3:     if (this.resourceManager != null)

   4:     {

   5:         foreach (Control c in pc.Controls)

   6:         {

   7:             if (HasTextProperty(c))

   8:             {

   9:                 if (c.Text != "")

  10:                 {

  11:                     if (transTable.Contains(c))

  12:                     {

  13:                         if (this.resourceManager.GetString((string)transTable[c], Culture) != String.Empty)

  14:                         {

  15:                             c.Text = this.resourceManager.GetString((string)transTable[c], Culture);

  16:                         }

  17:                     }

  18:                     else

  19:                     {

  20:                         if (this.resourceManager.GetString(c.Text, Culture) != String.Empty)

  21:                         {

  22:                             transTable.Add(c, c.Text);

  23:                             c.Text = this.resourceManager.GetString(c.Text, Culture);

  24:                         }

  25:                     }

  26:                 }

  27:             }

  28:             if (c.Controls.Count > 0) TranslateControls(c);

  29:         }

  30:     }

  31: }

A tener en cuenta

Siempre utilizar recursos nombrado: Res.xx-XX.resx donde xx-XX es la cultura.

Download demo

Multilingual

Saludos,
Alejandro