Capítulo 11. Conversão de dados

	Dica
	iconv(1) é disponibilizado como parte do pacote libc6 e está sempre disponível em praticamente todos os sistemas tipo Unix para converter a codificação de caracteres.

Pode converter a codificação de um ficheiro de texto com o iconv(1) com o seguinte.

$ iconv -f encoding1 -t encoding2 input.txt >output.txt

Os valores de codificação são sensíveis a maiúsculas/minúsculas e ignoram "-" e "_" para correspondência. As codificações suportadas podem ser verificadas pelo comando "iconv -l".

	Nota
	Algumas codificações são apenas suportadas para conversão de dados e não são usados como valores do regionais (Secção 8.1, “O locale”).

Para os conjuntos de caracteres que cabem num byte único como os conjuntos de caracteres ASCII e ISO-8859, a codificação de caracteres significa quase o mesmo que o conjunto de caracteres.

Para conjuntos de caracteres com muitos caracteres como o JIS X 0213 para Japonês ou Universal Character Set (UCS, Unicode, ISO-10646-1) para praticamente todas as linguagens, existem muitos esquemas de codificação para os pôr na sequência dos dados do byte.

Para estes, existem diferenciações claras entre o conjunto de caracteres e a codificação de caracteres.

A página de código é usada como o sinónimo para as tabelas de codificação de caracteres para alguns específicos de marcas.

Nota

Por favor note que a maioria dos sistemas de codificação partilham o mesmo código com o ASCII para caracteres de 7 bits. Mas há algumas exceções. Se está a converter programas C antigos Japoneses e dados de URLs a partir do casualmente chamado formato de codificação shift-JIS no formato UTF-8, use "CP932" como o nome de codificação em vez de "shift-JIS" para obter os resultados esperados: 0x5C → "\" e 0x7E → "~". Caso contrário, estes são convertidos para caracteres errados.

	Dica
	O recode(1) também pode ser usado e oferece mais do que as funcionalidades combinadas do iconv(1), fromdos(1), todos(1), frommac(1) e tomac(1). Para mais, veja "info recode".

#!/bin/sh
ENCDN=iso-8859-1
for x in *;
 do
 mv "$x" "$(echo "$x" | iconv -f $ENCDN -t utf-8)"
done

A variável "$ENCDN" especifica a codificação original usada para nomes de ficheiros sob SOs mais antigos em Tabela 11.2, “Lista de valores de codificação e a utilização deles”.

Para um caso mais complicado, por favor monte um sistema de ficheiros (ex. uma partição de uma unidade de disco) que contenha tais nomes de ficheiros com a codificação apropriada como opção do mount(8) (veja Secção 8.1.3, “Codificação de nomes de ficheiros”) e copie o conteúdo dele inteiro para outro sistema de ficheiros montado como UTF-8 com o comando "cp -a".

$ vim u-file.txt

$ vim '+e ++enc=latin2 pu-file.txt'

$ vim '+e ++enc=eucJP ju-file.txt'

$ vim '+e ++enc=CP932 ++ff=dos jw-file.txt'

Por favor consulte o mbyte.txt "suporte a texto multi-byte" na ajuda on-line do vim e Tabela 11.2, “Lista de valores de codificação e a utilização deles” para os valores de locale usados com "++enc".

A família de programas emacs pode executar as funções equivalentes.

O texto em XML parece-se com HTML. Permite-nos gerir múltiplos formatos de saída de um documento. Um sistema XML fácil é o pacote docbook-xsl, o qual é usado aqui.

Cada ficheiro XML começa com a declaração XML standard como o seguinte.

<?xml version="1.0" encoding="UTF-8"?>

A sintaxe básica para um elemento XML é marcado como a seguir.

<name attribute="value">content</name>

O elemento XML com conteúdo vazio é marcado no seguinte formato curto.

<name attribute="value" />

O "atributo="valor"" nos exemplos em cima é opcional.

A secção de comentários em XML está marcada como a seguir.

<!-- comment -->

Em vez de adicionar marcações, o XML requer conversão menor ao conteúdo a usar entidades predefinidas para os seguintes caracteres.

	Cuidado
	"<" ou "&" não podem ser usados em atributos ou elementos.

	Nota
	Quando são utilizadas entidades definidas pelo utilizador ao estilo SGML, por exemplo,"&some-tag;", a primeira definição ganha às outras. A definição da entidade é expressa em "<!ENTITY some-tag "entity value">".

	Nota
	Desde que as marcações de XML sejam feitas de modo consistente com um certo conjunto de nomes de etiquetas (em vez de alguns dados como conteúdo ou valor de atributo), a conversão para outro XML é uma tarefa trivial a usar Extensible Stylesheet Language Transformations (XSLT).

Existem muitas ferramentas disponíveis para processar ficheiros XML como o Extensible Stylesheet Language (XSL).

Basicamente, após criar um ficheiro XML bem formado, pode convertê-lo para qualquer formato a usar o Extensible Stylesheet Language Transformations (XSLT).

A Extensible Stylesheet Language for Formatting Objects (XSL-FO) é suposto ser a solução para a formatação. O pacote fop é novo no arquivo main de Debian devido à sua dependência da linguagem de programação Java. Por isso o código LaTeX é normalmente gerado a partir de XML a utilizar XSLT e o sistema LaTeX é utilizado para criar ficheiros imprimíveis tais como DVI, PostScript e PDF.

Como o XML é um sub-conjunto da Standard Generalized Markup Language (SGML), pode ser processado pelas ferramentas extensivas disponíveis para SGML, como o Document Style Semantics and Specification Language (DSSSL).

	Dica
	No GNOME o yelp é por vezes, útil para ler ficheiros DocBook XML diretamente, uma vez que é renderizado decentemente no X.

Tradicionalmente, o roff é o sistema de processamento de texto principal do Unix. Veja roff(7), groff(7), groff(1), grotty(1), troff(1), groff_mdoc(7), groff_man(7), groff_ms(7), groff_me(7), groff_mm(7) e "info groff".

Pode ler ou imprimir um bom tutorial e referência em "-me" macro em "/usr/share/doc/groff/" instalando o pacote groff.

	Dica
	"groff -Tascii -me -" produz resultados em texto simples com código de escape ANSI. Se deseja obter resultados tipo manpage com muitos "^H" e "_", então use "GROFF_NO_SGR=1 groff -Tascii -me -".

	Dica
	Para remover "^H" e "_" de um ficheiro de texto gerado pelo groff, filtre-o com "col -b -x".

A distribuição de software TeX Live oferece um sistema TeX completo. O meta-pacote texlive disponibiliza uma seleção decente dos pacotes TeX Live que deverão ser suficientes para as tarefas mais comuns.

Existem muitas referências disponíveis para TeX e LaTeX.

Este é o ambiente de formatação de texto mais poderoso. Muitos processadores SGML usam isto como processador de texto em backend. O Lyx disponibilizado pelo pacote lyx e o GNU TeXmacs disponibilizado pelo pacote texmacs oferecem um bom ambiente de edição OQVEOQT para o LaTeX enquanto muitos usam o Emacs e o Vim como a sua escolha para editor de código fonte.

Existem muitos recursos online disponíveis.

Quando os documentos ficam maiores, por vezes o TeX pode causar erros. tem de aumentar o tamanho do pool em "/etc/texmf/texmf.cnf" (ou mais apropriadamente editar o "/etc/texmf/texmf.d/95NonPath" e correr update-texmf(8)) para corrigir isto.

Nota

A fonte TeX do "The TeXbook" está disponível em www.ctan.org tex-archive site for texbook.tex. Este ficheiro contém a maior parte das macros necessárias. Ouvi dizer que pode processar este documento com o tex(1) depois de comentar as linhas 7 a 10 e adicionar"\input manmac \proofmodefalse". Recomenda-se vivamente a compra deste livro (e de todos os outros livros de Donald E. Knuth) em vez de usar a versão online, mas a fonte é um ótimo exemplo de entrada TeX!

Apesar de escrever um manual (manpage) no formato troff simples ser possível, existem alguns programas que ajudam a criá-lo.

O núcleo da manipulação de dados imprimíveis é o interpretador PostScript (PS) Ghostscript o qual gera imagem em rasterização.

	Dica
	"gs -h" pode mostrar a configuração do Ghostscript.

Pode unir dois ficheiros PostScript (PS) ou Portable Document Format (PDF) a usar o gs(1) do Ghostscript.

$ gs -q -dNOPAUSE -dBATCH -sDEVICE=pswrite -sOutputFile=bla.ps -f foo1.ps foo2.ps
$ gs -q -dNOPAUSE -dBATCH -sDEVICE=pdfwrite -sOutputFile=bla.pdf -f foo1.pdf foo2.pdf

	Nota
	O PDF, que é um formato de dados imprimíveis amplamente usado em várias plataformas, é essencialmente o formato PS comprimido com algumas funcionalidades e extensões adicionais.

	Dica
	Para a linha de comandos, o psmerge(1) e outros comandos do pacote psutils são úteis para manipular documentos em PostScript. O pdftk(1) do pacote pdftk também é útil para manipular documentos em PDF.

Ambos comandos lp(1) e lpr(1) oferecidos pelo Common Unix Printing System (CUPS) disponibilizam opções para impressão personalizada dos dados a imprimir.

Pode imprimir 3 cópias coligidas de um ficheiro a usar um dos seguintes comandos.

$ lp -n 3 -o Collate=True filename

$ lpr -#3 -o Collate=True filename

Pode personalizar ainda mais as operações da impressora ao usar opções da impressão como "-o number-up=2", "-o page-set=even", "-o page-set=odd", "-o scaling=200", "-o natural-scaling=200", etc., documentadas em Impressão em Linha de Comandos e Opções.

Os dados do correio eletrónico (SMTP) devem limitar-se a séries de dados de 7 bits. Assim, os dados binários e os dados de texto de 8 bits são codificados em formato de 7 bits com as Extensões de Correio da Internet para Fins Múltiplos (MIME) e a seleção do conjunto de caracteres (ver Tabela 11.2, “Lista de valores de codificação e a utilização deles”).

O formato de armazenamento de mail standard é mbox de acordo com RFC2822 (RFC822 atualizado). Veja mbox(5) (disponibilizado pelo pacote mutt).

Para as linguagens Europeias, "Content-Transfer-Encoding: quoted-printable" com o junto de caracteres ISO-8859-1 é geralmente usado para mail porque não existem muitos caracteres de 8 bits. Se o texto Europeu estiver codificado em UTF-8, é provável que seja usado o "Content-Transfer-Encoding: quoted-printable" pois é maioritariamente dados de 7 bits.

Para Japonês, tradicionalmente usa-se "Content-Type: text/plain; charset=ISO-2022-JP" para o mail para manter o texto em 7 bits. Mas os sistemas mais antigos da Microsoft podem enviar dados de mail em Shift-JIS sem a declaração apropriada. Se o testo Japonês for codificado em UTF-8, é provável que se use Base64 pois contém muitos dados de 8 bits. A situação de outras linguagens Asiáticas é semelhante.

	Nota
	Se os seus dados de correio não-Unix são acessíveis por um software cliente não-Debian que pode falar com o servidor IMAP4, pode ser capaz de os mover executando o seu próprio servidor IMAP4.

	Nota
	Se usa outros formatos de armazenamento de mail, movê-los para o formato mbox é um bom primeiro passo. Um programa cliente versátil como o mutt(1) pode dar jeito para isto.

Pode dividir os conteúdos da mailbox para cada mensagem a usar o procmail(1) e o formail(1).

Cada mensagem de mail pode ser desempacotada a usar o munpack(1) do pacote mpack (ou outras ferramentas especializadas) para obter os conteúdos codificados em MIME.

Os seguintes meta-pacotes são bons pontos de partida para procurar ferramentas de dados gráficos usando o aptitude(8). "Packages overview for Debian PhotoTools Maintainers" pode ser outro ponto de partida.

	Dica
	Procure mais ferramentas de imagem com a expressão regular "~Gworks-with::image" no aptitude(8) (veja Secção 2.2.6, “Opções do método de pesquisa com o aptitude”).