Capítulo 12. Programação

Índice

12.1. O script de shell
12.1.1. Compatibilidade da shell do POSIX
12.1.2. Parâmetros da shell
12.1.3. Condicionais da shell
12.1.4. Ciclos (loops) da shell
12.1.5. Variáveis de ambiente do shell
12.1.6. A sequência de processamento da linha de comandos da shell
12.1.7. Programas utilitários para script de shell
12.2. Programação em linguagens interpretadas
12.2.1. Depuração de códigos de linguagem interpretada
12.2.2. Programa GUI com o script de shell
12.2.3. Ações personalizadas para o arquivador GUI
12.2.4. A loucura dos scripts curtos de Perl
12.3. Codificação em linguagens compiladas
12.3.1. C
12.3.2. Programa C simples (gcc)
12.3.3. Flex — um Lex melhor
12.3.4. Bison — um Yacc melhor
12.4. Ferramentas de análise de código estático
12.5. Depuração
12.5.1. Execução gdb básica
12.5.2. Depurar o pacote Debian
12.5.3. Obter um backtrace
12.5.4. Comandos gdb avançados
12.5.5. Verificar a dependência em bibliotecas
12.5.6. Ferramentas dinâmicas de rastreio de chamadas
12.5.7. Depurar Erros do X
12.5.8. Ferramentas de detecção de fugas de memória
12.5.9. Desassemblar binário
12.6. Ferramentas de construção
12.6.1. Make
12.6.2. Autotools
12.6.2.1. Compilar e instalar um programa
12.6.2.2. Desinstalar um programa
12.6.3. Meson
12.7. Web
12.8. A tradução do código-fonte
12.9. Criar um pacote Debian

Disponibilizo algumas dicas para as pessoas aprenderem programação no sistema Debian o suficiente para rastrear o código fonte do pacote. Aqui estão pacotes notáveis e pacotes de documentação correspondentes para programação.

Estão disponíveis referências online ao escrever "man nome" após instalar os pacotes manpages e manpages-dev. As referências online ás ferramentas GNU está disponíveis ao escrever "info nome_do_programa" após instalar os pacotes de documentação pertinentes. Poderá ter de incluir os arquivos contrib e non-free adicionalmente ao arquivo main pois algumas documentações GFDL não são consideradas compatíveis com DFSG.

Considere a possibilidade de utilizar ferramentas do sistema de controlo de versões. Ver Secção 10.5, “Git”.

[Atenção] Atenção

Não use "test" como o nome de um ficheiro de teste executável. "test" é um comando embutido na shell.

[Cuidado] Cuidado

Deve instalar os programas compilados directamente a partir da fonte em "/usr/local" ou "/opt" para evitar colisões com os programas do sistema.

[Dica] Dica

Os Exemplos de código da criação de "Song 99 Bottles of Beer" devem dar-lhe uma boa ideia de praticamente todas as linguagens de programação.

O script de shell é um ficheiro de texto com o bit de execução definido e contém os comandos no seguinte formato.

#!/bin/sh
 ... command lines

A primeira linha especifica o interpretador shell que lê e executa o conteúdo deste ficheiro.

Ler scripts de shell é a melhor maneira de compreender como um sistema tipo Unix funciona. Aqui, Dou alguns apontamentos e lembranças para programação de shell. Veja "Erros de Shell" (https://www.greenend.org.uk/rjk/2001/04/shell.html) para aprender a partir de erros.

Ao contrário do modo interativo de shell (veja Secção 1.5, “O comando simples da shell” e Secção 1.6, “Processamento de texto estilo Unix”), os scripts de shell usam frequentemente parâmetros, condicionais e ciclos.

Cada comando retorna um estado de saída que pode ser usado para expressões condicionais.

  • Sucesso: 0 ("True")

  • Erro: não 0 ("False")

[Nota] Nota

"0" no contexto condicional da shell significa "Verdadeiro", enquanto "0" no contexto condicional de C significa "Falso".

[Nota] Nota

"[" é o equivalente do comando test, o qual avalia os seus argumentos até ao "]" como uma expressão condicional.

Os idiomas condicionais básicos a lembrar são os seguintes.

  • "comando && se_sucesso_corre_também_este_comando || true"

  • "comando || se_não_sucesso_corre_também_este_comando || true"

  • Um fragmento de script de multi-linhas como o seguinte

if [ conditional_expression ]; then
 if_success_run_this_command
else
 if_not_success_run_this_command
fi

Aqui o "|| true" final foi necessário para assegurar que estes script de shell não termina acidentalmente nesta linha quando a shell é invocada com a flag "-e".



Os operadores de comparação Aritmética de inteiros na expressão regular são "-eq", "-ne", "-lt", "-le", "-gt" e "-ge".

A shell processa um script rudemente como a seguinte sequência.

  • A shell lê uma linha.

  • A shell agrupa uma parte de uma linha como um testemunho se estiver dentro de "…" ou '…'.

  • A shell divide a outra parte de uma linha em testemunhos como o seguinte.

    • Espaços em branco: espaço tab nova-linha

    • Meta-caracteres: < > | ; & ( )

  • A shell verifica a palavra reservada para cada testemunho para ajustar o comportamento dele se não dentro de "…" ou '…'.

    • palavra reservada: if then elif else fi for in while unless do done case esac

  • A shell expande o alias se não estiver dentro de "…" ou '…'.

  • A shell expande o til se não dentro de "…" ou '…'.

    • "~" → diretório home do utilizador atual

    • "~utilizador" → diretório home do utilizador

  • A shell expande o parâmetro ao seu valor se não dentro de '…'.

    • parâmetro: "$PARAMETER" ou "${PARAMETER}"

  • A shell expande a substituição do comando se não dentro de '…'.

    • "$( comando )" → o resultado do "comando"

    • "` comando `" → o resultado do "comando"

  • A shell expande o glob nome_de-caminho aos nomes de ficheiros correspondentes se não dentro de "…" ou '…'.

    • * → quaisquer caracteres

    • ? → um caractere

    • […] → qualquer um dos caracteres em ""

  • A shell procura o comando a partir do seguinte e executa-o.

    • definição de função

    • comando builtin

    • ficheiro executável em "$PATH"

  • A shell vai à próxima linha e repete este processo outra vez a partir do topo desta sequência.

Citações singulares (') dentro de aspas não têm efeito.

Executar "set -x" na shell ou invocar a shell com a opção "-x" faz a shell escrever todos os comandos executados. Isto é muito útil para depuração.


Quando deseja automatizar uma tarefa em Debian, deve primeiro fazer o script com uma linguagem interpretada. A linha de orientação para a escolha da linguagem interpretada é:

  • Utilize dash, se a tarefa for simples e combinar programas CLI com um programa shell.

  • Utilize python3, se a tarefa não for simples e se a estiver a escrever de raiz.

  • Use perl, tcl, ruby, ... se houver um código existente usando uma dessas linguagens no Debian que precisa ser retocado para fazer a tarefa.

Se o código resultante for demasiado lento, pode reescrever apenas a parte crítica para a velocidade de execução numa linguagem compilada e chamá-la a partir da linguagem interpretada.

O script shell pode ser melhorado para criar um programa GUI atrativo. O truque é usar um dos chamados programas de diálogo em vez de uma interação monótona usando comandos echo e read.


Aqui está um exemplo de um programa GUI para demonstrar como é fácil apenas com um script de shell.

Este script usa zenity para selecionar um ficheiro (por defeito /etc/motd) e mostrá-lo.

O lançador GUI para este script pode ser criado da seguinte forma Secção 9.4.10, “Arrancar um programa a partir da GUI”.

#!/bin/sh -e
# Copyright (C) 2021 Osamu Aoki <[email protected]>, Public Domain
# vim:set sw=2 sts=2 et:
DATA_FILE=$(zenity --file-selection --filename="/etc/motd" --title="Select a file to check") || \
  ( echo "E: File selection error" >&2 ; exit 1 )
# Check size of archive
if ( file -ib "$DATA_FILE" | grep -qe '^text/' ) ; then
  zenity --info --title="Check file: $DATA_FILE" --width 640  --height 400 \
    --text="$(head -n 20 "$DATA_FILE")"
else
  zenity --info --title="Check file: $DATA_FILE" --width 640  --height 400 \
    --text="The data is MIME=$(file -ib "$DATA_FILE")"
fi

Este tipo de abordagem ao programa GUI com o script de shell é útil apenas para casos de escolha simples. Se for escrever qualquer programa com complexidades, por favor considere escrevê-lo numa plataforma mais capaz.


Aqui, Secção 12.3.3, “Flex — um Lex melhor” e Secção 12.3.4, “Bison — um Yacc melhor” são incluídos para indicar como um programa semelhante a um compilador pode ser escrito em linguagem C, compilando uma descrição de nível superior em linguagem C.

Pode configurar um ambiente apropriado para compilar programas escritos na linguagem de programação C com o seguinte.

# apt-get install glibc-doc manpages-dev libc6-dev gcc build-essential

O pacote libc6-dev, isto é, a biblioteca C GNU, disponibiliza uma biblioteca standard C a qual é uma colecção de ficheiros cabeçalho e rotinas de biblioteca usadas pela linguagem de programação C.

Veja referências para C nos seguintes.

  • "info libc" (Referência de funções da biblioteca C)

  • gcc(1) e "info gcc"

  • cada-nome_de_função_da_biblioteca_C(3)

  • Kernighan & Ritchie, "A Linguagem de Programação C", 2ª edição (Prentice Hall)

O Flex é um gerador rápido de análise léxica compatível com o Lex.

O tutorial do flex(1) encontra-se em "info flex".

Muitos exemplos simples podem ser encontrados em "/usr/share/doc/flex/examples/". [7]

Vários pacotes disponibilizam um gerador LR parser ou LALR parser compatível em frente com o Yacc em Debian.


O tutorial para o bison(1) encontra-se em "info bison".

Tem de disponibilizar as suas próprias chamadas "main()" e "yyerror()". "main()" chama "yyparse()" que chama "yylex()", geralmente criada com Flex.

Aqui está um exemplo para criar um programa simples de calculadora de terminal.

Vamos criar example.y:

/* calculator source for bison */
%{
#include <stdio.h>
extern int yylex(void);
extern int yyerror(char *);
%}

/* declare tokens */
%token NUMBER
%token OP_ADD OP_SUB OP_MUL OP_RGT OP_LFT OP_EQU

%%
calc:
 | calc exp OP_EQU    { printf("Y: RESULT = %d\n", $2); }
 ;

exp: factor
 | exp OP_ADD factor  { $$ = $1 + $3; }
 | exp OP_SUB factor  { $$ = $1 - $3; }
 ;

factor: term
 | factor OP_MUL term { $$ = $1 * $3; }
 ;

term: NUMBER
 | OP_LFT exp OP_RGT  { $$ = $2; }
  ;
%%

int main(int argc, char **argv)
{
  yyparse();
}

int yyerror(char *s)
{
  fprintf(stderr, "error: '%s'\n", s);
}

Vamos criar, example.l:

/* calculator source for flex */
%{
#include "example.tab.h"
%}

%%
[0-9]+ { printf("L: NUMBER = %s\n", yytext); yylval = atoi(yytext); return NUMBER; }
"+"    { printf("L: OP_ADD\n"); return OP_ADD; }
"-"    { printf("L: OP_SUB\n"); return OP_SUB; }
"*"    { printf("L: OP_MUL\n"); return OP_MUL; }
"("    { printf("L: OP_LFT\n"); return OP_LFT; }
")"    { printf("L: OP_RGT\n"); return OP_RGT; }
"="    { printf("L: OP_EQU\n"); return OP_EQU; }
"exit" { printf("L: exit\n");   return YYEOF; } /* YYEOF = 0 */
.      { /* ignore all other */ }
%%

Em seguida, execute o seguinte a partir do prompt do shell para tentar isso:

$ bison -d example.y
$ flex example.l
$ gcc -lfl example.tab.c lex.yy.c -o example
$ ./example
1 + 2 * ( 3 + 1 ) =
L: NUMBER = 1
L: OP_ADD
L: NUMBER = 2
L: OP_MUL
L: OP_LFT
L: NUMBER = 3
L: OP_ADD
L: NUMBER = 1
L: OP_RGT
L: OP_EQU
Y: RESULT = 9

exit
L: exit

As ferramentas do tipo Lint podem ajudar automaticamente a análise de código estático.

As ferramentas do tipo indentação podem ajudar as revisões de código humano, reformatando os códigos-fonte de forma consistente.

As ferramentas do tipo Ctags podem ajudar nas revisões humanas de código, gerando um ficheiro de índice (ou tag) de nomes encontrados nos códigos fonte.

[Dica] Dica

Configurar o seu editor favorito(emacs ou vim) para usar plugins assíncronos do motor lint, ajuda a escrever o seu código. Estes plugins estão a ficar muito poderosos tirando partido do Protocolo do servidor de idiomas. Como eles estão evoluindo rapidamente, usar o seu código original ao invés do pacote Debian pode ser uma boa opção.

Tabela 12.12. Lista de ferramentas para análise de código estático

pacote popcon tamanho descrição
vim-ale I:0 2591 Mecanismo assíncrono Lint para Vim 8 e NeoVim
vim-syntastic I:3 1379 Truques de verificação de sintaxe para o vim
elpa-flycheck V:0, I:1 808 verificação de sintaxe moderna em tempo real para o Emacs
elpa-relint V:0, I:0 147 Localizador de erros de regexp do Emacs Lisp
cppcheck-gui V:0, I:1 7224 ferramenta para análise estática de código C/C++ (GUI)
shellcheck V:2, I:13 18987 ferramenta lint para scripts shell
pyflakes3 V:2, I:15 20 verificador passivo de programas Python 3
pylint V:4, I:20 2018 Verificador estático de código Python
perl V:707, I:989 673 interpretador com verificador de código estático interno: B::Lint(3perl)
rubocop V:0, I:0 3247 Analisador de código estático Ruby
clang-tidy V:2, I:11 21 ferramenta de verificação de formato de regras C++ baseada em Clang
splint V:0, I:2 2320 ferramenta para verificação estática de programas C por bugs
flawfinder V:0, I:0 205 ferramenta para examinar código fonte C/C++ e procurar por fraquezas na segurança
black V:3, I:13 660 formatador de código Python sem compromissos
perltidy V:0, I:4 2493 Indentador e reformatador de scripts Perl
indent V:0, I:7 431 Programa de formatação de código fonte em linguagem C
astyle V:0, I:2 785 Indentador de código-fonte para C, C++, Objective-C, C# e Java
bcpp V:0, I:0 111 Embelezador C(++)
xmlindent V:0, I:1 53 Reformatador de fluxo XML
global V:0, I:2 1908 Ferramentas de pesquisa e navegação de código-fonte
exuberant-ctags V:2, I:20 341 criar índices de ficheiros de etiquetas de definições de código-fonte
universal-ctags V:1, I:11 3386 criar índices de ficheiros de etiquetas de definições de código-fonte

A depuração é uma parte importante das atividades de programação. Saber como depurar programas faz de si um bom utilizador de Debian capaz de produzir relatórios de bugs significantes.


O depurador principal em Debian é o gdb(1) que lhe permite inspeccionar um programa enquanto ele é executado.

Vamos instalar o gdb e programas relacionados com o seguinte.

# apt-get install gdb gdb-doc build-essential devscripts

Pode ser encontrado um bom tutorial do gdb:

  • info gdb

  • "Depurando com GDB" em /usr/share/doc/gdb-doc/html/gdb/index.html

  • "tutorial na web"

Aqui está um exemplo simples de utilização do gdb(1) num "program" compilado com a opção "-g" para produzir informação de depuração.

$ gdb program
(gdb) b 1                # set break point at line 1
(gdb) run args           # run program with args
(gdb) next               # next line
...
(gdb) step               # step forward
...
(gdb) p parm             # print parm
...
(gdb) p parm=12          # set value to 12
...
(gdb) quit
[Dica] Dica

Muitos comandos do gdb(1) podem ser abreviados. A expansão da Tab funciona como na shell.

Uma vez que todos os binários instalados devem ser despojados no sistema Debian por defeito, a maioria dos símbolos de depuração são removidos no pacote normal. De modo a depurar pacotes Debian com gdb(1), os pacotes *-dbgsym precisam de ser instalados (e.g. coreutils-dbgsym no caso do coreutils). Os pacotes fonte geram pacotes *-dbgsym automaticamente juntamente com os pacotes binários normais e esses pacotes de depuração são colocados separadamente no arquivo debian-debug. Por favor, consulte os artigos no Debian Wiki para mais informações.

Se um pacote a ser depurado não fornecer o seu pacote *-dbgsym, é necessário instalá-lo depois de o reconstruir através do seguinte.

$ mkdir /path/new ; cd /path/new
$ sudo apt-get update
$ sudo apt-get dist-upgrade
$ sudo apt-get install fakeroot devscripts build-essential
$ apt-get source package_name
$ cd package_name*
$ sudo apt-get build-dep ./

Corrigir bugs se necessário.

Mude a versão de pacote para uma que não colida com as versões oficiais de Debian, por exemplo, uma adicionada com "+debug1" quando se recompila uma versão de pacote existente, ou uma adicionada com "~pre1" quando se compila uma versão de pacote ainda não lançada com o seguinte.

$ dch -i

Compilar e instalar pacotes com símbolos de depuração com o seguinte.

$ export DEB_BUILD_OPTIONS="nostrip noopt"
$ debuild
$ cd ..
$ sudo debi package_name*.changes

Necessita verificar os scripts de construção do pacote e assegurar o uso de "CFLAGS=-g -Wall" para compilar binários.

Quando encontrar uma falha num programa, é uma boa ideia enviar um relatório de bug com informação de rastreio copiada-e-colada.

O backtrace pode ser obtido pelo gdb(1) utilizando uma das seguintes abordagens:

Para uma situação de loop infinito ou de teclado congelado, pode forçar o encerramento do programa premindo Ctrl-\ ou Ctrl-C ou executando "kill -ABRT PID". (Ver Secção 9.4.12, “Matar um processo”)

[Dica] Dica

Muitas vezes, vê um backtrace onde uma ou mais linhas do topo estão em "malloc()" ou "g_malloc()". Quando isto acontece, há grandes hipóteses do seu backtrace não ser muito útil. O modo mais fácil de encontrar alguma informação útil é definir a variável de ambiente "$MALLOC_CHECK_" para um valor de 2 (malloc(3)). Pode fazer isto enquanto corre o gdb ao fazer o seguinte.

 $ MALLOC_CHECK_=2 gdb hello

O Make é um utilitário para manutenção de grupos de programas Após a execução do make(1), o make lê o ficheiro de regras, "Makefile" e atualiza um alvo se depender de ficheiros pré-requisitados que foram modificados desde que o alvo foi modificado por último, ou se o alvo não existir. A execução destas atualizações pode ocorrer concorrentemente.

A regra de sintaxe do ficheiro é a seguinte.

target: [ prerequisites ... ]
 [TAB]  command1
 [TAB]  -command2 # ignore errors
 [TAB]  @command3 # suppress echoing

Aqui "[TAB]" é um código TAB. Cada linha é interpretada pela shell após fazer a substituição da variável. Utilize "\" no final de uma linha para continuar o script. Use "$$" para inserir "$" para valores de ambiente para um script de shell.

Podem ser escritas regras implícitas para o destino e pré-requisitos, por exemplo, com o seguinte.

%.o: %.c header.h

Aqui, o alvo contém o caractere "%" (exatamente um deles). O "%" pode corresponder a qualquer subcadeia não vazia nos nomes de ficheiros do próprio alvo. Os pré-requisitos usam igualmente "%" para mostrar como os seus nomes estão relacionados ao próprio nome do alvo.



Corra "make -p -f/dev/null" para ver as regras internas automáticas.

O Autotools é um conjunto de ferramentas de programação concebido para ajudar a tornar os pacotes de código-fonte portáveis para muitos sistemas do tipo Unix.

  • O Autoconf é uma ferramenta para produzir um script shell "configure" a partir de "configure.ac".

    • O "configure" é utilizado mais tarde para produzir o"Makefile" a partir do modelo "Makefile.in".

  • Automake é uma ferramenta para produzir "Makefile.in" a partir de "Makefile.am".

  • Libtool é um script shell para resolver o problema de portabilidade de software ao compilar bibliotecas partilhadas a partir do código fonte.

O sistema de construção de software tem vindo a evoluir:

  • Autotools no topo do Make tem sido o padrão de facto para a infraestrutura de compilação portátil desde os anos 1990. Isso é extremamente lento.

  • O CMake, inicialmente lançado em 2000, melhorou significativamente a velocidade, mas foi originalmente construído sobre o inerentemente lento Make. (Agora Ninja pode ser seu backend.)

  • O Ninja, lançado inicialmente em 2012, destina-se a substituir o Make para melhorar a velocidade de construção e foi concebido para que os seus ficheiros de entrada sejam gerados por um sistema de construção de nível superior.

  • O Meson, lançado inicialmente em 2013, é o novo sistema de construção de nível superior popular e rápido que usa o Ninja como backend.

Ver documentos encontrados em "O sistema de construção Meson" e "O sistema de construção Ninja".

Páginas web dinâmicas interactivas podem ser feitas conforme a seguir.

  • As questões são apresentadas ao explorador do utilizador a usar formulários HTML.

  • Preencher e clicar nas entradas do formulário envia uma das seguintes cadeias de URL com parâmetros codificados do explorador para o servidor web.

    • "https://www.foo.dom/cgi-bin/program.pl?VAR1=VAL1&VAR2=VAL2&VAR3=VAL3"

    • "https://www.foo.dom/cgi-bin/program.py?VAR1=VAL1&VAR2=VAL2&VAR3=VAL3"

    • "https://www.foo.dom/program.php?VAR1=VAL1&VAR2=VAL2&VAR3=VAL3"

  • O "%nn" no URL é substituído por um caractere com valor hexadecimal nn.

  • A variável de ambiente está definida como: "QUERY_STRING="VAR1=VAL1 VAR2=VAL2 VAR3=VAL3"".

  • O programa CGI (qualquer um de "program.*") no servidor web executa-se a si próprio com a variável de ambiente "$QUERY_STRING".

  • O stdout do programa CGI é enviado ao explorador web e é apresentado como uma página web dinâmica e interactiva.

Por razões de segurança é melhor não embarcar em novos hacks para analisar parâmetros CGI. Existem módulos definidos para eles em Perl e Python. O PHP vem com estas funcionalidades. Quando é necessário o armazenamento de dados no cliente, usam-se cookies HTTP. Quando é necessário o processamento de dados no lado do cliente, usa-se frequentemente Javascript.

Para mais, veja Common Gateway Interface, The Apache Software Foundation e JavaScript.

Procurar "CGI tutorial" no Google ao escrever diretamente o URL codificado https://www.google.com/search?hl=en&ie=UTF-8&q=CGI+tutorial no endereço do explorador é uma boa maneira de ver o script CGI em acção no servidor da Google.

Existem programas para converter código-fonte.


Se desejar criar um pacote Debian, leia o seguinte.

Existem pacotes como os debmake, dh-make, dh-make-perl, etc., que auxiliam no processo em empacotamento.



[7] Poderão ser necessárias algumas adaptações para que funcionem com o sistema atual.