Cuidado com as "milagrosas" compactações de dados.

Ver o tópico anterior Ver o tópico seguinte Ir em baixo

Cuidado com as "milagrosas" compactações de dados.

Mensagem por Convidad em Sex 23 Abr 2010, 03:36

As "milagrosas" compactações de dados.

Olá programadores!

Ainda não sei como abordar esse assunto, pois ainda há muito que pesquisar e, diga-se de passagem, compressão de dados é complicado, ainda mais olhando do ponto de vista estrutural. O que acontece é que eu resolvi escrever sobre um fato interessante - do qual muitos de vocês já ouviram falar por aí – que é uma possível altíssima compactação de dados, capaz de transformar um arquivo de muitos Gigabytes em poucos Megabytes.

Pois bem... Alguns dos meus amigos aqui se lembram que há algum tempo eu venho preparando um grande material com imagens, músicas, tutoriais e softwares voltados para programação de jogos, cuja distribuição seria feita através do download desse conteúdo compactado. Minha principal preocupação – obviamente - desde o início, seria buscar um método de fazê-lo de forma eficaz, já que o acervo é bem grande (~ 6,5 Gigabytes).

Busquei incansavelmente por métodos compactação e softwares diferentes (inclusive de outras plataformas), fazendo testes demorados e cansativos (um deles especificamente, levou cerca de 80 horas para finalizar a compressão) até que um dia me deparei com um método supostamente “milagroso”, feito por um software chamado KGB. Então comecei a pesquisar a fundo sobre este software e sua tecnologia. Várias informações de testes realizados com ele (disponíveis na página oficial dos desenvolvedores) mostram sua grande eficácia:

http://kgbarchiver.net/?page=tests

A partir daí, fazendo testes em diferentes tipos de arquivos, comparei todos os níveis de compressão feitos pelo KGB (seguindo à risca o uso correto dos blocos e dicionário de dados) com outros softwares como o UHARC GUI e 7zip. De fato, o resultado não foi muito animador quando levei em consideração o tempo gasto pelo KGB para me apresentar um arquivo apenas 1 ou 2 Kbytes menor em relação aos demais.

Agora vamos ao que interessa: o KGB, até então, seria a mais eficaz tecnologia de compactação de dados existente atualmente? Vejamos...

Certo dia, um amigo me indicou um site que, segundo ele, disponibilizava para download, uma distribuição modificada do Windows Vista cujo tamanho era bastante reduzido, chamada de “Windows Vista Lite USB”. Movido pela curiosidade, baixei a “instalação” e após o download, fiquei boquiaberto ao me deparar com um arquivo compactado em apenas 2 Megabytes no formato ZIP. Achei que o download tinha sido interrompido... Refiz o download e, mais uma vez, o arquivo que veio tinha apenas 2 Mb.

Desconfiado do conteúdo, extraí para meu computador o suposto “sistema” - tomando algumas precauções - e eis que após uma rapidíssima descompressão (no máximo 15 segundos), o pequeno arquivo ZIP de 2 Megabytes se torna um arquivo ISO (imagem de mídia óptica) com cerca de 700 Megabytes! Fiquei impressionado não só com fato do altíssimo nível da suposta “compressão” como também, a rapidez do processo de descompressão, pois em testes realizados com o KGB, algumas descompressões vieram a ser bastante demoradas.



A partir daí passei a analisar cada arquivo individualmente, realizando testes em seu conteúdo e buscando compreender a tão sonhada eficácia desse “método” que, por fim, não passou de uma grande mentira, oriunda de um processo já bastante antigo, comumente usado para testes em HDs defeituosos. Além de explicar o que foi feito, ainda vou ensinar pra vocês como se faz, pra vocês verem que se trata realmente de uma mentira.



Há várias distribuições similares desses arquivos na internet. O site que baixei se chama "Baixar de Tudo.net".

Após extrair o conteúdo da imagem ISO para um cartão de memória, vários arquivos menores e um arquivo maior chamado “install.wim” (com cerca de 700 Megabytes) foram criados. De acordo com os gráficos dos níveis de compactação dos dados, este arquivo em especial, veio a ser compactado em 100% pelo tal “método”.
Resolvi abrir este arquivo em um editor especial e eis que veio a já esperada "surpresa":



Este arquivo foi preenchido com byte zero até que atingisse volume. Esse arquivo, na verdade, é completamente inútil nesse caso, pois não apresenta conteúdo válido algum para a instalação do suposto sistema. É muito fácil criar um arquivo assim (até mesmo usando o Game Maker) e antigamente esse método era bastante usado para fazer testes em HDs problemáticos, onde um software escrevia bytes zero fazendo volume no HD e, onde não fosse possível escrever, era sinal de que possivelmente haviam clusters defeituosos naquele setor.

Faça um teste, pode ser no Game Maker mesmo. Crie um arquivo vazio, abra-o em modo escrita binária e mova o ponteiro para o tamanho desejado. Escreva um byte zero e feche. Em menos de um segundo um arquivo de qualquer tamanho que você desejar é criado no HD. É claro que o teste que citei não é feito dessa forma.

Código:
arquivo := file_text_open_write('preenchezero');
file_text_close(arquivo);
sleep(1000);
arquivo := file_bin_open('preenchezero',1);
file_bin_seek(arquivo,734003200);
file_bin_write_byte(arquivo,0);
file_bin_close(arquivo);

Depois de criar este arquivo, compacte-o usando o melhor método do software de sua preferência. Perceba que o arquivo compactado fica mais de 99% menor que arquivo original. Em resumo, a suposta compactação é uma farsa muito mal feita de um arquivo “vazio”. Daí a gente volta na pergunta: o KGB, até então, seria a mais eficaz tecnologia de compactação de dados existente atualmente?

É sim, e por vários motivos. O primeiro deles - que quero deixar claro - é que este falso arquivo NÃO foi compactado pelo KGB. Segundo, que o KGB é eficaz sim em comprimir volume de dados, mas isso depende muito do tipo do arquivo a ser compactado. Vejam os testes no site do desenvolvedor e percebam que o resultado melhor foi conseguido trabalhando em um arquivo com conteúdo de texto.

O que quero passar pra vocês é que tomem muito cuidado ao baixar esse tipo de conteúdo! Nesse caso especificamente, tratava-se de um “sistema operacional” gravado em uma mídia bootável!! Imaginem o tamanho do estrago que isso poderia causar caso fosse malicioso!! Eu ia testar os demais arquivos para ver o que eles são, mas até já desanimei. Nem vale a pena depois disso... Só fico com dó das pessoas que foram enganadas.

Sempre que virem um arquivo assim ou uma promessa milagrosa de compactação, desconfiem! A internet já é cheia demais desse tipo de coisa pra ficar dando bobeira.

Abraços aí galera.
Brendan Lucas.


Última edição por Capitão Commando em Sab 24 Abr 2010, 01:06, editado 1 vez(es)

Convidad
Convidado


Voltar ao Topo Ir em baixo

Re: Cuidado com as "milagrosas" compactações de dados.

Mensagem por Cainã em Sex 23 Abr 2010, 09:14

Eu ja usei o KGB mas eu acho muito lento e a relação de compressão é bem pequena em relação ao WinRAR. No entanto tem um arquivo que encontrei na internet que parece ser real, é do Office 2007 com mais ou menos 1MB compactado no KGB:

http://sharesend.com/jhtav

Se quiser dar uma olhada eu agradeço.

___________________________________________________

Para quem quiser entender como compressão funciona eu recomendo:

http://informatica.hsw.uol.com.br/compressao-de-arquivos.htm

Cainã

Número de Mensagens : 1335
Idade : 22
Data de inscrição : 07/03/2010
Reputação : 1
Insignia 1 x 0 Insignia 2 x 0 Insignia 3 x 0
Prêmios
   : 0
   : 0
   : 0

http://cai.na.tl/

Voltar ao Topo Ir em baixo

Re: Cuidado com as "milagrosas" compactações de dados.

Mensagem por Convidad em Sab 24 Abr 2010, 01:04

Cainã escreveu:Eu ja usei o KGB mas eu acho muito lento e a relação de compressão é bem pequena em relação ao WinRAR. No entanto tem um arquivo que encontrei na internet que parece ser real, é do Office 2007 com mais ou menos 1MB compactado no KGB:

http://sharesend.com/jhtav

É real mesmo. Aqui, a descompressão ainda tá em 61% e faltam uma hora e vinte! O____O auahuaauauaa. O Kgb reina! Assim que terminar eu vou testar. Mas não custa ter cuidado com esse tipo de arquivo... Se você baixar o "Windows Vista" que eu falei no post de cima vai comprovar que a compactação é pura furada mesmo.

Convidad
Convidado


Voltar ao Topo Ir em baixo

Re: Cuidado com as "milagrosas" compactações de dados.

Mensagem por Isaias em Sab 24 Abr 2010, 02:57

Tudo que é bom de mais deve se desconfiar...

Isaias

Número de Mensagens : 374
Idade : 23
Data de inscrição : 16/08/2008
Reputação : 3
Insignia 1 x 0 Insignia 2 x 0 Insignia 3 x 0
Prêmios
   : 0
   : 0
   : 0

http://isaiasramos.com

Voltar ao Topo Ir em baixo

Re: Cuidado com as "milagrosas" compactações de dados.

Mensagem por Markituh em Sab 24 Abr 2010, 08:42

Isaias escreveu:Tudo que é bom de mais deve se desconfiar...
Concordo...
É mesmo...
Os caras "espertos" aproveitam que existem muita gente besta para cair na onda deles,e passam vírus embutidos em arquivos ou programas.

Perigo!
Um exemplo: Hacks de Habbo. Muitos dos caras "espertos" dizem estar funcionando 100% só que não está. Enquanto a pessoa se desaponta com o 0% funcionando,o vírus entra em ação preparado para injetar o veneno dele no computador.

Tristeza...
Tem gente que nem anti-vírus baixa por causa de vírus. Isso é muito triste. Eu já usei o KGB... Naquela época eu era meio "noob" e não manjava muito dessas coisas de programa. Desinstalei ele porque[...] (Não me lembro porque desinstalei ele =X)

Belo tópico Capitão Commando!

___________

"Não deixe para amanhã o que se pode fazer hoje"

Links úteis:
Índice de Tutoriais
Manual online do GMS

Markituh

Ranking : Sem avaliações
Número de Mensagens : 2183
Data de inscrição : 11/10/2009
Reputação : 106
Insignia 1 x 0 Insignia 2 x 0 Insignia 3 x 0
Prêmios
   : 0
   : 0
   : 0

Voltar ao Topo Ir em baixo

Re: Cuidado com as "milagrosas" compactações de dados.

Mensagem por Cainã em Sab 24 Abr 2010, 10:22

Capitão Commando escreveu:
Cainã escreveu:Eu ja usei o KGB mas eu acho muito lento e a relação de compressão é bem pequena em relação ao WinRAR. No entanto tem um arquivo que encontrei na internet que parece ser real, é do Office 2007 com mais ou menos 1MB compactado no KGB:

http://sharesend.com/jhtav

É real mesmo. Aqui, a descompressão ainda tá em 61% e faltam uma hora e vinte! O____O auahuaauauaa. O Kgb reina! Assim que terminar eu vou testar. Mas não custa ter cuidado com esse tipo de arquivo... Se você baixar o "Windows Vista" que eu falei no post de cima vai comprovar que a compactação é pura furada mesmo.

Eu ja baixei o Windos Vista de 5MB e vi que realmente é engano. Quanto ao Office 2007 eu achei incrível! Espero que um dia os processadores se tornem tão poderosos a ponto de poder compactar grandes arquivos em minusculos arquivos em poucos segundos. Iria ser um grande avanço e iria ajudar bastante no tráfego da internet.

Cainã

Número de Mensagens : 1335
Idade : 22
Data de inscrição : 07/03/2010
Reputação : 1
Insignia 1 x 0 Insignia 2 x 0 Insignia 3 x 0
Prêmios
   : 0
   : 0
   : 0

http://cai.na.tl/

Voltar ao Topo Ir em baixo

Re: Cuidado com as "milagrosas" compactações de dados.

Mensagem por Mystery_boy_maker em Sab 24 Abr 2010, 13:02

Grande topico CM, sempre ajudando a galera.
Arquivos maliciosos estão por toda a parte da internet, por isso eu nunca
baixo qualquer tipo de arquivo. eu costumo ter as seguintes preucações antes de baixar :

* Vejo se o site é conhecido e confiavel.
* verifico o arquivo que vou baixar com relação ao tamnho, por incrivel que pareça existem sites que nem desfarçam voce vai baixar um programa que deveria vir ou compactado ou em ISO pra simular a imagem ( coisa que eu faço muito em jogos de ps2 ) Mas quando vamos baixar o arquivo nos deparamos com um arquivo minusculo .exe isso quando aconteceu comigo foi o fim da picada
* eu tambem sempre baixo programas ou jogos em sites em outras pessoas que ja baixaram postam comentarios se possuir comentarios como

muito bom esse programa funcionou perfeitamente


super 10 esse site obrigado pelo download


eu ja fico mais aliviado em relação ao site e ao download mais
se eu ver que tem comentarios como

Não consigo abrir :/


aki tb nao pego


eu nem baixo por saber que nao pega e tambem por preucação

entao a dica que eu deixo é nao baixem de qualquer fonte ou de qualquer
pessoa não busque o impossivel com relação a tamanho ou a programas
tenham muito cuidado teham um bom antivirus com as vacinas em dia no seu pc verifique o arquivo .

Mystery_boy_maker

Número de Mensagens : 908
Idade : 23
Data de inscrição : 25/01/2010
Reputação : 16
Insignia 1 x 0 Insignia 2 x 0 Insignia 3 x 0
Prêmios
   : 0
   : 0
   : 1

http://recursos-mania.forumeiros.com

Voltar ao Topo Ir em baixo

Re: Cuidado com as "milagrosas" compactações de dados.

Mensagem por shatterhand2 em Sex 30 Abr 2010, 10:35

Eu não entendi, você achou que a "compactação gigantesca" era um engano por ter um arquivo "dummy" no meio?

É muito normal arquivos de imagem de mídias óticas (CDs e DVDs) terem algum arquivo desse tipo pra "preencher" a midia... normalmente isso é feito para que quando você faça a "queima" da mídia, seja utilizada a mídia inteira... e os arquivos principais fiquem do lado mais "externo" da mídia. Aparentemente isso é mais seguro pros dados, e "gasta" menos a lente do seu leitor... mas eu não tenho certeza se isso é verdade, já que não entendo tanto dessa parte eletrônica.


Quem tá acostuamdo a baixar jogos de XBOX360 (Ou até de PS2) deve ter cansado de pegar arquivos zipados de 400 mb que viravam isos de 4.3 gbs ... é o mesmo motivo.

No caso do Windows que você baixou ai, eu não sei se ele funcionaria ou não... mas eu já vi muitas versões de Windows (normalmente o 98) que são minusculas, e o truque não está na compactação, e sim na remoção de um monte de recursos "inúteis" do sistema. Essas versões não são apenas pequenas para baixar, como também suas instalações ocupam muito pouco espaço do HD.

shatterhand2

Número de Mensagens : 645
Idade : 33
Data de inscrição : 21/10/2009
Reputação : 11
Insignia 1 x 0 Insignia 2 x 0 Insignia 3 x 0
Prêmios
   : 1
   : 0
   : 0

http://shatterhand.beatthegame.net

Voltar ao Topo Ir em baixo

Re: Cuidado com as "milagrosas" compactações de dados.

Mensagem por Cainã em Sex 30 Abr 2010, 14:05

shatterhand2 escreveu:Eu não entendi, você achou que a "compactação gigantesca" era um engano por ter um arquivo "dummy" no meio?

É muito normal arquivos de imagem de mídias óticas (CDs e DVDs) terem algum arquivo desse tipo pra "preencher" a midia... normalmente isso é feito para que quando você faça a "queima" da mídia, seja utilizada a mídia inteira... e os arquivos principais fiquem do lado mais "externo" da mídia. Aparentemente isso é mais seguro pros dados, e "gasta" menos a lente do seu leitor... mas eu não tenho certeza se isso é verdade, já que não entendo tanto dessa parte eletrônica.


Quem tá acostuamdo a baixar jogos de XBOX360 (Ou até de PS2) deve ter cansado de pegar arquivos zipados de 400 mb que viravam isos de 4.3 gbs ... é o mesmo motivo.

No caso do Windows que você baixou ai, eu não sei se ele funcionaria ou não... mas eu já vi muitas versões de Windows (normalmente o 98) que são minusculas, e o truque não está na compactação, e sim na remoção de um monte de recursos "inúteis" do sistema. Essas versões não são apenas pequenas para baixar, como também suas instalações ocupam muito pouco espaço do HD.

Eu tambem baixei o Windows Vista milagrosamente compactado, o problema é que mesmo descompactado, removendo o arquivo inútil (preenchido com zeros) o tamanho total dos arquivos que sobram é de menos de 10 MB o que seria impossível para um SO tão pesado como o Vista (nem fazendo um Mod para remoção de recursos).

Cainã

Número de Mensagens : 1335
Idade : 22
Data de inscrição : 07/03/2010
Reputação : 1
Insignia 1 x 0 Insignia 2 x 0 Insignia 3 x 0
Prêmios
   : 0
   : 0
   : 0

http://cai.na.tl/

Voltar ao Topo Ir em baixo

Re: Cuidado com as "milagrosas" compactações de dados.

Mensagem por tata139 em Sex 30 Abr 2010, 14:41

Uma vez baixei crysis e tava milagrosamente compactado, era 7z tinha 800 kb e quando abri me deparei com um link ¬¬'

tata139

Número de Mensagens : 1121
Data de inscrição : 11/08/2008
Reputação : 3
Insignia 1 x 0 Insignia 2 x 0 Insignia 3 x 0
Prêmios
   :
   :
   :

Voltar ao Topo Ir em baixo

Re: Cuidado com as "milagrosas" compactações de dados.

Mensagem por Convidad em Sab 01 Maio 2010, 01:33

shatterhand2 escreveu:Eu não entendi, você achou que a "compactação gigantesca" era um engano por ter um arquivo "dummy" no meio?

A descompressão expande um arquivo de 2 Mb pra 703 (se não me engano). O arquivo install.wim tem 700... Sobram só 3 Mb pra Instalação do Windows Vista?

A menor instalação do WindowsXP que eu já testei tinha 40 e poucos Mb e quando descompactado ia pra 70 e poucos... Smile

shatterhand2 escreveu:É muito normal arquivos de imagem de mídias óticas (CDs e DVDs) terem algum arquivo desse tipo pra "preencher" a midia... normalmente isso é feito para que quando você faça a "queima" da mídia, seja utilizada a mídia inteira... e os arquivos principais fiquem do lado mais "externo" da mídia. Aparentemente isso é mais seguro pros dados, e "gasta" menos a lente do seu leitor...

Se é seguro pros dados, não sei falar. Acredito que não. Mas realmente "gasta" menos o leitor poque ele não precisa percorrer a mídia toda. Em consequencia do diametro ser maior na extremidade, o leitor precisa "andar menos" pra ler mais dados.

Se os dados se encontrarem no centro, o leitor precisará se deslocar mais rápido do que na "beirada". Também já peguei jogos de PS2 assim \o/ mas não é esse o caso...
Se você ler o tópico original, o pessoal até elogia (e muito) essa a "compactação" lá.

Cainã escreveu:Eu tambem baixei o Windows Vista milagrosamente compactado, o problema é que mesmo descompactado, removendo o arquivo inútil (preenchido com zeros) o tamanho total dos arquivos que sobram é de menos de 10 MB o que seria impossível para um SO tão pesado como o Vista (nem fazendo um Mod para remoção de recursos).

Além disso, seria possível colocá-lo em um pendrive (como outras versões alteradas do Vista pirat )... Então não justifica 700 Mb de puro "nada". Mesmo que esse arquivo funcionasse (o que não aconteceu), o único motivo que eu vejo pra que ele usasse mídia optica seria porque talvez fosse mais fácil bootar.

tata139 escreveu:Uma vez baixei crysis e tava milagrosamente compactado, era 7z tinha 800 kb e quando abri me deparei com um link ¬¬'

kkkkkk pelo menos era um link. lol!

----- Editado -----

kkkkk cara, fiquei curioso agora... tu abriu esse link de 800 Kb??? confused

Convidad
Convidado


Voltar ao Topo Ir em baixo

Re: Cuidado com as "milagrosas" compactações de dados.

Mensagem por Cainã em Sab 01 Maio 2010, 10:45

Esse link teria mais ou menos 3.200.000 caractéres! lol!

Quanto à adição de um arquivo grande às mídias para não desgastar o leitor, como se pode saber que os arquivos "úteis" estão mais para o lado de fora do disco?

Cainã

Número de Mensagens : 1335
Idade : 22
Data de inscrição : 07/03/2010
Reputação : 1
Insignia 1 x 0 Insignia 2 x 0 Insignia 3 x 0
Prêmios
   : 0
   : 0
   : 0

http://cai.na.tl/

Voltar ao Topo Ir em baixo

Re: Cuidado com as "milagrosas" compactações de dados.

Mensagem por Convidad em Seg 10 Maio 2010, 01:20

Cainã escreveu:Quanto à adição de um arquivo grande às mídias para não desgastar o leitor, como se pode saber que os arquivos "úteis" estão mais para o lado de fora do disco?

No caso de mídia óptica o "lugar" no disco é dado por ordem de gravação. Não é como no HD onde o arquivo é gravado no lugar "mais próximo disponível" (motivo pra existirem desfragmentadores). Se você gravar o arquivo maior primeiro, ele fica no "início" do disco.

------ Editado ------

Só lembrando que isso não quer dizer que você tenha que gravar o arquivo grande primeiro e os menores depois (2 compilações), você grava apenas uma vez, porém o arquivo grande fica no "início" da compilação.

Convidad
Convidado


Voltar ao Topo Ir em baixo

Re: Cuidado com as "milagrosas" compactações de dados.

Mensagem por Cainã em Seg 10 Maio 2010, 10:49

Valeu, agora deu para entender melhor.

Cainã

Número de Mensagens : 1335
Idade : 22
Data de inscrição : 07/03/2010
Reputação : 1
Insignia 1 x 0 Insignia 2 x 0 Insignia 3 x 0
Prêmios
   : 0
   : 0
   : 0

http://cai.na.tl/

Voltar ao Topo Ir em baixo

Re: Cuidado com as "milagrosas" compactações de dados.

Mensagem por Conteúdo patrocinado Hoje à(s) 04:57


Conteúdo patrocinado


Voltar ao Topo Ir em baixo

Ver o tópico anterior Ver o tópico seguinte Voltar ao Topo

- Tópicos similares

 
Permissão deste fórum:
Você não pode responder aos tópicos neste fórum