Ir para conteúdo

POWERED BY:

Arquivado

Este tópico foi arquivado e está fechado para novas respostas.

Vinicius P da Silva

Fazer um parser em arquivos zipados

Recommended Posts

Olá galera, como vocês estão?

Sou estagiário em programação web, tenho apenas 6 meses de experiencia em php, no meu estágio, estamos fazendo um trabalho de monitoramento de rede, usando um software, Fiddler, ele me gera um zip, dentro dele tem vários arquivos que são gerados pelo programa com dados estatísticos da rede. Resumindo tudo isso, ele gera três tipos de arquivos, *.txt, *.xml, *.htm.

Para trabalhar com eles criei scripts, que abrem o zip e leia o conteúdo dos arquivos e mandem para um banco de dados, desses três já consegui dois, txt e xml, estou preso no htm, o código padrão que uso para abrir os zips e tratar os arquivos:

<?php
if (!extension_loaded('zip'))
{
echo ("Seu arquivo php.ini não está habilitado para esta função!");
}
$dir_origem = 'C:\Users\vinicius.psilva\Documents\Fiddler2\Captures';
//$arquivos_zip = glob($dir_origem."\*.zip")
foreach (glob($dir_origem."\*.zip") as $arquivo_zip ) {
echo "$arquivo_zip" . "<br>";
$zip = new ZipArchive();
if($zip ->open($arquivo_zip) == true){
echo "Aberto" . "<br/>";
$
}else{
echo "default";
return 0;
}
}
}
}
}
?>
Queria ajuda para poder trabalhar com o htm:
Passo a passo do que terei que fazer:
1 - Juntar vários zips em uma variável, abrir eles e ler o seu conteúdo;
2 - Pegar todos os arquivo htm, fazer a leitura deles.
3 - Com regex, pegar somente o texto escolhido
4 - Mandar esses dados para um banco de dados
Com os outros arquivos eu consegui, um dos scripts utilizados:
function getTxt($dirOrig){
$date = date('d-m-Y');
$zip = new ZipArchive();
$arqZips = glob($dirOrig."\*.zip");
foreach($arqZips as $arqZip){
echo $arqZip.'<br/>';
$er = '/[/W/w]*monitoramento(.+)10(.+)_(.+). ?/';
preg_match($er,$arqZip);
$txt_name=substr($arqZip,0);
$posiçao = strpos($txt_name, "monitoramento");
$name_txt=substr($arqZip,$posiçao);
//print_r() ;
echo "$name_txt". "<br/>";
echo '<br/>';
$count_c = 1;
echo $arqZip . '<br/>';
if ($zip -> open($arqZip) == TRUE) {
//ao abrir o próximo arquivo inicializa o contador em zero
$total_c=0;
// pega o total de xml dentro do zip }
echo '<p>'.'<h5>'."TXT Arqs *_s.txt ".'<h5/>'.'<p/>'.'<br/>';
for ($i = 0; $i < $zip->numFiles; $i++)
{
$filename = $zip->getNameIndex($i);
if ($a1 = substr($filename,-6) == "_c.txt"){
$total_c++;
}
}
echo 'O numero de arquivos'.': '."$total_c" . "<br>";
// Define o numero de zeros a esquerda
if ($total_c<=9){
$numero_de_zeros = 1;
}
elseif ($total_c>=10 && $total_c<=99){
$numero_de_zeros = 2;
}
elseif ($total_c>=100 && $total_c<=999){
$numero_de_zeros = 3;
}
elseif ($total_c>=1000 && $total_c<=9999){
$numero_de_zeros = 4;
}
elseif ($total_c>=10000 && $total_c<=99999){
$numero_de_zeros = 5;
}
while ($count_c <= $total_c) {
$file_arq_c = "raw/" . str_pad($count_c, $numero_de_zeros, "0", STR_PAD_LEFT). "_c.txt".'<br/>';
$file_arq_res_c = $zip->getStream($file_arq_c);
if ( $file_arq_res_c ) {
$texto = '';
while (!feof($file_arq_res_c)) {
//realiza o teste para saber se o programa chegou ao final
$linha = fgets($file_arq_res_c, 5000); // Linha responsavel por ler todas as linhas do arq e armazenar em strings dentro da variavel
$texto = $texto . $linha;
}
echo $file_arq_c;
fclose( $file_arq_res_c);
if (ereg("^CONN",$texto)==true){
$connect = '/^CONNECT (?P<connect>[\S]*)/';
preg_match($connect, $texto, $matches);
$connect_db = $matches ['connect'];
echo "$connect_db" . "<br/>";
$host = '/[\w\W] *Host: (?P<host>[\S]*)/';
preg_match($host, $texto, $matches);
$host_db = $matches ['host'];
echo "$host_db" . "<br/>";
$proxy = '/[\w\W]*Proxy-Connection: (?P<Proxy_Connection>[\S]*)/';
preg_match($proxy, $texto, $matches);
$proxy_db = $matches ['Proxy_Connection'];
echo "$proxy_db" . "<br/>";
$user = '/[\w\W] *User-Agent: (?P<User_Agent>[\S]*)/';
preg_match($user, $texto, $matches);
$user_db = $matches ['User_Agent'];
echo "$user_db" . "<br/>";
$version = '/[\w\W] *Version: (?P<Version>[\S]*)/';
preg_match($version, $texto, $matches);
$version_db = $matches ['Version'];
echo "$version_db" . "<br/>";
$extensions = '/^[\w\W]Random: (?P<extensions>[\s]*)Ciphers:/';
preg_match($extensions, $texto, $matches);
$extensions_db = $matches ['extensions'];
var_dump ($extensions_db);
return;
return;
if (mysql_query("INSERT INTO dados (id, get,nome_arq, host, accept, user_agent, referer, cookie, date) VALUES ('NULL' ,'$connect_db','$filename', '$host_db','$proxy_db','$user_db','$version_db','$extensions_db', '$date' '')")) {
echo "<p>";
printf(" Row inserted : %d .\n\n\n\n", $db);
echo "<br/>";
echo '<p/>';
}
else {
echo"<br/>"."<br/>"."Nao possivel o envio para o banco, pois foi encontrado um erro: " . "<br/>" . mysql_error().'<br/>';
}
mysql_close();
}
else{
$p_linha = '/[\w\W]*GET (?P<p_linha>[\S]*)/';
preg_replace($p_linha, $texto, $matches);
$get_db = $matches ['p_linha'];
echo "$get_db" . "<br/>";
$host = '/[\w\W]*Host: (?P<host>[\S]*)/';
preg_match($host, $texto, $matches);
$host_db = $matches ['host'];
$accept = '/[\w\W]*Accept: (?P<accept>[\S]*)/';
preg_match($accept, $texto, $matches);
$accept_db = $matches ['accept'];
$user_agent = '/[\w\W]*User-Agent: (?P<user_agent>[\S]*)/';
preg_match($user_agent, $texto, $matches);
$user_agent_db = $matches ['user_agent'];
$referer = '/[\w\W]*Referer: (?P<referer>[\S])*/';
preg_match($referer, $texto, $matches);
$referer_db = $matches ['referer'];
$cookie = '/[\w\W]*Cookie: (?P<cookie>[\s]*)/';
preg_match($cookie, $texto, $matches);
$cookie_db = $matches ['cookie'];
if (mysql_query("INSERT INTO dados (id, get,nome_arq, host, accept, user_agent, referer, cookie, date) VALUES ('NULL' ,'$get_db','$name_txt', '$host_db','$accept_db','$user_agent_db','$referer_db','$cookie_db', '$date' '')")) {
echo "<p>";
printf(" Row inserted : %d .\n\n\n\n", $db);
echo "<br/>";
echo '<p/>';
}
else {
echo"<br/>"."<br/>"."desiste disso " . "<br/>" . mysql_error();
}
mysql_close();
}
}
$count_c++;
echo "Fim";
echo "<br/>";
}
}
}
}
Seguindo a lógica de cima, pretendo fazer o restante.
Agradeço a Ajuda

Compartilhar este post


Link para o post
Compartilhar em outros sites

  • Conteúdo Similar

    • Por Rafael_Ferreira
      Não consigo carregar a imagem do captcha do meu formulário. Foi testado com o xampp e easyphp. Também não carregou a imagem de outros captcha. 
       
       
    • Por luiz monteiro
      Olá, tudo bem?
       
      Estou melhorando meu conhecimento em php e mysql e, me deparei com o seguinte. A tabela da base de dados tem um campo do tipo varchar(8) o qual armazena números. Eu não posso alterar o tipo desse campo. O que preciso é fazer um select para retornar o números que contenham zeros a direita ou a esquerda.
      O que tentei até agora
       
      Ex1
      $busca = $conexao->prepare("select campo form tabela where (campo = :campo) ");
      $busca->bindParam('campo', $_REQUEST['campo_form']);
       
      Se a direita da string $_REQUEST['campo_form'] termina ou inicia com zero ou zeros, a busca retorna vazio.
      Inseri dados numéricos, da seguinte maneira para testar: 01234567;  12345670: 12345678: 12340000... entre outros nessa coluna. Todos os valores que não terminam ou não iniciam com zero ou zeros, o select funciona.
       
       
      Ex2
      $busca = $conexao->prepare("select campo form tabela where (campo = 0340000) ");
      Esse número está cadastrado, mas não retorna.
       
      Ex3
      $busca = $conexao->prepare("select campo form tabela where (campo = '02340001' ) ");
      Esse número está cadastrado, mas não retorna.
       
       
      Ex4
      $busca = $conexao->prepare("select campo form tabela where (campo like 2340000) ");
      Esse número está cadastrado, mas não retorna.
       
      Ex5
      $busca = $conexao->prepare("select campo form tabela where (campo like '12340000') ");
      Esse número está cadastrado, mas não retorna.
       
      Ex6
      $busca = $conexao->prepare("select campo form tabela where (campo like '"12340000"' ) ");
      Esse número está cadastrado, mas não retorna.
       
       
      Ex7
      $busca = $conexao->prepare("select campo form tabela where (campo like :campo) ");
      $busca->bindParam('campo', $_REQUEST['campo_form'])
      Não retorna dados.
       
      O  $_REQUEST['campo_form'] é envio via AJAX de um formulário. 
      Usei o gettype para verificar o post, e ele retorna string.
      Fiz uma busca com número 12345678 para verificar o que o select retorna, e também retrona como string.
       
      Esse tipo de varchar foi usado porque os números que serão gravados nesse campo,  terão zeros a direita ou na esquerda. Os tipos number do mysql não gravam zeros, então estou usando esse. O problema é a busca.
      Agradeço desde já.
       
       
    • Por daemon
      Boa tarde,
       
      Eu tenho uma rotina que faz uma leitura do arquivo .xml de vários sites.

      Eu consigo pegar o tópico e a descrição, e mostrar a imagem que esta na pagina do link.
      Para isso utilizo esta função:
      function getPreviewImage($url) { // Obter o conteúdo da página $html = file_get_contents($url); // Criar um novo objeto DOMDocument $doc = new DOMDocument(); @$doc->loadHTML($html); // Procurar pela tag meta og:image $tags = $doc->getElementsByTagName('meta'); foreach ($tags as $tag) { if ($tag->getAttribute('property') == 'og:image') { return $tag->getAttribute('content'); } } // Se não encontrar og:image, procurar pela primeira imagem na página $tags = $doc->getElementsByTagName('img'); if ($tags->length > 0) { return $tags->item(0)->getAttribute('src'); } // Se não encontrar nenhuma imagem, retornar null return null; } // Uso: $url = "https://example.com/article"; $imageUrl = getPreviewImage($url); if ($imageUrl) { echo "<img src='$imageUrl' alt='Preview'>"; } else { echo "Nenhuma imagem encontrada"; }  
      Mas estou com um problema, esta funcão funciona quando coloco em uma pagina de teste.php. Preciso mostrar em uma página inicial diversas fotos de todos os links. (No caso acima só funciona 1).
    • Por violin101
      Caros amigos, saudações.
       
      Por favor, me permita tirar uma dúvida com os amigos.

      Tenho um Formulário onde o Usuário digita todos os Dados necessários.

      Minha dúvida:
      --> como faço após o usuário digitar os dados e salvar, o Sistema chamar uma Modal ou mensagem perguntando se deseja imprimir agora ?

      Grato,
       
      Cesar
    • Por Carcleo
      Tenho uma abela de usuarios e uma tabela de administradores e clientes.
      Gostaria de uma ajuda para implementar um cadastro
       
      users -> name, login, passord (pronta) admins -> user_id, registratiom, etc.. client -> user_id, registratiom, etc...
      Queria ajuda para extender de user as classes Admin e Client
      Olhem como estáAdmin
      <?php namespace App\Models; use Illuminate\Database\Eloquent\Factories\HasFactory; use Illuminate\Database\Eloquent\Model; class Admin extends User {     use HasFactory;            protected $fillable = [         'name',         'email',         'password',         'registration'     ];      private string $registration;     public function create(         string $name,          string $email,          string $password,         string $registration     )     {         //parent::create(['name'=>$name, 'email'=>$email, 'password'=>$password]);         parent::$name = $name;         parent::$email = $email;         parent::$password = $password;         $this->registration = $registration;     } } User
      <?php namespace App\Models; // use Illuminate\Contracts\Auth\MustVerifyEmail; use Illuminate\Database\Eloquent\Factories\HasFactory; use Illuminate\Foundation\Auth\User as Authenticatable; use Illuminate\Notifications\Notifiable; use Illuminate\Database\Eloquent\Relations\BelongsToMany; class User extends Authenticatable {     /** @use HasFactory<\Database\Factories\UserFactory> */     use HasFactory, Notifiable;     static string $name;     static string $email;     static string $password;     /**      * The attributes that are mass assignable.      *      * @var list<string>      */     protected $fillable = [         'name',         'email',         'password',     ];          /**      * The attributes that should be hidden for serialization.      *      * @var list<string>      */     protected $hidden = [         'remember_token',     ];     /**      * Get the attributes that should be cast.      *      * @return array<string, string>      */     protected function casts(): array     {         return [             'email_verified_at' => 'datetime',             'password' => 'hashed',         ];     }          public function roles() : BelongsToMany {         return $this->belongsToMany(Role::class);     }       public function hasHole(Array $roleName): bool     {                 foreach ($this->roles as $role) {             if ($role->name === $roleName) {                 return true;             }         }         return false;     }         public function hasHoles(Array $rolesName): bool     {                 foreach ($this->roles as $role) {             foreach ($rolesName as $rolee) {             if ($role->name === $rolee) {                 return true;             }          }         }         return false;     }         public function hasAbility(string $ability): bool     {         foreach ($this->roles as $role) {             if ($role->abilities->contains('name', $ability)) {                 return true;             }         }         return false;     }     } Como gravar um Admin na tabela admins sendo que ele é um User por extensão?
      Tentei assim mas é claro que está errado...
      public function store(Request $request, Admin $adminModel) {         $dados = $request->validate([             "name" => "required",             "email" => "required|email",             "password" => "required",             "registration" => "required"         ]);         $dados["password"] =  Hash::make($dados["password"]);                  $admin = Admin::where("registration",  $dados["registration"])->first();                  if ($admin)              return                    redirect()->route("admin.new")                             ->withErrors([                                 'fail' => 'Administrador já cadastrados<br>, favor verificar!'                   ]);                            $newAdmin = $adminModel->create(                                    $dados['name'],                                    $dados['email'],                                    $dados['password'],                                    $dados['registration']                                 );         dd($newAdmin);         $adminModel->save();         //$adminModel::create($admin);                  return redirect()->route("admin.new")->with("success",'Cadastrado com sucesso');     }  
×

Informação importante

Ao usar o fórum, você concorda com nossos Termos e condições.