Merge pull request #287 from PostmonAPI/buscacepinter

Update ceptracker implementation.

Author: iurisilvio

CepTracker.py

@@ -5,7 +5,6 @@
 import os
 import re
 
-from lxml.html import fromstring
 import requests
 
 logger = logging.getLogger(__name__)
@@ -15,93 +14,49 @@
 class CepTracker(object):
     url = os.getenv(
         "CORREIOS_CEP_URL",
-        "http://www.buscacep.correios.com.br/sistemas/buscacep/resultadoBuscaCepEndereco.cfm?t"  # NOQA
+        "https://buscacepinter.correios.com.br/app/endereco/carrega-cep-endereco.php",  # NOQA
     )
 
     def _request(self, cep):
         response = requests.post(self.url, data={
-            "relaxation": cep,
-            "Metodo": "listaLogradouro",
-            "TipoConsulta": "relaxation",
-            "StartRow": 1,
-            "EndRow": 10,
+            "pagina": "/app/endereco/index.php",
+            "cepaux": "",
+            "mensagem_alerta": "",
+            "endereco": cep,
+            "tipoCEP": "ALL",
         }, timeout=10)
         try:
             response.raise_for_status()
         except requests.exceptions.HTTPError as ex:
             logger.exception('Erro no site dos Correios')
             raise ex
-        return response.text
-
-    def _get_infos_(self, cep):
-        response = self._request(cep)
-        html = fromstring(response)
-        registros = html.cssselect('.tmptabela tr')
-
-        if not registros:
-            return None, []
-
-        header = [h.text.strip(':') for h in registros[0].cssselect('th')]
-        registros = registros[1:]
-        resultado = []
-        for item in registros:
-            td = item.cssselect('td')
-            line = []
-            for a in td:
-                link = a.cssselect('a')
-                if link:
-                    text = link[0].text
-                else:
-                    text = a.text
-                line.append(text)
-            resultado.append(line)
-        return header, resultado
+        return response.json()
 
     def track(self, cep):
-        header, resultado = self._get_infos_(cep)
+        data = self._request(cep)
         result = []
 
         found = False
         now = datetime.now()
 
-        for item in resultado:
+        for item in data["dados"]:
+            if item['cep'] == cep:
+                found = True
+
             data = {
                 "_meta": {
                     "v_date": now,
-                }
+                },
+                "cep": item['cep'],
+                "bairro": item['bairro'],
+                "cidade": item['localidade'],
+                "estado": item['uf'],
             }
-
-            for label, value in zip(header, item):
-
-                label = label.lower().strip()
-                value = re.sub(r'\s+', ' ', value.strip())
-
-                if 'localidade' in label:
-                    cidade, estado = value.split('/', 1)
-                    data['cidade'] = cidade.strip()
-                    data['estado'] = estado.split('-')[0].strip()
-                elif 'logradouro' in label:
-                    if ' - ' in value:
-                        logradouro, complemento = value.split(' - ', 1)
-                        data['complemento'] = complemento.strip(' -')
-                    else:
-                        logradouro = value
-                    logradouro = logradouro.strip()
-                    if logradouro:
-                        data['logradouro'] = logradouro
-                elif label == u'endereço':
-                    # Use sempre a key `endereco`. O `endereço` existe para não
-                    # quebrar clientes existentes. #92
-                    data['endereco'] = data[label] = value
-                elif 'bairro' in label:
-                    data['bairro'] = value
-                elif 'cep' in label:
-                    _cep = value.replace('-', '')
-                    if _cep == cep:
-                        found = True
-                    data['cep'] = _cep
-                else:
-                    data[label] = value
+            logradouro = item["logradouroDNEC"]
+            if ' - ' in logradouro:
+                logradouro, complemento = logradouro.split(' - ', 1)
+                data['complemento'] = complemento.strip(' -')
+            data['logradouro'] = logradouro
 
             result.append(data)
 

README.md

@@ -15,7 +15,6 @@ Requisitos do ambiente Python
 As dependências estão listadas no arquivo requirements.txt.
 
 * requests
-* lxml
 * pymongo
 * bottle
 * nosetests

requirements.txt

@@ -1,7 +1,6 @@
 bottle==0.12.7
 bottle-healthcheck==0.2.1
 cssselect==1.0.3
-lxml==4.3.3
 pymongo<3
 packtrack==1.6
 xmltodict