Gabriela Fogaça Diehl

Robôs inteligentes são tema de diversos filmes como Star Wars, Wall-E, Ex Machina, Eu robô, entre muitos outros. Recentemente, o Netflix lançou a animação chamada “Next Gen”.
Ambientado em futuro no qual os robôs são parte integrante da sociedade, Next Gen é um filme original Netflix lançado no segundo semestre de 2018 e conta a história de uma adolescente rebelde chamada Mai que, ao acaso um dia conhece um robô secreto, que rapidamente se torna seu amigo. O robô ajuda Mai a combater o bullying que sofre na escola, além de enfrentarem junta uma grande batalha contra o vilão que deseja dominar o mundo através da tecnologia. Ao longo da história, Mai descobre que seu grande amigo robô foi desenvolvido para fins militares, portando armas de alto potencial destrutivo.
<ul class="jota-article__internal-links">
<li>+JOTA:<a href="https://www.jota.info/cadastre-se"> Faça o cadastro e leia até dez conteúdos de graça por mês! 
</a></li>
</ul>
Pensar em robôs militares pode parecer apenas trama de filmes ou livros, mas o que parece ser mera criatividade para entretenimento já se tornou uma realidade. Tomemos como exemplo a guerra dos EUA contra o Iraque, que quando estava próxima ao seu final já havia mais robôs militares no campo de batalha do que tropas, chegando a mais de 12.000 robôs em campo. Há ainda o exemplo do Samsung SGR-A1, implantado desde 2010 pela Coreia do Sul na fronteira com a Coreia do Norte em zona militar. Tratam-se de robôs que quando construídos eram 100% autônomos, os fabricantes apenas colocaram o controle de um humano para realização de disparos por pedido expresso de seus clientes. Há ainda o Black Hornet, utilizados pelo Reino Unido na guerra contra o Afeganistão em 2012, são drones ultra pequenos do tamanho de passarinhos para auxiliar em vigilância, sendo o primeiro sistema de reconhecimento facial. Exemplos de robôs militares é o que não faltam.
Assim, robôs militares não devem ser tratados como simples filmes de entretenimento, Next Gen está muito mais próximo do presente do que de um filme futurista, com isso a necessidade de um estudo sobre as implicações de robôs e I.A. em campo militar são de extrema relevância, inclusive, gerando o que alguns já denominam de “direito robótico”, ramo responsável por estudar os impactos e possíveis regulações para robôs.
<h3>Pontos positivos</h3>
Antes de começarmos a análise é importante entendermos o porquê da utilização de robôs em campo militar. As vantagens da robótica em solo militar são várias: robôs não precisam de salário, não ficam doentes, não precisam dormir, não sentem medo, raiva ou dor. Além disso, robôs seguem instruções automaticamente sem questionar ou errar. Assim, todas as emoções e pensamentos que atrapalham soldados durante a guerra são aniquilados.
Além disso, a guerra com robôs também traz efeitos positivos em ricochete para a sociedade: ninguém sofrerá pela destruição de um robô no campo de batalha (diferente de um soldado que tenha família e amigos) e, por outro lado, a população atingida não terá casos de estupro ou outras atrocidades que acontecem durante uma guerra.
Por todos os benefícios citados, não há dúvidas de que os robôs tornariam as guerras mais eficientes e diminuiriam, em consequência, o seu tempo de duração drasticamente, apesar de, quanto a esse ponto, ser necessária a reflexão também de que um aumento de eficácia implicaria apenas em aumento no número de mortes também, além de vários outros aspectos desafiadores, para o dizer o mínimo, quanto aos impactos sociais negativos da utilização de robôs em território de guerra, como veremos a seguir.
<h3>Identificação de Alvo e Responsabilidade</h3>
Imagine o seguinte cenário: no meio de uma guerra um robô conduzido por uma I.A. mata a equipe médica do exército inimigo e mata civis do país inimigo, não porque tomou a decisão de matá-los, mas porque simplesmente não conseguiu distinguir civis e enfermeiros do exército inimigo. Hoje é exatamente esse cenário que se tem: ninguém sabe se robôs conseguiriam distinguir a um nível tão subjetivo civis e enfermeiros do exército inimigo<a href="#_ftn1" name="_ftnref1">[1]</a>.
Assim, uma das maiores preocupações é sobre quem deverá ser responsabilizado se uma operação militar falhar ou se o robô com I.A. deixar de seguir algumas regras de guerra por falha em seu sistema ou por simples deficiência de programação e tecnologia.
Para Noel Sharkey, chairman do ICRAC e professor de IA e Robótica na Universidade de Sheffield no Reino Unido, robôs militares não são capazes de seguir as regras básicas da guerra, eles não conseguem distinguir um soldado inimigo de um civil e nem consegue distinguir um soldado ferido de um alvo legítimo.
Segundo o Estatuto de Roma (art. 8°) não se pode matar enfermeiros ou civis do país inimigo e quem descumpre tais normativas está sujeito a um julgamento pelo Tribunal Penal Internacional. Nesse caso, quem seria responsabilizado por essas mortes: o criador do robô? Ou seria quem alimentou a I.A. com dados insuficientes? Seria o comandante do exército? O chefe das forças armadas? O Presidente? Ou seria até mesmo a própria I.A.?
Segundo os princípios da robótica<a href="#_ftn2" name="_ftnref2">[2]</a> desenvolvidos pela a União Europeia EPSRC (Engineering and Physical Sciences Research Council) quem deve ser responsabilizado é sempre um humano, não um robô, pois são humanos os agentes responsáveis por ele. Mas, isso apenas soluciona uma parte do problema tendo em vista a enorme quantidade de humanos que estão envolvidos no caso.
Segundo a ONG Human Rights Watch, os programadores, fabricantes, comandantes provavelmente não seriam responsabilizados, isso porque seria injusto e ilegal que essas pessoas respondessem pelas atitudes imprevisíveis de um robô que eles sequer poderiam prevenir.
Segundo a Harvard Business Review esse “gap” de responsabilidade pode ter sérias consequências, pois sem a possibilidade de responsabilização não há como deter violências futuras e descumprimento de legislações internacionais, além do que sequer haveria qualquer retribuição para as vítimas dessas violências.
<h3>Botão de desligar? </h3>
Há uma grande preocupação com o potencial destrutivo da humanidade em relação a armas autônomas, que atacam em contra-ataque ou que disparam por identificação de movimento.
Exemplo prático disso é o já mencionado Samsung SGR-1, capaz de disparar contra o inimigo de forma totalmente autônoma, que causou tanta preocupação por falhas pelos compradores, que acabaram por solicitar a validação humana no ataque.
Nesse sentido, além da necessidade de validação humana em ataques, outra solução frequentemente levantada como a forma de mitigar possíveis erros capazes de causar um comportamento perigoso para a sociedade é a instalação de um botão de desligar. Assim, um humano vigiaria o robô conduzido por I.A. o tempo todo e poderia desligá-lo caso houvesse algum comportamento que colocasse em risco a sociedade.
A princípio parece uma boa ideia, no entanto, é mister pensar nas implicações negativas desse tipo de botão. Primeiramente, seria importante definir quem seria o responsável por realizar uma decisão tão importante: seria o general? O presidente? O operador do robô? E, ainda, seria importante definir sob quais argumentos e responsabilidades essa pessoa poderia desligar o robô.
Ademais, a colocação de um botão de desligar corresponderia a uma vulnerabilidade do robô. Em uma era profundamente conectada via internet, a colocação de um botão de desligar implicaria na possibilidade de uma invasão hacker da parte contrária capaz de desligar todos os robôs do campo inimigo.
Sobre essa questão, vemos que o primeiro passo foi dado pelo departamento de defesa dos EUA (DoD) já se manifestou e lançou uma política<a href="#_ftn3" name="_ftnref3">[3]</a> sobre armas autônomas na qual impõem limites sobre como elas devem funcionar, por exemplo, indicam que as armas autônomas devem utilizar de um certo grau de julgamento humano ao invés de utilizarem a força em momentos críticos decisórios. Apesar de ser um avanço em termos de regulação de robô militares (também chamados de LAWS – letal autonomous weapons systems), esse documento não trata sobre armas operadas por Inteligência Artificial.
Já o Reino Unido, por outro lado, para evitar o debate sobre a questão, já se posicionou dizendo que não vai desenvolver armas autônomas e que elas sempre estarão sob o controle de uma pessoa humana<a href="#_ftn4" name="_ftnref4">[4]</a>.
<h3>Direito a identificar visualmente um robô de guerra</h3>
Outro ponto regulatório importante a se pensar é se queremos conseguir identificar robôs de guerra, seja por uma face assustadora ou por um uniforme militar, ou se a não identificação é melhor, possibilitando uma face amigável, como é a do robô em Next Gen? É nesse momento que esbarramos em questionamentos como o seguinte: seria ético fabricar robôs com feições de crianças para provocar a provocar a hesitação de ataque da parte contrária?
Um dos princípios da EPSRC indica que robôs não devem ser feitos de uma forma que gere dúvida para explorar as vulnerabilidades de seus usuários, a sua natureza deve ser transparente. A preocupação da EPSRC é com empresas que utilizem robôs com a ilusão de terem emoções para ganharem mais dinheiro, mas isso pode ser aplicado para robôs militares também.
<h3>O Recente Posicionamento da ONU</h3>
O art. 36 do Protocolo Adicional I da Convenção de Genebra diz que os Estados signatários são obrigados a determinarem juntos se novos métodos de guerra podem ser implementados e se são compatíveis com as legislações internacionais.
Assim, resta saber, então, se queremos uma Guerra com as implicações aqui narradas e decorrentes de uma guerra com o uso de I.A. e robôs. É evidente que se a matéria for deixada para a livre escolha dos Estados os resultados serão inconsistentes, alguns países permitirão e outros não, o que traria enorme insegurança jurídica a nível internacional. É por isso que a necessidade de um acordo internacional sobre a matéria é de suma importância no momento.
A ONU se posicionou<a href="#_ftn5" name="_ftnref5">[5]</a> pela primeira vez sobre robôs militares recentemente, em 11 de novembro de 2018 durante o Fórum de Paz de Paris em comemoração aos 100 anos de término da 1a Guerra Mundial. O secretário geral António Guterres pediu para os Estados proibirem robôs militares totalmente automatizados por serem, em suas palavras, “politicamente inaceitáveis e moralmente repugnantes”. Guterres argumentou que sempre deveria ter um humano por trás de todo o controle de uso de força.
Durante a última assembleia geral da ONU cerca de 50 países comentaram sobre suas preocupações a respeito de robôs militares, o que elevou o número de países que já discutiram o assunto para o total de 90 desde 2013.
Na assembleia geral mencionada, o Brasil, junto com Chile e Áustria, lembrou que a Convenção de Armas Convencionais deveria mover suas negociações para estabelecer um documento que obrigasse os signatários a colocarem armas letais sempre sob o comando de um humano.
Assim, muitos países se posicionaram a favor de discussões internacionais e expressaram a necessidade de regulação internacional sobre o tema. Por outro lado, diferente da maioria dos países, a Rússia apenas afirmou que a discussão era ainda muito prematura e especulativa.
As discussões recentes da ONU revelam um grande avanço internacional sobre a questão, visto que robôs militares são suscitados como preocupação desde a assembleia geral da ONU de 2013. No entanto, ainda estamos longe da assinatura de um tratado internacional sobre o tema. Em consequência, o tema revela grande insegurança jurídica, tornando-se o solo fértil para o desenvolvimento do direito robótico.
Next Gen implicitamente nos dá a entender que naquela sociedade não há robôs militares. Ao que tudo indica, diante de tantos países se manifestando em prol da regulação de robôs militares e do reconhecimento de alto potencial ofensivo, de fato a nossa sociedade hoje pode estar mais próxima de Next Gen do que imaginamos.
&nbsp;
<h3>Fontes</h3>
<a href="https://www.techrepublic.com/article/robots-of-death-robots-of-love-the-reality-of-android-soldiers-and-why-laws-for-robots-are-doomed-to-failure/">https://www.techrepublic.com/article/robots-of-death-robots-of-love-the-reality-of-android-soldiers-and-why-laws-for-robots-are-doomed-to-failure/</a>
<a href="https://www.stopkillerrobots.org/2018/11/unban/">https://www.stopkillerrobots.org/</a>
<a href="https://www.roboticsbusinessreview.com/legal/the_global_race_to_robot_law_1st_place_japan/">https://www.roboticsbusinessreview.com/legal/the_global_race_to_robot_law_1st_place_japan/</a>
<a href="http://www.roboticslawjournal.com/search?s=MILITary">http://www.roboticslawjournal.com/search?s=MILITary</a>
<a href="https://www.technologyreview.com/s/527336/do-we-need-asimovs-laws/">https://www.technologyreview.com/s/527336/do-we-need-asimovs-laws/</a>
Estatuto de Roma
<a href="https://epsrc.ukri.org/">https://epsrc.ukri.org/</a>
<a href="https://www.hrw.org/pt">https://www.hrw.org/pt</a>
<a href="https://news.un.org">https://news.un.org</a>
&nbsp;
------------------------------------------------------
<a href="#_ftnref1" name="_ftn1">[1]</a>Disponível em: <a href="https://www.roboticsbusinessreview.com/legal/the_global_race_to_robot_law_1st_place_japan/">https://www.roboticsbusinessreview.com/legal/the_global_race_to_robot_law_1st_place_japan/</a> Acesso em 15/11/2018.
<a href="#_ftnref2" name="_ftn2">[2]</a>  Disponível em <a href="https://epsrc.ukri.org/research/ourportfolio/themes/engineering/activities/principlesofrobotics/">https://epsrc.ukri.org/research/ourportfolio/themes/engineering/activities/principlesofrobotics/</a>) acesso em 10/11/2018.
<a href="#_ftnref3" name="_ftn3">[3]</a> Disponível em <a href="http://www.esd.whs.mil/dd/">http://www.esd.whs.mil/dd/</a> Acesso em 15/11/2018.
<a href="#_ftnref4" name="_ftn4">[4]</a> Disponível em <a href="http://www.publications.parliament.uk/pa/cm201314/cmhansrd/cm130617/debtext/130617-0004.htm">http://www.publications.parliament.uk/pa/cm201314/cmhansrd/cm130617/debtext/130617-0004.htm</a> acesso em 10/11/2018.
<a href="#_ftnref5" name="_ftn5">[5]</a>Disponível em <a href="https://www.stopkillerrobots.org/2018/11/unban/">https://www.stopkillerrobots.org/2018/11/unban/</a> Acesso em 28/11/2018

JOTA

Quem deverá ser responsabilizado se uma operação militar falhar?

O surgimento do direito robótico e o entendimento da ONU

Quem deverá ser responsabilizado se uma operação militar falhar?